FenixEdu™

Dissertação

Pruning Large Pre-trained Models using Fuzzy Fingerprints EVALUATED

Detalhes: Esta dissertação de mestrado foca-se na otimização de modelos de Large Pre-Trained Models (PLMs) como o BERT, através de técnicas de pruning. Explora o uso de Fuzzy Fingerprints para identificar os neurónios mais críticos no modelo com base nos seus níveis de ativação durante tarefas de classificação. O principal objetivo é reduzir o tamanho do modelo, tornando-o mais eficiente em termos computacionais, sem comprometer significativamente a sua eficácia. A pesquisa baseia-se em descobertas anteriores que mostram que os PLMs são frequentemente sobredimensionados e que a pruning pode efetivamente reduzir o tamanho do modelo, mantendo o desempenho. A dissertação visa aprimorar os métodos de pruning, focando-se tanto na eficiência como na adaptabilidade a várias tarefas de processamento de linguagem natural, como análise de sentimentos e inferência de linguagem natural. As principais contribuições da dissertação incluem a experimentação com diferentes estratégias de mascaramento para identificar e eliminar neurónios menos importantes, assim como o desenvolvimento de métodos que mantêm um equilíbrio entre a redução do número de parâmetros aprendíveis e a precisão. A dissertação explora também a diferença entre anular neurónios menos importantes e removê-los da rede, avaliando o impacto na aceleração durante a inferência. A dissertação oferece uma avaliação detalhada dessas técnicas em vários conjuntos de dados de NLP, garantindo que os modelos otimizados apresentem bom desempenho em diversas tarefas.
Keywords: Fuzzy Fingerprints, Redes Neurais, Pruning, Pre-trained Language Models, Otimização de Modelos

Discussão: novembro 6, 2024, 9:0

Documentos da dissertação ainda não disponíveis publicamente