FenixEdu™

Dissertação

Best Way to Squeeze: A Comparison of Model Compression Techniques in Natural Language Processing EVALUATED

Detalhes: Os desenvolvimentos mais recentes no processamento de linguagem natural resultam em cada vez mais modelos treinados intensivamente com grandes quantidades de recursos computacionais, com o objetivo de se sobreporem e ultrapassarem os modelos do estado-da-arte em termos de resultados obtidos. No entanto, o treino que estes modelos de alto desempenho requerem pode durar várias horas, dias, ou mais tempo ainda. Para além disso, a complexidade dos modelos e dos recursos necessários para os treinar e executar proíbe a sua utilização em dispositivos mais limitados em termos de memória, poder de processamento e latência na capacidade de resposta. Neste trabalho, focámos a nossa atenção no esforço necessário para treinar estes modelos de alto desempenho, através da análise destes mesmos modelos e da recolha de informação acerca dos recursos computacionais necessários, dos conjuntos de dados usados, e da complexidade dos modelos. Aplicámos técnicas de compressão a modelos do estado-da-arte para criar versões compactas desses mesmos modelos, a fim de comparar e avaliar a eventual perda de desempenho do modelo face à simplicidade do modelo e à redução de recursos computacionais e gastos energéticos.
Keywords: aprendizagem automática, redes neuronais, processamento de linguagem natural, compressão de modelos, avaliação de modelos, pegada ecológica

Discussão: novembro 22, 2021, 10:30