Dissertação
Filling the gaps in the European Portuguese NLP benchmarking EVALUATED
O cenário do processamento de Linguagem Natural está a crescer rapidamente, capaz de produzir modelos poderosos para melhorar ainda mais o nosso desenvolvimento como sociedade. Para manter este ritmo, é necessário criar padrões de referência que incentivem o crescimento destes modelos. Apesar de existirem benchmarks que cobrem a língua portuguesa, estes são incompletos e não fornecem uma avaliação completa dos modelos portugueses, atrasando o desenvolvimento destes modelos. Com isso em mente, aproveitámos o ExtraGLUE, um benchmark traduzido para português europeu, baseado no GLUE e no SuperGLUE, e adicionámos duas tarefas que faltavam: a tarefa WiC - que testa o raciocínio do senso comum resolvendo referências de pronomes - e a tarefa WSC - que avalia a desambiguação do sentido das palavras com base no contexto. Estes conjuntos de dados foram construídos com base em trabalhos anteriores e conjuntos de dados disponíveis publicamente. Com esses conjuntos de dados, avaliámo-los com os cinco melhores modelos disponíveis para medir o seu desempenho nessas tarefas e também os avaliámos com anotadores humanos da variedade europeia para garantir a sua qualidade. Os nossos resultados mostram que embora estes tenham melhor desempenho do que os seus homólogos de variedades, ainda há margem para melhorar estes modelos para as nossas tarefas, e que é necessário trabalhar mais em ambos os conjuntos de dados para garantir a sua máxima qualidade; no entanto, representam um primeiro passo para a existência de conjuntos de dados para estas tarefas, desenvolvendo assim o futuro do cenário de processamento de Linguagem Natural português.
novembro 14, 2024, 14:30
Documentos da dissertação ainda não disponíveis publicamente
Orientação
ORIENTADOR
Maria Luísa Torres Ribeiro Marques da Silva Coheur
Departamento de Engenharia Informática (DEI)
Professor Associado
