Dissertação
Domain-Adapted Multilingual Neural Machine Translation EVALUATED
A Europa é um continente de diversidade linguística: A União Europeia tem atualmente 24 línguas oficiais. A globalização aumentou a necessidade de ter informação traduzida num maior número de línguas possíveis, o mais rápido possível. A tradução automática, e em particular a tradução automática neural, pode ser uma boa abordagem a este problema. A tradução automática neural proporciona condições ideias para o desenvolvimento de sistemas multilingue: torna possível a partilha de componentes para diferentes tarefas. Sistemas multilingue tornam possível o uso de um único modelo capaz de traduzir entre múltiplas línguas tanto na origem como no alvo. De modo a melhorar a performance dos sistemas que suportam múltiplas línguas, implementámos uma abordagem existente na literatura: adapters. Adapters são pequenas camadas residuais que são introduzidas no meio de modelos pré-treinados, que são usadas para adaptar o modelo para novas línguas, melhorando a sua performance. Procuramos melhorar este método introduzindo adapters que são condicionados em apenas uma língua (ao contrário da abordagem atual que condiciona num par de línguas). Fazendo esta mudança, torna-se possível extrair o potencial dos adapters para melhorar a performance, mesmo em cenários em que não existe informação paralela disponível. Por fim, avaliamos empiricamente e comparamos a performance de sistemas que suportam múltiplas línguas e sistemas que recorrem a uma língua pivô em 24x23 pares de línguas. Inglês é a escolha habitual como língua pivô, mas nós procuramos estudar o uso de línguas pivô diferentes: Francẽs e Alemão, para transduzir entre línguas românicas e germânicas, respetivamente.
janeiro 25, 2021, 9:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Associado