Dissertação

ErrorIST: towards the automatic evaluation of editors EVALUATED

Nesta tese de mestrado, apresentamos uma ferramenta configurável, ERRORIST, capaz de criar texto com erros e verificá-lo pelas suas correcções. ERRORIST é uma ferramenta extensível, capaz de inserir uma variedade de erros baseados numa taxonomia de erros orientada à tradução. ERRORIST foi desenvolvido com a Unbabel, uma start-up de traducção baseada em tradução automática auxiliada por edição crowd-source. A avaliação de editores é uma das suas preocupações, visto que eles usam editores crowd para corrigir texto traduzido automaticamente de forma a garantir qualidade. A inserção de erros artificais é configurável em relação à sua variedade. ERRORIST foca-se na inserção de erros artificiais em Português Europeu. Avaliamos esta ferramenta submetendo os seus erros para correcção por parte de editores e detectando as correcções automaticamente. Avaliar as correcções automaticamente é um desafio e apesar de ERRORIST não conseguir completamente substituir a avaliação manual das correcções, consegue criar material para as mesmas de forma fiável e rápida, ao mesmo tempo que reduz a necessidade de verificação manual das correcções. ERRORIST consegue reduzir a necessidade de verificações manuais em 66.38%, ainda mais (70.48%) se apenas considerarmos edição de documentos não traduzidos. ERRORIST provou a sua utilidade até num ambiente empresarial, criando erros adequados para avaliação de editores e recuperando 58.82% das correcções dos mesmos.
Avaliação, Erro, Erro artificial, Rastreabilidade

Novembro 11, 2016, 10:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Maria Luísa Torres Ribeiro Marques da Silva Coheur

Departamento de Engenharia Informática (DEI)

Professor Auxiliar

ORIENTADOR

João de Almeida Varelas Graça

Unable

Chief Technology Officer (CTO)