Dissertação
{en_GB=ErrorIST: towards the automatic evaluation of editors } {} EVALUATED
{pt=Nesta tese de mestrado, apresentamos uma ferramenta configurável, ERRORIST, capaz de criar texto com erros e verificá-lo pelas suas correcções. ERRORIST é uma ferramenta extensível, capaz de inserir uma variedade de erros baseados numa taxonomia de erros orientada à tradução. ERRORIST foi desenvolvido com a Unbabel, uma start-up de traducção baseada em tradução automática auxiliada por edição crowd-source. A avaliação de editores é uma das suas preocupações, visto que eles usam editores crowd para corrigir texto traduzido automaticamente de forma a garantir qualidade. A inserção de erros artificais é configurável em relação à sua variedade. ERRORIST foca-se na inserção de erros artificiais em Português Europeu. Avaliamos esta ferramenta submetendo os seus erros para correcção por parte de editores e detectando as correcções automaticamente. Avaliar as correcções automaticamente é um desafio e apesar de ERRORIST não conseguir completamente substituir a avaliação manual das correcções, consegue criar material para as mesmas de forma fiável e rápida, ao mesmo tempo que reduz a necessidade de verificação manual das correcções. ERRORIST consegue reduzir a necessidade de verificações manuais em 66.38%, ainda mais (70.48%) se apenas considerarmos edição de documentos não traduzidos. ERRORIST provou a sua utilidade até num ambiente empresarial, criando erros adequados para avaliação de editores e recuperando 58.82% das correcções dos mesmos., en=In this master thesis, we present a configurable tool, ERRORIST, capable of creating error prone text and verifying it for corrections. ErrorIST is an extensible tool, capable of inserting a variety of errors based on a translation error taxonomy. ErrorIST was developed with Unbabel, a start-up based on crowd-sourced, machine aided translation. Editor evaluation is one of their concerns, since they use crowd editors to correct machine-translated text in order to ensure quality. Artificial error insertion is configurable on error type variety. ERRORIST focuses on the insertion of errors in European Portuguese. We evaluate this tool by submitting its errors to editor correction and detecting their corrections automatically. Evaluating the corrections accurately is a challenge and while ERRORIST cannot completely replace manual evaluation, it creates the evaluation material reliably and fast whilst reducing the need for human verification in correction detection. ERRORIST can reduce the need for manual correction verification in 66.83%, even further (70.48%) if you consider non-translation editing. Even in a business environment, ERRORIST proved its usefulness by creating adequate errors for editor evaluation and by tracing 58.82% of those errors’ corrections.}
novembro 11, 2016, 10:30
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Maria Luísa Torres Ribeiro Marques da Silva Coheur
Departamento de Engenharia Informática (DEI)
Professor Auxiliar
