Dissertação

{pt_PT=ErrorIST 2.0 - Geração de erros à la Carte} {} EVALUATED

{pt=A avaliação de aprendentes de uma língua é uma tarefa que exige tempo e trabalho e que traz custos aos avaliadores. Mas e se os avaliadores pudessem gerar erros automaticamente e avaliar aprendentes? Neste documento, apresentamos o ErrorIST 2.0 à la Carte, uma ferramenta capaz de gerar e inserir erros em textos e, ainda, avaliar as intervenções humanas. A ferramenta implementada oferece diferentes tipos de erros - sintáticos, morfológicos, pontuação e ortográticos - que podem ser adaptados a diferentes contextos de avaliação, como a avaliação com estudantes ou editores. O sistema gera erros, tendo em conta as necessidades do avaliador, e insere-os em textos. Depois das intervenções dos estudantes e/ou editores, o sistema deteta as correções e atribui-lhes uma classificação. O ErrorIST 2.0 permite a inserção de erros genéricos e, também, de erros mais específicos de uma dada língua. Embora tenha como idioma principal o português, nesta tese, iremos testar o ErrorIST 2.0 em inglês e francês. O processo de avaliação das correções de forma automática é um desafio e embora o ErrorIST 2.0 não consiga substituir a intervenção humana, consegue reduzi-la em mais de 45%, dependendo do cenário de avaliação. , en=The evaluation of learners of a language is a task that requires time and work, and that brings an increase in cost to evaluators. But what if evaluators could automatically generate errors and evaluate learners? In this document, we present ErrorIST 2.0, errors \textit{à la carte}, a tool capable of generating and inserting errors in texts, and evaluate human interventions. The implemented tool offers several types of errors - such as syntactic, morphologic, punctuation and spelling errors - that can be adapted to different evaluation contexts, such as evaluation of students or editors. The system generates errors, by taking into account the needs of the evaluator, and inserts them into texts. After the intervention of the students and/or editors, the system detects the corrections and assigns them a classification. ErrorIST 2.0 allows the insertion of generic errors and, also, of more language specific errors. Although having Portuguese as the main language, in this thesis, we also tested ErrorIST 2.0 in English and French. The process of evaluating the corrections automatically is challenging and although ErrorIST 2.0 cannot replace the human intervention, it reduces it in more than 45%, depending on the evaluation scenario.}
{pt=erros, taxonomia, geração de erros, ErrorIST, avaliação de erros, en=errors, taxonomy, error generator, ErrorIST, error evaluation}

Novembro 6, 2018, 18:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Maria Luísa Torres Ribeiro Marques da Silva Coheur

Departamento de Engenharia Informática (DEI)

Professor Auxiliar

ORIENTADOR

Helena Gorete Silva Moniz

Centro de Linguística da Universidade de Lisboa & INESC-ID

Investigadora