Dissertação

{en_GB=BiblioMiner: Resposta a questões de exame baseadas na indexação de elementos bibliográficos} {} EVALUATED

{pt=Todos os anos alunos estudam os documentos da bibliografia de uma disciplina e são postos à prova num exame final que tem como objectivo a avaliação dos conhecimentos adquiridos. Para os estudantes é necessário ter acesso rápido aos textos mais relevantes de livros e slides relativos a uma pergunta à qual não sabem a resposta. Este projecto extraí indicadores dos elementos bibliográficos tais como as palavras do sumário, índice remissivo, TF e IDF e constrói um dataset tendo como base um inquérito online de perguntas-respostas. Este dataset é utilizado para treinar e testar um algoritmo de Learning to Rank que utiliza os modelos linear, logístico e SVM. Os resultados obtidos demonstram que o modelo logístico com núcleo Epachnenikov e amostragem shuffled é o melhor modelo, pois é o modelo que apresenta a curva ROC mais próxima do modelo perfeito mantendo bons níveis de precisão e F1 em face às restantes combinações de modelos, núcleos e tipos de amostragem. , en=Every year, students learn the documents in the bibliography of a discipline and are tested in a final exam which aims at the evaluation of their acquired knowledge. For students it is necessary to have quick access to the most relevant texts related to a question they do not know the answer to. This project extracts indicators of the bibliography such as the words of the summary, toc, TF and IDF, and builds a dataset based on an online survey of questions and answers. This dataset is used to train and test a "Learning to Rank" algorithm that uses linear, logistic and SVM models. The results obtained show that the logistic model, with kernel Epachnenikov and shuffled sampling, is the best model, due to its ROC curve proximity with the best model point, maintaining good levels of precision and F1 when compared with the remaining combinations of models, kernels and shuffling types.}
{pt=questão-resposta, retorno de passagens, L2R, estrutura de livros, selecção de palavras-chave, en=question-answering, passage retrieval, L2R, structure of books, keyword selection}

Novembro 26, 2015, 10:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Pável Pereira Calado

Departamento de Engenharia Informática (DEI)

Professor Auxiliar