FenixEdu™

Dissertação

{en_GB=Question Generation using Deep Neural Networks - Exploring deep learning methods to generate questions} {} EVALUATED

Detalhes: {pt=A geração automática de perguntas é a tarefa de produzir perguntas a partir de uma passagem de texto. Os resultados do estado da arte para esta tarefa são obtidos por modelos de redes neuronais. Neste trabalho foram estudadas as técnicas previamente aplicadas nesta tarefa, desde arquiteturas de redes neuronais, a corpora e métricas de avaliação. Seguindo procedimentos existentes na literatura, foi desenvolvido um modelo neuronal recorrente com base em atenção que gera perguntas a partir de frases. Foi também explorado o Transformer, uma arquitetura de redes neuronais recente cuja aplicação em geração de perguntas ainda não foi reportada. Estes modelos foram aplicados com e sem recurso a Word Embeddings pré-treinados. A avaliação dos modelos foi realizada através de avaliação automática e humana. Os resultados da avaliação automática mostram que os modelos desenvolvidos se aproximam do estado da arte, principalmente usando redes recorrentes. Os avaliadores humanos consideraram a maioria das perguntas geradas corretas mas pouco relevantes para a passagem de texto dada., en=Automatic question generation is the task of producing questions from a given text passage, with neural approaches currently achieving state-of-the-art results. In this work, the techniques applied to this challenge were studied, from the neural architectures to the different available datasets and evaluation metrics. Following the steps of previous related work, we developed an attention based, recurrent neural model that generates questions based on sentences. In addition, we also explored the Transformer, a novel neural network architecture whose implementation in Question Generation has not been reported to date. We experimented these models both with and without pre-trained word embeddings. The assessment of the models was performed by automatic and human evaluation. Automatic evaluation shows that our models come very close to the state of the art, specially when using Recurrent Neural Networks. Human evaluators considered our questions correct, but not very relevant when considering the input sentences. }
Keywords: {pt=Geração de perguntas, redes neuronais recorrentes, atenção, Transformer, en=Question generation, recurrent neural networks, attention, Transformer}

Discussão: junho 18, 2019, 10:30