Dissertação

Conversational Question Re-Writing EVALUATED

Os sistemas de resposta a perguntas são capazes de gerar respostas para as perguntas dos utilizadores. Na presença de múltiplos turnos de conversa entre o utilizador e o sistema, a informação relevante para uma questão é frequentemente omitida, pois essa mesma informação já foi introduzida anteriormente. Por esta razão, os sistemas têm de ser capazes de interpretar corretamente as perguntas dos utilizadores tendo em conta os turnos anteriores da conversa. O sistema deve conseguir criar uma representação para a informação que o utilizador pretende, para que a repetição de aspetos importantes introduzidos anteriormente seja evitada. A maior parte dos trabalhos resolve o problema começando primeiro por reformular a questão do utilizador para uma questão independente (i.e., uma questão que pode ser corretamente interpretada fora do contexto da conversa), de seguida dando essa questão reescrita a um sistema capaz de produzir uma resposta. Neste trabalho, uma abordagem baseada em aprendizagem por reforço é explorada, seguindo trabalhos anteriores, e utilizando um modelo que obteve os melhores resultados para a tarefa de sumarização, chamado PEGASUS. Foi também explorada uma outra estratégia de treino que por sua vez obteve bons resultados para outros tipos de tarefas de geração de texto. Uma nova "reward" para a arquitetura baseada em aprendizagem por reforço é apresentada, em que o modelo MultiQA é utilizado para calcular a similaridade entre a pergunta e a resposta. Os resultados obtidos mostram que a "reward" proposta é capaz de melhorar os resultados em comparação com os modelos treinados apenas com a cross-entropy.
Reescrita de Perguntas Conversacionais, Geração de Texto, Self-Critical Sequence Training, Mean Teacher Learning, Sequence to Sequence Models, Transformers

novembro 17, 2022, 14:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Bruno Emanuel Da Graça Martins

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado

ORIENTADOR

Mariana S.C. Almeida

Cleverly.ai

Head of Research