Dissertação

Using subtitles to deal with Out-of-Domain interactions EVALUATED

Pessoas que interagem com sistemas de diálogo, muitas vezes colocam questões às quais os sistemas não conseguem responder, denominadas de Out of Domain (OOD). Recentemente, um corpus construído com interacções de legendas de filmes, chamados Subtle, foi construído e utilizado em Say Something Smart (SSS), um chatbot que lida com interacções OOD. Quando confrontado com uma pergunta do utilizador, SSS consulta a base de conhecimento usando Lucene , um sistema de recuperação de informação, que devolve um conjunto de respostas possíveis. Anteriormente, SSS utilizava duas métricas simples para escolher uma resposta a partir deste conjunto: verificar a semelhança da entrada do usuário com perguntas na base de conhecimento e calculando a frequência da resposta. Embora simples, esta abordagem nem sempre dá bons resultados, especialmente quando se lida com questões menos usuais. Neste trabalho desenvolvemos duas maneiras alternativas de seleccionar uma resposta de um conjunto de respostas possíveis, com o objectivo de melhorar os resultados globais do SSS: uma é combinar várias medidas de uma forma linear e outra é usar o paradigma Learning to Rank. Nas nossas avaliações, obtivemos 61,67% de respostas plausíveis usando uma combinação de quatro medidas e também obtivemos resultados promissores com a abordagem Learning to Rank, conseguindo 35 pontos percentuais a mais de respostas adequadas do que com a combinação linear de medidas. Realizámos uma avaliação comparando a versão actual do SSS com a anterior e descobrimos que a actual é capaz de responder a mais perguntas do usuário de maneira adequada, especialmente para Português.
Sistemas de Diálogo, Out of domain, Legendas, Learning to Rank

Novembro 4, 2014, 9:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

CO-ORIENTADOR

Francisco António Chaves Saraiva de Melo

Departamento de Engenharia Informática (DEI)

Professor Auxiliar

ORIENTADOR

Maria Luísa Torres Ribeiro Marques da Silva Coheur

Departamento de Engenharia Informática (DEI)

Professor Auxiliar