{en_GB= Chattuga A meta- chatbot for the portuguese Language} {} EVALUATED

Detalhes: {pt=A maioria dos trabalhos sobre sistemas de question answering seguem uma abordagem semelhante: começam por recolher dados, que são depois pré-processados, classificados e utilizados num sistema que responde a perguntas no domínio desses dados. Neste trabalho, propomos uma framework plug and play (para a adição de corpora e agentes e controlo de módulos do sistema) de chatbot "colaborativo'' para o português que tem como pressuposto que todos os agentes podem, potencialmente, responder a todas as questões. Estudamos abordagens de classificação e sistemas semelhantes e baseamos a nossa arquitectura nesse estudo. O sistema construído nesta tese, recebe uma query de um utilizador e redirecciona-a para todos os chatbots integrados no mesmo. Todos estes fornecem as suas respostas sugeridas para a query do utilizador. Quando o programa reúne todas essas respostas, ele avalia-as, bem como a sua especialidade no domínio da pergunta e combina isso com a classificação da intenção da query do utilizador para realizar um processo de rank de respostas. Em ambos os processos de classificação, tanto machine learning quanto as abordagens baseadas em regras são combinados. A avaliação da framework desta tese é feita com as métricas de Accuracy e Mean Reciprocal Rank, onde a primeira é usada para a avaliação da classificação da query e a segunda é usada para a avaliação da decisão do rank de respostas. Os resultados mostram que nosso sistema tem uma forte componente de classificação, tanto para perguntas quanto para respostas, e também que a framework é boa na identificação de agentes especializados., en=Most works on question answering systems follow a similar approach: they start by gathering data, which is then pre-processed, classified and used in a system which replies queries in the domain of that data. In this work, we propose a plug and play (for the addition of corpora and agents and for the control of system modules) "collaborative'' chatbot framework for the Portuguese language that has as basis the assumption that all agents can, potentially, answer all questions. We study classification approaches and similar systems and we base our architecture on that study. The system built in this thesis, receives a query from a user and redirects it to all chatbots integrated within it. These chatbots all provide their suggested answers to the user query. When the program finishes gathering all these answers it evaluates the agent's answers as well as their expertise in the domain of the question and combines that with the classification of the user's query intent to perform an answer ranking process. In both classification processes, both Machine Learning and rule-based approaches are combined. The evaluation of the program developed in the scope of this thesis is made with the metrics of Accuracy and Mean Reciprocal Rank, where the first is used for the query classification evaluation and the second is used for the system's answer ranking decision evaluation. Results show that our system has a strong classification component both for questions and answers and also that it is good at identifying specialist agents.}

Discussão: novembro 15, 2019, 9:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

AUTOR

Mariana Rodrigues Seguro Gaspar Fernandes (ist176448)

ORIENTADOR

Maria Luísa Torres Ribeiro Marques da Silva Coheur

Departamento de Engenharia Informática (DEI)

Professor Auxiliar