Dissertação
Open-domain Conversational Agent based on Pre-Trained Transformers for Human-Robot Interaction EVALUATED
Nos últimos anos muitos avanços ocorreram no campo de Aprendizagem Automática e do Processamento de Língua Natural, como Transformers generativos pré-treinados (GPT), e mecanismos de atenção que aprendem relações entre palavras num texto. Estas descobertas tornaram possíveis diversas abordagens para a Interação Homem-Robô (e.g. a criação de um chatbot de domínio aberto). No entanto, como a maioria desta pesquisa e conjuntos de dados estão em Inglês, as línguas com menos recursos são negligenciadas. Esta tese explora este problema com duas opções: (i) Tradução das frases antes e depois da sua utilização no modelo treinado num conjunto de dados em inglês, (ii) Tradução do conjunto de dados de inglês para português e depois fazer o treino do modelo no mesmo. Tendo dados de treino adequado e após uma inspeção sobre os métodos de geração, demonstra-se que o DialoGPT, um modelo neural de geração diálogo, consegue adquirir as capacidades básicas para conduzir um diálogo com nexo. Para os modelos linguísticos, bem como para os métodos de base, foram utilizadas dois métodos de avaliação: (i) Métricas para avaliar a geração de texto baseadas na incerteza (i.e. perplexidade), e semelhança entre frases (i.e. BLEU, METEOR e ROUGE) e (ii) Avaliação das frases com base humana. Finalmente, mostra-se que é possível recorrer à Tradução por Máquina para ter um chatbot fluente, em português. A tradução das frases antes e depois da sua utilização no modelo DialoGPT treinado, utilizando o conjunto de dados do Daily Dialogue, conduziu aos melhores resultados.
novembro 22, 2021, 8:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
José Alberto Rosado dos Santos Victor
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Catedrático
