Dissertação
CIA: Citizen Contact Center Agent Assistant EVALUATED
O centro de contactos dos serviços públicos portugueses reúne um conjunto de dados único, que se apresenta como um objeto de estudo muito valioso na área do Processamento de Linguagem Natural: uma coleção de emails trocados entre cidadãos portugueses e o centro de contactos, os quais são categorizados em vários assuntos, organizados numa hierarquia. Os dados extraídos de um contexto do mundo real apresentam sérios desafios, nomeadamente em termos da qualidade dos dados, o equilíbrio das classes, a estrutura das classes e a relação das classes. Com o objetivo de desenvolver um sistema de classificação hierárquica de e-mails, apresentamos um estudo sobre o impacto da quantidade de dados e da qualidade dos dados no desempenho da classificação, realizando experiências em diferentes tamanhos de conjuntos de dados e aplicando estratégias manuais e automáticas de limpeza de ruído e de normalização de dados. Além disso, propomos várias novas abordagens para o desequilíbrio de classes, ruído de anotações e sobreposição de classes, no contexto deste problema, aproveitando a estrutura hierárquica de classes e as relações semânticas de classe para reorganizar os dados e reestruturar as classes. Finalmente, um extenso conjunto de algoritmos de Aprendizagem Automática e Aprendizagem Profunda são estudados em conjunto com diferentes estratégias de representação de dados, extração e seleção de features e a reorganização da estrutura hierárquica de classes. O sistema com melhor desempenho combina os algoritmos XGBoost e TF-IDF numa abordagem hierárquica baseada em nível. Além disso, demonstramos um aumento de desempenho proporcional à qualidade dos dados e à estrutura das classes.
janeiro 28, 2021, 9:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
André Ferreira Ferrão Couto e Vasconcelos
Departamento de Engenharia Informática (DEI)
Professor Auxiliar