Dissertação
Agents that learn to behave with reinforcement learning and behavior trees EVALUATED
Os métodos de Aprendizagem por Reforço permitem o desenvolvimento de agentes autónomos capazes de desempenhar tarefas complexas. No entanto, as políticas que governam estes agentes são habitualmente representadas com métodos que são difíceis de ler e interpretar por usuários humanos. Adicionalmente, não é trivial como incluir o conhecimento do utilizador no processo de aprendizagem. O presente trabalho propõe um novo algoritmo de descanonização que converte uma política obtida com Aprendizagem por Reforço numa Árvore de Comportamento, uma arquitetura de controlo prezada pela sua modularidade, reatividade e legibilidade. Parâmetros configuráveis permitem obter uma variedade de árvores resultantes, de entre as quais as melhores são elegidas formulando como um problema de otimização multi critério. Resultados obtidos com a Mario AI framework demonstram que este método consegue melhorar a legibilidade de paradigmas anteriores, considerando o número de nodos e a complexidade dos nodos condição como uma métrica de legibilidade. Também foi investigado como incorporar o conhecimento de um especialista codificado como uma Árvore de Comportamento no processo de aprendizagem. Como uma primeira abordagem, foi proposto e avaliado o método Double epsilon-greedy, o qual não atingiu o resultado desejado de melhorar a convergência da aprendizagem. Portanto, este problema mantém-se um desafio em aberto que será investigado em trabalhos futuros. Os métodos propostos podem assim auxiliar os utilizadores nas fases de teste e depuração, visto que um sistema legível permite que os usuários consigam prever mais facilmente o seu comportamento e portanto poupar no tempo e custos de desenvolvimento.
dezembro 6, 2021, 11:30
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Rodrigo Martins de Matos Ventura
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Auxiliar