Dissertação

{en_GB=Learning Tasks Faster using Spatio-Temporal Abstractions} {} EVALUATED

{pt=Algoritmos simples de aprendizagem por reforço, como Q-learning, são ótimos para aprender a resolver problemas com informações e definições mínimas do domínio do problema, o que é poderoso porque permite o uso de um único algoritmo para resolver problemas diferentes. No entanto, abordagens simples como o Q-learning não tentam entender o problema, elas resolvem o problema ao tentarem de tudo e aprendendo/memorizando o que fazer em cada passo. Esta abordagem irá ficar pior ao tentar aprender tarefas mais complexas, as quais poderá não conseguir resolver em tempo útil. Neste trabalho, apresento uma abordagem que integra aprendizagem por reforço com Abstração Espaço-Temporal, com o objetivo de permitir uma aprendizagem mais rápida de tarefas, especialmente à medida que a sua complexidade aumenta. O foco desta abordagem está sempre na compreensão do mundo, criando e atualizando uma base de conhecimentos que é então tida em consideração ao tomar uma decisão. Esta abordagem cria, representa e aprende autonomamente conhecimento de maior complexidade e generalização que métodos comuns de aprendizagem por reforço, como o Q-learning. Apresento também uma implementação desta abordagem, que chamo de "Abstraction Agent" ou Agente de Abstração, sendo este agente o resultado da integração de um agente Q-learning com a minha abordagem. Resultados experimentais mostram que esta abordagem aumenta a velocidade de aprendizagem do agente, reduzindo a quantidade total de passos necessários para que o agente alcance consistentemente o objectivo e resolva a tarefa. É também mostrado que este aumento no desempenho permanece até em mundos sem abstração intuitiva., en=Simple reinforcement learning algorithms, such as Q-learning, are great in learning how to solve problems while being provided minimal information and definition of the problem domain, which is powerful because it allows the use of a single algorithm to solve different problems. However simple approaches like Q-learning don't try to understand the problem nor the world they are in, they solve it by trying everything and learning/memorizing what to do in each step. This approach will rapidly show its flaw when trying to learn more complex tasks, where it might not be able to solve in useful time. In this work I present an approach that integrates reinforcement learning with Spatio-Temporal Abstraction, with the objective of allowing a faster learning of tasks specially as their complexity increases. This approach's focus is always in understanding the world by creating and updating a knowledge base that is then exploited and considered when making a decision. This approach autonomously creates, represents and learns knowledge of higher complexity and generalization than common reinforcement learning methods like Q-learning. I also present an implementation of this approach which I call Abstraction Agent, this agent being the result of the integration of a Q-learning agent with my approach. Experimental results show that this approach increases the learning speed of the agent, reducing the total amount of steps necessary for the agent to consistently reach the goal and solve the task. This performance increase is also shown to remain even in worlds with no intuitive abstraction.}
{pt=Abstração Espaço-Temporal, Aprendizagem por Reforço, Generalização, Motivação Intrínseca, Deteção de Subobjetivos, en=Spatio-Temporal Abstraction, Reinforcement Learning, Generalization, Intrinsic Motivation, Subgoal Discovery}

Novembro 29, 2019, 9:0

Orientação

ORIENTADOR

Manuel Fernando Cabido Peres Lopes

Departamento de Engenharia Informática (DEI)

Professor Associado