Learning Tasks Faster using Spatio-Temporal Abstractions EVALUATED

Detalhes: Algoritmos simples de aprendizagem por reforço, como Q-learning, são ótimos para aprender a resolver problemas com informações e definições mínimas do domínio do problema, o que é poderoso porque permite o uso de um único algoritmo para resolver problemas diferentes. No entanto, abordagens simples como o Q-learning não tentam entender o problema, elas resolvem o problema ao tentarem de tudo e aprendendo/memorizando o que fazer em cada passo. Esta abordagem irá ficar pior ao tentar aprender tarefas mais complexas, as quais poderá não conseguir resolver em tempo útil. Neste trabalho, apresento uma abordagem que integra aprendizagem por reforço com Abstração Espaço-Temporal, com o objetivo de permitir uma aprendizagem mais rápida de tarefas, especialmente à medida que a sua complexidade aumenta. O foco desta abordagem está sempre na compreensão do mundo, criando e atualizando uma base de conhecimentos que é então tida em consideração ao tomar uma decisão. Esta abordagem cria, representa e aprende autonomamente conhecimento de maior complexidade e generalização que métodos comuns de aprendizagem por reforço, como o Q-learning. Apresento também uma implementação desta abordagem, que chamo de "Abstraction Agent" ou Agente de Abstração, sendo este agente o resultado da integração de um agente Q-learning com a minha abordagem. Resultados experimentais mostram que esta abordagem aumenta a velocidade de aprendizagem do agente, reduzindo a quantidade total de passos necessários para que o agente alcance consistentemente o objectivo e resolva a tarefa. É também mostrado que este aumento no desempenho permanece até em mundos sem abstração intuitiva.

Discussão: novembro 29, 2019, 9:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

AUTOR

Miguel Fidalgo Martins (ist181951)

ORIENTADOR

Manuel Fernando Cabido Peres Lopes

Departamento de Engenharia Informática (DEI)

Professor Associado