A Modular Architecture for Model-Based Deep Reinforcement Learning EVALUATED

Detalhes: O paradigma de aprendizagem por reforço com base em modelo, que utiliza algoritmos de planeamento, atingiu recentemente resultados sem precedentes na área de aprendizagem por reforço profunda. Estes agentes são bastante complexos e envolvem vários componentes, fatores que podem criar desafios para a investigação. Neste trabalho, propomos uma arquitetura de software modular \footnote{A nossa implementação encontra-se em \url{https://github.com/GaspTO/Modular\_MBRL}} apropriada para este tipo de agentes, que torna possível que diferentes algoritmos sejam implementados e que cada componente possa ser facilmente configurado (como, por exemplo, diferentes políticas de exploração, estratégias de planeamento...). Demonstramos o uso desta através da implementação de vários algoritmos e experimentando com agentes resultantes de várias combinações destes. Sugerimos também um novo algoritmo de procura simples chamado \textit{minimax médio} que conseguiu bons resultados neste trabalho. As nossas experiências também mostram que a melhor combinação de algoritmos é dependente de cada problema.

Discussão: dezembro 3, 2021, 13:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

AUTOR

Tiago João Gaspar Ribeiro de Oliveira (ist186517)

ORIENTADOR

Arlindo Manuel Limede de Oliveira

Departamento de Engenharia Informática (DEI)

Professor Catedrático