Efficient Pre-training in Model-based Reinforcement Learning EVALUATED

Detalhes: Agentes baseados em modelos e abordagens que usam transferência de conhecimento, tais como esquemas de pré-treino, afiguram-se como métodos promissores para abordar o problema da eficiência amostral dos algoritmos de aprendizagem por reforço profunda. Este trabalho explora métodos de pré-treino aplicados a agentes baseados em modelos de modo a permitir que estes sejam capazes de se adaptarem de forma eficiente a tarefas novas, mas semelhantes. Propõe-se uma categorização de características transferíveis entre tarefas semelhantes, que envolvem semelhanças perceptuais, dinâmicas e semânticas entre elas. É proposto ainda o Multiple-Augmented Pretraining Scheme (MAPS), um novo algoritmo de pré-treino que tira partido destas características de modo a aprender um agente transferível entre diferentes ambientes. Avalia-se extensivamente a abordagem usando um agente baseado em modelos de última geração. Realiza-se um estudo de ablação que destaca como as características propostas afetam o desempenho de transferência dos diversos componentes da arquitetura dos agentes baseados em modelos. Além disso, mostra-se como o uso do MAPS permite com que os agentes sejam transferidos de forma eficiente para novas tarefas semelhantes, superando outras abordagens padrão. Por fim, ao testar a performance em ambientes Atari, mostra-se como o MAPS é facilmente escalável para cenários mais complexos.

Discussão: junho 23, 2022, 13:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

AUTOR

Bernardo Anjinho Esteves (ist187633)

ORIENTADOR

Francisco António Chaves Saraiva de Melo

Departamento de Engenharia Informática (DEI)

Professor Associado