FenixEdu™

Dissertação

Pretraining the Vision Transformer using self-supervised methods for vision-based deep reinforcement learning EVALUATED

Detalhes: O vision transformer tem mostrado ser competitivo na área de visão computacional onde tem destronado em enumeras benchmarks as redes baseadas em convoluções. No entanto, a rede neural convolucional continua a arquitetura mais usada como módulo de representação em aprendizagem por reforço. Neste trabalho, nós estudamos pré-treinar um vision transformer usando vários métodos estado-da-arte de aprendizagem auto-supervisionada com o intuito de avaliar ganhos na eficiência e capacidade de generalização por parte dos agentes que usam esses modelos. Nós propomos ainda um novo método auto-supervisionado ao qual chamamos TOV-VICReg que estende o VICReg para melhorar a captura de informação temporal entre frames consecutivos. Os modelos pré-treinados são avaliados em termos de eficiência de amostras em vários jogos Atari e generalização em jogos do procgen. Os nossos resultados na eficiência de amostra mostram que o vision transformer, quando pré-treinado com o TOV-VICReg, consegue superar os restantes modelos pré-treinados mas ainda não consegue superar as CNN. Enquanto os nossos resultados na generalização mostram algumas limitações do nosso método quando usado em jogos visualmente mais complexos que levam a uma degradação na capacidade de generalizar. Mesmo assim, o nosso método foi capaz de superar as CNN em dois dos 10 jogos de Atari e obtemos um ganho consistente na eficiência de amostra em comparação com o vision transformer não pré-treinado. Em última análise, acreditamos que este tipo de abordagens em deep reinforcement learning poderão ser a chave para atingir novos níveis de performance como tem acontecido nas áreas de língua natural e visão computacional.
Keywords: Aprendizagem por Reforço, Aprendizagem Profunda, Transformadores, Aprendizagem Auto-Supervisionada, Pré-treino, Atari

Discussão: novembro 15, 2022, 9:0