Learning Agent in the Ms. Pacman Vs Ghosts game EVALUATED

Detalhes: Devido ao sucesso que o algoritmo de Pesquisa em Árvore Monte Carlo teve noutros jogos, surgiu a ideia de aplicar este algoritmo também ao jogo do Ms. Pac-Man. Já existia, antes, uma competição para agentes jogarem Ms. Pac-Man, mas a maioria usavam técnicas baseadas em regras. A ideia para esta tese, consiste em usar o MCTS, não em tempo real, mas sim como o agente auxiliar que irá jogar o jogo com um tempo limite maior, criando assim um dataset a priori, que depois será usado para treinar uma rede neuronal, esta sim, que irá jogar o jogo em tempo real. Os resultados foram depois comparados a um dos melhores agentes desta competição, ficou em segundo lugar mundialmente e em primeiro a nível europeu. Os resultados obtidos foram encorajadores, com o agente auxiliar de MCTS a alcançar uma pontuação média de 2749 em trinta jogos, comparando aos 2871 pontos alcançados pelo agente usado para comparação. Durante os trinta jogos, as acções escolhidas em cada estado foram guardados, assim como o estado. Este conjunto de treino, foi então usado para treinar duas redes neuronais. Uma através de classificação, com as classes para cada estado a serem as acções, e uma rede neuronal treinada por regressão, onde as classes eram os valores de todas as acções para cada estado. Os melhores resultados alcançados por cada rede neuronal, foram 2103 e 1437 pontos, respectivamente.

Discussão: janeiro 13, 2021, 16:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

AUTOR

João Mário Pereira Guerreiro (ist194102)

ORIENTADOR

José Alberto Rodrigues Pereira Sardinha

Departamento de Engenharia Informática (DEI)

Professor Auxiliar