FenixEdu™

Dissertação

Playing Soccer with Deep Reinforcement Learning EVALUATED

Detalhes: Nesta dissertação, usamos Deep Q-Networks para aprender uma política no ambiente Half Field Offense, onde temos de trabalhar com colegas de equipa para marcar golos contra uma equipa de oponentes. De momento, não existe nenhum estudo que faça uma análise extensiva sobre a mudança de vários elementos como mudar o estado (tipo de estado de espaço) por exemplo, assim sendo fazemos esta pesquisa, acabando como uma discussão sobre o que funciona melhor neste ambiente. Seguidamente, notámos que grande parte das soluções, usam como métrica para o sucesso a percentagem de golos. Embora tenham bons resultados, queríamos saber ao certo o motivo para tal. Esta dissertação expande esta ideia de examinar a performance a um nível mais profundo, em que testamos o porquê da equipa estar a marcar mais golos, verificando qual o jogador que marca mais. Para conseguir isto, corremos os nossos agentes treinados e acumulamos métricas sobre o número de golos que cada jogador marca, quantos passes e assistências o nosso agente faz. De seguida, trocámos o tipo de colega de equipa, analisando se a tendência notada se mantém. Finalmente, trocámos o nosso agente com um NPC, para comparar que resultados são obtidos com e sem o nosso agente, desta forma, concluindo se o nosso agente tem um efeito positivo. Com os resultados concluímos que o nosso agente no pior dos casos tem o mesmo efeito que um NPC, mas em grande parte dos casos ele marca uma grande parte dos golos e aumenta dramaticamente os golos da equipa.
Keywords: Aprendizagem por reforço, Inteligência Artificial, Deep Reinforcement Learning, Half Field Offense

Discussão: novembro 16, 2021, 10:30