FenixEdu™

Dissertação

Ad hoc teamwork using approximate representations EVALUATED

Detalhes: A produção em massa de sistemas tecnológicos por todo o mundo é uma questão não só económica, mas também ecológica da nossa atualidade. É fundamental que encontremos soluções alternativas o mais rápido possível, para contribuir para uma sociedade mais sustentável. Uma área emergente que pode trazer alguns avanços nesse sentido é a do trabalho em equipa ad hoc, que estuda a integração de um agente numa nova equipa, sem conhecer previamente os seus novos colegas de equipa. Este agente seria reutilizável em tarefas futuras, reduzindo assim a necessidade de produzir uma quantidade tão volumosa de agentes. Com os recentes avanços nesta área, é possível criar agentes capazes de alcançar um elevado desempenho nesta tarefa. No entanto, nenhuma das abordagens existentes tratou este problema em domínios de elevada dimensão com observabilidade parcial. Neste artigo, apresentamos um novo algoritmo, Partially Observable Plastic Policy (POPP), que combina aprendizagem por transferência com Deep Recurrent Q-Networks, em que um agente aprende políticas para cooperar com diferentes tipos de colegas de equipa, e reutiliza esse conhecimento quando confrontado com novas equipas. Escolhemos o domínio Half-Field Offense para avaliação. Experimentamos diferentes configurações, com e sem observabilidade parcial, e com colegas de equipa conhecidos e desconhecidos. Finalmente, apresentamos e discutimos os nossos resultados e comparamo-los com abordagens não recorrentes, como Deep Q-Networks (DQN). Concluímos que o POPP foi capaz de identificar rapidamente a maioria das equipas conhecidas anteriormente e superou a percentagem de golos marcados de uma abordagem DQN em cenários parcialmente observáveis.
Keywords: Trabalho em Equipa Ad Hoc, Sistemas Multi-agente, Aprendizagem por Transferência, Aproximação de Funções, Redes Neuronais Recorrentes

Discussão: novembro 21, 2022, 14:0