Dissertação
IMAGINE: Intelligent Multi-Agent Godot-based Indoor Networked Exploration EVALUATED
A exploração autónoma e colaborativa de ambientes desconhecidos, sem cobertura de Sistema de Navegação por Satélite, por uma equipa de Veículos Aéreos Não Tripulados (VANTs) apresenta desafios ao nível da coordenação, perceção e decisões descentralizadas. Esta tese aplica Aprendizagem por Reforço Multiagente (MARL) ao treino dum grupo de VANTs, para a exploração colaborativa dum espaço interior 2D. Utilizando simulações de alta fidelidade num motor de jogo (Godot) e espaços de ação contínuos, treinamos políticas que demonstram comportamentos colaborativos emergentes e tomada de decisão sob incerteza (mapa incompleto). Cada VANT possui um sensor de Light Detection and Ranging (LiDAR) utilizado para construir um mapa de ocupação local, que constitui uma crença explícita, e partilha estes dois elementos, com agentes vizinhos. A comunicação apresenta alcance, largura de banda, e latência limitada. Realizamos extensos estudos de ablação a avaliar paradigmas de treino (Centralized Training Centralized Execution, Decentralized Training Decentralized Execution, Centralized Training Decentralized Execution), funções de recompensa, comunicação, arquiteturas de redes neuronais, mecanismos de memória e espaços de ação e observação. Adicionalmente, apresentamos um treino mais rápido e robusto com Aprendizagem por Currículo. Este trabalho aborda limitações chave de investigações anteriores, tais como, a dependência de ações discretas, formulações de agente único ou centralizadas, pressupostos de mapas conhecidos, obstáculos dinâmicos, horizontes de planeamento curtos e a complexidade arquitetural de Recurrent Neural Networks/Transformers que prejudicam a velocidade de treino e a interpretabilidade. Os resultados mostram um paradigma de treino escalável, com uma arquitetura simplificada, que explora rapidamente e de forma autónoma uma área interior.
dezembro 5, 2025, 14:0
Documentos da dissertação ainda não disponíveis publicamente
Orientação
ORIENTADOR
António Manuel Raminhos Cordeiro Grilo
Departamento de Engenharia Electrotécnica e de Computadores
Professor Associado
