Dissertação
Reinforcement Learning for Robust Missile Autopilot Design EVALUATED
Desenvolver controladores de piloto automático de mísseis tem sido uma tarefa complexa, dado o extenso envelope de voo e a sua dinâmica não linear. Permanece desconhecida a solução que seja ótima quer em termos de desempenho nominal quer em robustez a incertezas. Enquanto a Teoria do Controlo acaba por cair em procedimentos de agendamento de parâmetros, a Aprendizagem por Reforço (AR) tem mostrado resultados interessantes em tarefas cada vez mais complexas, desde video-jogos até tarefas robóticas com domínios de ação contínuos. Contudo, falta, ainda, uma maior clarificação sobre como encontrar funções de recompensa e estratégias de exploração adequadas. Que seja do nosso conhecimento, este trabalho é pioneiro ao propor AR como paradigma para controlo de voo. De facto, visa treinar um agente sem-modelo que controle a dinâmica de voo não linear longitudinal de um míssil, atingindo um desempenho ótimo e robusto. Para tal, sob a metodologia TRPO, a experiência recolhida é aumentada de acordo com HER, guardada num acumulador de amostras e extraída de acordo com a sua pertinência. Evoluindo o conceito de reprodução prioritizada de experiência para BPER, também reformulamos HER, ativando-os apenas quando o treino converge para políticas subótimas, naquilo a que chamamos a metodologia SER. Finalmente, o processo de Engenharia da Recompensa é detalhadamente exposto. Os resultados mostram ser possível tanto atingir o desempenho desejado como melhorar a robustez do agente a incertezas (sem consideráveis danos no desempenho nominal) ao treiná-lo em ambientes não nominais, validando, assim, a abordagem proposta e encorajando investigações futuras nesta área.
janeiro 20, 2021, 11:30
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Paulo Jorge Coelho Ramalho Oliveira
Departamento de Engenharia Mecânica (DEM)
Professor Catedrático