Dissertação
Automatic design of controller parameters based on reinforcement learning EVALUATED
Devido à crescente procura por Veículos de Lançamento Reutilizáveis (RLVs) para reduzir os efeitos do lançamento de foguetões, a investigação sobre a aterragem e recuperação de foguetões tem ganho importância nos últimos anos. Portanto, o objetivo deste trabalho é desenvolver um pacote de software para o projeto automático de controladores lineares através de uma abordagem baseada na Parametrização de Youla (YP) e na Aprendizagem por Reforço (RL), de modo a resolver um problema do controlo de atitude na aterragem de um RLV. Através desta parametrização é possível obter o conjunto de todos os controladores lineares que estabilizam uma dada planta linear, ao variar uma função de transferência estável conhecida como parâmetro de Youla. Propomos uma nova abordagem para ajustar este parâmetro, com um algoritmo de RL, conhecido como Episodic REINFORCE, para sistemas instáveis. A investigação sobre RL no projeto de sistemas de feedback em circunstâncias em que a instabilidade pode interferir com a aprendizagem ou o hardware é limitada, e as parametrizações clássicas tendem a ter um desempenho fraco nestes casos. Por isso, a aprendizagem foi combinada com a YP, que oferece vantagens em termos de estabilidade, robustez e desempenho. Os resultados obtidos solucionam o problema proposto, validando-o com um algoritmo de otimização do estado da arte. Apresentou-se, também, uma abordagem para acelerar a convergência do algoritmo. Este trabalho contribui para o avanço da tecnologia de lançamento reutilizável, visto que a junção de RL com a YP abre novas possibilidades para o projeto automático de controladores em sistemas complexos.
junho 26, 2023, 11:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
João Manuel Lage de Miranda Lemos
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Catedrático