FenixEdu™

Dissertação

{en_GB=Adaptive and reconfigurable control of landing manoeuvres in uncertain environments} {} EVALUATED

Detalhes: {pt=Esta dissertação tem como objectivo demonstrar os benefícios e as limitações de um sistema de controlo utilizando um algoritmo de reinforcement learning na aterragem vertical de veículos reutilizáveis. Os veículos reutilizáveis permitem diminuir o custo da exploração espacial e a aterragem vertical tem a vantagem de não necessitar de uma pista, no entanto, esta precisa de ser o mais precisa possível. O algoritmo de RL utilizado é o Q-learning que permite a aprendizagem de parâmetros sem ser necessário o conhecimento da dinâmica do sistema. Este trabalho centra-se especialmente no desenvolvimento do sistema de controlo por forma a que o lançador seja capaz de seguir uma trajetória nominal pré-definida quando sujeito a perturbações. A novidade deste trabalho consiste na estrutura de controlo em cascata utilizando o controlador RL. A robustez da abordagem proposta é testada em vários cenários e a sua performance é comparada com a do sistema controlado por um controlador clássico - LQR. A principal dificuldade na implementação consistiu no facto de a duração da trajetória ser pequena pelo que os tempos de aprendizagem do algoritmo também são menores. Este método para o design do controlador, para certos cenários, apresenta medidas de desempenho melhores. Ao apresentar os resultados obtidos com o controlador de RL bem como a sua análise, a dissertação permite compreender, avaliar e comparar os seus limites de funcionamento com os método de controlo LQR em simulações não lineares com incerteza de parâmetros., en=This dissertation aims to demonstrate the benefits and limitations of reinforcement learning (RL) control for the vertical landing of reusable vehicles. The reusable launch vehicles allow reducing the cost of space exploration, with vertical landing having the advantage of not needing a runway, at the cost of stringent requirements in terms of reference trajectory tracking accuracy. The RL algorithm selected is the so-called Q-learning, which allows learning parameters without the knowledge of the system dynamics, i.e., treating it as a blackbox. This work focuses especially on the development of the control system so that the launcher is able to follow a nominal predefined trajectory, even when subjected to disturbances. The novelty of this work consists in the cascaded control structure using the RL controller. The robustness of the proposed approach is tested in several scenarios and its performance is compared with the system controlled by a classical controller, namely a Linear Quadratic Regulator (LQR). The main challenge in learning-based control approaches to the problem of vertical landing is that the trajectory duration is small and, thus, the period for control adaptation is also limited. By presenting the results obtained with the RL controller as well as its analysis, the study allows understanding, evaluating and comparing its operating limits with the LQR control method in nonlinear simulations with parameter uncertainty. }
Keywords: {pt=Lançadores reutilizáveis, Aterragem, Regulador Quadrático Linear, Controlo em cascata, Aprendizagem por reforço, Q-learning, en=Reusable launch vehicle, Landing, Linear Quadratic Regulator (LQR), Cascade control, Reinforcement learning (RL), Q-learning}

Discussão: julho 14, 2023, 10:0