FenixEdu™

Dissertação

{en_GB=A Deep Reinforcement Learning approach for Autonomous Docking of an Underactuated Surface Vessel} {} EVALUATED

Detalhes: {pt=Com o crescente interesse em sistemas de navegação autónomos, estão a ser desenvolvidas técnicas avançadas de embarcações para assegurar que as estas possam controlar independentemente as suas próprias acções, especialmente em tarefas onde é necessária uma alta precisão. Uma destas tarefas é o procedimento de atracagem. O objectivo desta tarefa é a aproximação da embarcação à posição de atracagem em segurança, diminuindo gradualmente a velocidade até uma paragem completa. A baixas velocidades, a baixa propulsão no leme reduz a manobrabilidade da embarcação. Isto combinado com a alta densidade de obstáculos no ambiente portuário torna a tarefa de atracagem uma das tarefas mais desafiantes num cenário marítimo. Nesta investigação, propomo-nos resolver este problema, primeiro, através da construção de um ambiente portuário 3D realista. Em seguida, devido às capacidades de aprendizagem e à abordagem model-free, para esta investigação foram utilizadas técnicas de Aprendizagem de Reforço para desenvolver uma sistema de planeamento de acções para um navio subactuado, sem um planeamento prévio do percurso. Foi utilizada uma Duelling Network em combinação com o algoritmo Double Deep Q-Network para treinar o agente. O modelo foi testado para três cenários: 1) e 2) testam a capacidade do agente para se aproximar da posição de atracagem quando já está alinhado com esta; 3) testa a capacidade do agente para fazer toda a manobra de atracagem, começando perpendicularmente a esta. Relativamente à segurança e robustez, os resultados mostraram bom desempenho em todos os cenários, mas mostraram algumas limitações na suavidade do controlo. , en=With the growing interest in autonomous navigation systems, advanced vessel motion control techniques are being developed to ensure that vessels can independently control their own actions, especially in tasks where high precision is required. One of these tasks is the docking procedure. The objective of this task is to approach the vessel to the docking position in safety, gradually decreasing the speed until a complete stop. At low velocities, the low propulsion on the rudder reduces the vessel’s maneuverability. This combined with the high density of obstacles in the harbor environment makes the docking task one of the most challenging tasks in a maritime setting. In this research, we propose to solve this problem by, first, constructing a realistic 3D harbor environment. Next, due to the learning abilities and the model-free approach, Deep Reinforcement Learning techniques were used to develop an action-planning guidance layer for an underactuated vessel, without a prior path-planning. It was used a Duelling Network in combination with the Double Deep Q-Network algorithm to train the agent. The model was tested for three scenarios: 1) and 2) test the agent’s ability to approach the docking position when it is already aligned with it; 3) test the capacity of the agent to make the whole docking maneuver, by starting perpendicular to it. Regarding safety and robustness, results showed good performance in all scenarios, while showing some limitations in control smoothness. }
Keywords: {pt=Atracagem Autónoma, Aprendizagem por Reforço, LiDAR, Duelling Network, en=Autonomous Docking, Reinforcement Learning, LiDAR, Duelling Network}

Discussão: fevereiro 9, 2021, 14:0