Dissertação

{pt_PT=Collision-free indoor flight in a simulated environment using vision-based deep reinforcement learning} {} EVALUATED

{pt=Considerando o aumento de popularidade dos UAV nos últimos anos e a sua grande quantidade de aplicações, faz sentido pesquisar novas tecnologias para voos autónomos. A navegação de interior é um problema desafiante da robótica, em que a premissa é diferente da navegação de exterior (a qualidade do sinal de GPS geralmente não permite voos de precisão em interior). A inteligência artificial é uma das ferramentas usadas para desenvolver soluções e, nesta dissertação, uma solução baseada em aprendizagem profunda por reforço é apresentada para voo sem colisão em ambientes fechados. Treinar modelos num ambiente real é perigoso, já que a abordagem é de tentativa e erro e o drone vai colidir. Para superar esta situação, o método de aprendizagem foi explorado num ambiente simulado. Sabendo que numa aplicação real o modelo tem que ser transferido para um drone real, foi desenvolvido um sistema simples que requer apenas uma câmara RGB e de profundidade, que poderia ser facilmente implementado no mundo real. A abordagem aplicada usa o algoritmo de \textit{deep Q-learning} para treinar um conjunto de modelos com diferentes tipos de redes neuronais profundas de convolução, onde foi testado o desempenho de diferentes parâmetros. O treino é efetuado numa série de ambientes virtuais que se tornam gradualmente mais complexos à medida que a randomização de textura e estruturas é introduzida, com o objetivo de treinar um modelo generalizável. Todos os modelos foram avaliados num ambiente desconhecido, mostrando como a generalização do modelo desempenha um papel crucial no seu comportamento., en=Considering UAV popularity increase in recent years and their extensive range of possible applications, it makes perfect sense to investigate new technologies for autonomous flight. Indoor navigation is a challenging problem in robotics, where the premise is different from outdoors (GPS signal quality does not generally allow precision flight indoors). Artificial intelligence is one of the many tools used to create and optimize solutions and, in this thesis, a deep reinforcement learning based solution is presented for collision-free indoor flight. Training a model in a real-life scenario can be dangerous since it is a trial-and-error approach and would definitely lead the drone to crash. To overcome this situation, we explored a deep reinforcement learning method in a simulated environment. Keeping in mind that for a real application the model must be transferred to a real drone, we developed a simple system, which requires only a depth and an RGB camera, and that could easily be deployed in the real world. In our approach we used the deep Q-learning algorithm to train a set of models with different types of deep convolutional neural networks, studying the performance on different parameters. The training was performed in a series of virtual environments that got gradually more complex as randomization on texture and structures is introduced into the scene, with the objective of training a generalizable model. We evaluated all trained models in an unknown environment, showing how model generalization plays a crucial role in improving the model behavior.}
{pt=UAV, Navegação de Interior, Aprendizagem por Reenforço, Deep Q-learning, Simulação, en=UAV, Indoor Navigation, Reinforcement Learning, Deep Q-learning, Simulation}

novembro 13, 2018, 14:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Nino Cauli

ORIENTADOR

Alexandre José Malheiro Bernardino

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado