FenixEdu™

Dissertação

{en_GB=Non-cooperative UAV Detection and Relative Position Estimation A Deep Learning Approach Using LiDAR and Camera Data } {} EVALUATED

Detalhes: {pt=O trabalho apresentado nesta tese propõe um sistema capaz de detetar e estimar a posição relativa de UAVs (Unmanned Aerial Vehicles) não cooperativos. O sistema utiliza medições de um LiDAR (Light Detection and Ranging) e imagens de uma câmara para detetar e seguir UAVs próximos através da aplicação de algoritmos de deep learning. Em vez de anotar manualmente imagens para treinar o detetor de objetos escolhido - YOLO (You Only Look Once), foram criadas imagens sintetizadas e automaticamente anotadas com o open-source software AirSim. O YOLO foi treinado com 4761 imagens e validado com 530 imagens, para as quais apresentou mAP (Mean Average Precision) igual a 99.03%, precisão de 98.00%, recall de 98.00% e um IoU (Intersection over Union) de 83.11%. O YOLO fornece coordenadas de bounding boxes que, em conjunto com medições do LiDAR, são utilizadas para estimar a posição relativa dos UAVs. Filtros de Kalman são utilizados para suavizar as estimativas obtidas. O sistema pode ser usado em situações nas quais sistemas convencionais de localização não são uma boa solução, como sense and avoid. Simulações realizadas com o AirSim apresentaram um RMSE (Root-Mean Squared Error) máximo de 8.60m para a estimativa de distancia com uma câmara de resolução 720p e 7.80m para uma camara de resolução 1080p, quando o UAV se encontra a Z ≈ 50m. Finalmente, simulações com dois UAVs foram realizadas para confirmar que o sistema funciona para qualquer numero de UAVs presentes nas imagens, sem qualquer informação ou suposição sobre os mesmos., en=This work proposes a system designed to run onboard a UAV capable of detecting and estimating the relative position of encountered non-cooperative UAVs. The system utilizes both LiDAR (Light Detection and Ranging) measurements and images from a camera to detect and track nearby UAVs using a deep learning approach. Instead of manually labelling a dataset to train the chosen object detector - YOLO (You Only Look Once), synthesized images were automatically created and annotated using the open-source software AirSim. YOLO was trained with 4761 training and 530 validation images to which presented a mAP (Mean Average Precision) of 99.03%, precision of 98%, recall of 98% and an IoU (Intersection over Union) of 83.11%. YOLO outputs bounding box coordinates that are combined with measurements given by the LiDAR to estimate the relative position of the encountered UAVs. Kalman Filtering is used to smooth the obtained estimations. The system can be used in situations where conventional localization systems are not a good solution, such as sense and avoid. Simulations performed with AirSim presented a maximum RMSE (Root-Mean Squared Error) of 8.60m for the distance estimation with a camera with a 720p resolution and 7.80m for a camera with 1080p, when the UAV is at Z ≈ 50m. When tested in the simulation images, YOLO presented a precision of 100% and the lowest recall value of 92%. Finally, simulations with two UAVs were performed to confirm that the system works for any number of encountered UAVs without any a priori information or assumption.}
Keywords: {pt=Câmara, LiDAR, YOLO, AirSim, Filtro de Kalman, en=Camera, LiDAR, YOLO, AirSim, Kalman Filter}

Discussão: dezembro 14, 2021, 17:0