Dissertação
{pt_PT=Autonomous vehicle perception using a driving simulator: the capabilities of artificial LiDAR data} {} EVALUATED
{pt=Deteção de objetos e segmentação semântica são estudos importantes no âmbito da condução autónoma, uma vez que é necessário detetar e rastrear objetos na estrada e compreender o meio que rodeia o veículo. Rotular nuvens de pontos tridimensionais é uma tarefa dispendiosa e demorada, sendo que dados artificiais são vistos como um possível recurso para combater estes problemas. Neste trabalho, é proposto um estudo das capacidades e potencial de dados artificiais para deteção de objetos e segmentação semântica, através do uso de métodos de aprendizagem profunda. Para desafios de perceção tridimensional de veículos, treinar redes neuronais com nuvens de pontos grandes, dispersas e desordenadas tem sido uma tarefa difícil, em parte devido à falta de dados rotulados disponíveis. O simulador CARLA foi usado para gerar os dados de LiDAR, e foi dada uma enfase adicional ao estudo de formas de atenuar as diferenças entre dados artificiais e do mundo real. Mais especificamente, foram modelados tanto o ruído presente nas nuvens de pontos reais, como também as reflexões perdidas (a que chamamos point dropout) que ocorrem durante a geração de dados no mundo real. Também explorámos os potenciais benefícios do uso de modelos pré-treinados em dados artificiais e aplicação de técnicas de finetuning com todos ou uma fração dos dados reais disponíveis. Descobrimos benefícios claros ao utilizar dados artificiais para pré-treinar as redes neuronais, o que nos permitiu reduzir a quantidade de dados reais utilizados e melhorar a performance dos nossos modelos., en=In autonomous driving, object detection and semantic segmentation are critical tasks since it is required to not only detect and track objects on the road, but also to have a deep understanding of the surroundings. Since annotating 3D point clouds is a high resource and time-consuming task, artificial data is seen as an upcoming resource that could solve these issues. In this work we propose a study of the capabilities and potential of artificial LiDAR data for object detection and semantic segmentation, using deep learning methods. For 3D vehicle perception challenges, training deep neural networks in big, sparse and unordered point clouds has shown to be a hard task, in part due to the lack of publicly available data. We used simulator CARLA to generate our data, and studied in depth ways of mitigating the differences between artificial and real world data. We modelled both the noise from real world point clouds, and the missed reflections (that we called point dropout) that occur in real world data collection. We also explored potential benefits of using pre-trained models on artificial data when fine tuning with all or a fraction of the available real world data. We found clear benefits when using artificial data to pre-train a network, which allowed us to use a reduced amount of real world data, and boosting the performance of our models.}
janeiro 25, 2021, 11:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Alexandre José Malheiro Bernardino
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Associado
