FenixEdu™

Dissertação

Sensor Fusion for Object Detection based on Test Time Augmentation EVALUATED

Detalhes: A deteção de objetos é um passo importante no projeto de veículos autónomos. Avanços recentes em visão por computador e aprendizagem profunda possibilitaram a utilização de redes neuronais para deteção objetos em contexto de tempo real. No entanto, previsões feitas por tais modelos podem não ser fiáveis, especialmente quando deparados com exemplos não presentes no conjunto de treino. Além disso, as câmaras RGB são suscetíveis a condições atmosféricas e podem não conseguir representar detalhadamente o ambiente envolvente. Para combater este problema, outros sensores, como câmaras térmicas, são usados simultaneamente para obter dados complementares. Através do processo de fusão de sensores, é possível combinar previsões feitas em diferentes tipos de dados para fazer uma previsão final mais informada. Neste trabalho, propomos um método de fusão late-stage baseado em Test-Time Augmentation e estatística Bayesiana. O método proposto é capaz de estimar incerteza e fundir previsões feitas por detetores de objetos baseados em aprendizagem profunda, em pares de imagens RGB/térmica bem alinhados temporalmente e espacialmente. Os resultados mostram melhorias em métricas de deteção e incerteza de classificação, quando comparadas com os casos individuais. Também estudamos o impacto que diferentes tipo de augmentation têm na avaliação para ambos os tipos de imagem, e como escolhas apropriadas neste aspeto podem melhorar os resultados de deteção.
Keywords: Fusão de Sensores, Deteção de objetos, Test Time Augmentation, Quantificação de Incerteza, Veículos Autónomos

Discussão: junho 16, 2023, 14:0