Dissertação
Estimating object physical properties from RGB-D vision and depth robot sensors using deep learning EVALUATED
A massa desempenha um papel crucial em aplicações na área da robótica, como pegar, manusear e simular objetos, fornecendo um forte fundamento para o planeamento e controlo. Estimar com precisão a massa de um objeto antes da interação pode melhorar significativamente o desempenho de parte das tarefas executadas pelo robot. No entanto, estimar a massa através de apenas sensores de visão é uma área relativamente pouco explorada na robótica. Esta tese propõe uma nova abordagem que combina dados esparsos de point-clouds provenientes de imagens de profundidade, com imagens RGB, para estimar a massa de objetos. Avaliámos uma série de arquiteturas de processamento de point-clouds, juntamente com métodos baseados apenas em RGB. Para superar a escassez de dados de treino, criámos um conjunto de dados sintético utilizando modelos 3D do ShapeNetSem, simulando imagens RGBD através de uma câmara Kinect. Estes dados sintéticos são usados para treinar um modelo de geração de imagens para estimar mapas de profundidade densos, que utilizamos para aumentar um conjunto de dados existente de imagens emparelhadas com valores de massa. A nossa abordagem supera significativamente as benchmarks existentes em todas as métricas avaliadas.
novembro 19, 2024, 10:0
Documentos da dissertação ainda não disponíveis publicamente
Orientação
ORIENTADOR
José Alberto Rosado dos Santos Victor
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Catedrático