Dissertação

Robot hand self-perception via 2D segmentation: a deep learning approach EVALUATED

Com este trabalho, propomos utilizar deep learning para realizar segmentação em imagens com mãos robóticas, servindo várias aplicações, e.g. ajudar em tarefas que requerem precisão no posicionamento das mãos do robô. Detetar as próprias mãos, utilizando visão, é mais fidedigno do que utilizar cinemáticas porque, nesta última abordagem, cada junta do braço tem que estar devidamente calibrada, caso contrário pequenos offsets propagam-se, criando erros maiores quando estimada a pose da mão. Manter as juntas calibradas é uma tarefa pouco prática e demorada. Para superar o desafio de recolher e anotar quantidades grandes de imagens, os dados são gerados em simulação, utilizando domain randomization. Utilizamos um modelo, pré-treinado num dataset de grande escala, cujos pesos são re-treinados para a nova tarefa. Realizamos experiências, com diferentes datasets e estratégias de treino, mostrando resultados em diferentes tipos de datasets, com imagens geradas em simulação e em ambientes indoor, utilizando o robô real. Destas experiências criamos um modelo final, treinado apenas com imagens sintéticas, que atinge um average IoU de 82% nos dados de validação sintéticos e 63,5% nos dados de validação reais. Estes resultados foram atingidos com apenas 1000 imagens e 3 horas de treino, utilizando apenas uma GPU. Não pretendemos criar um modelo robusto, mas sim desenvolver uma metodologia que necessite de poucos dados para atingir um desempenho razoável, em dados reais, e dar uma visão detalhada de como gerar, devidamente, variabilidade nos dados e como re-treinar modelos complexos para realizar uma tarefa muito diferente.
Mãos Robóticas, Segmentação, Deep Learning, Domain Randomization, Ambientes Indoor

Dezembro 16, 2019, 15:30

Documentos da dissertação ainda não disponíveis publicamente

Orientação

ORIENTADOR

José Alberto Rosado dos Santos Vitor

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático

ORIENTADOR

Alexandre José Malheiro Bernardino

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado