Dissertação

Mind the Gap! Bridging the Reality Gap in Visual Perception and Robotic Grasping with Domain Randomisation EVALUATED

Neste trabalho focamo-nos em Domain Randomisation (DR), que tem ganho popularidade junto da comunidade investigadora quando a tarefa em estudo envolve transferir conhecimento de um domínio simulado para o mundo real. Isto é comum na área de robótica, na qual o custo da realização de experiências com um robô real é demasiado elevado para se adquirir a quantidade necessária de dados para o uso de métodos de Deep Learning (aprendizagem profunda). Propomos o estudo do impacto de introduzir variações aleatórias em propriedades tanto visuais como físicas, num ambiente robótico virtual. Isto é feito ao abordar dois problemas distintos, nomeadamente 1) detecção de objectos e 2) grasping autónomo. No que diz respeito a 1), tanto quanto sabemos, o nosso trabalho foi o primeiro a aplicar DR à detecção de objectos multi-classe. Introduzimos uma nova ferramenta de DR para a geração de dados sintéticos num estabelecido simulador de robótica open-source. Posteriormente, treinámos um detector de objectos estado-de-arte com múltiplos datasets de imagens simuladas e concluímos que DR pode levar a um aumento de até 26% em mAP (mean Average Precision) relativamente ao uso da técnica de fine-tuning, que envolve o pré-treino num dataset enorme e genérico. Relativamente a 2), criámos um procedimento para a simulação de tentativas de grasp, com suporte tanto para grippers como para mãos robóticas complexas com múltiplos dedos. Estendemos a ferramenta anteriormente mencionada para possibilitar a variação de propriedades físicas e finalmente analisámos o impacto de aplicar DR a um cenário de grasping virtual.
Domain Randomisation, Reality Gap, Simulação, Detecção de Objectos, Grasping, Robótica

Novembro 29, 2018, 11:0

Documentos da dissertação ainda não disponíveis publicamente

Orientação

ORIENTADOR

Plinio Moreno Lopez

Polo IST-ISR (CC. 1601)

Investigador

ORIENTADOR

José Alberto Rosado dos Santos Vitor

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático