Dissertação

{en_GB=Mind the Gap! Bridging the Reality Gap in Visual Perception and Robotic Grasping with Domain Randomisation} {} EVALUATED

{pt=Neste trabalho focamo-nos em Domain Randomisation (DR), que tem ganho popularidade junto da comunidade investigadora quando a tarefa em estudo envolve transferir conhecimento de um domínio simulado para o mundo real. Isto é comum na área de robótica, na qual o custo da realização de experiências com um robô real é demasiado elevado para se adquirir a quantidade necessária de dados para o uso de métodos de Deep Learning (aprendizagem profunda). Propomos o estudo do impacto de introduzir variações aleatórias em propriedades tanto visuais como físicas, num ambiente robótico virtual. Isto é feito ao abordar dois problemas distintos, nomeadamente 1) detecção de objectos e 2) grasping autónomo. No que diz respeito a 1), tanto quanto sabemos, o nosso trabalho foi o primeiro a aplicar DR à detecção de objectos multi-classe. Introduzimos uma nova ferramenta de DR para a geração de dados sintéticos num estabelecido simulador de robótica open-source. Posteriormente, treinámos um detector de objectos estado-de-arte com múltiplos datasets de imagens simuladas e concluímos que DR pode levar a um aumento de até 26% em mAP (mean Average Precision) relativamente ao uso da técnica de fine-tuning, que envolve o pré-treino num dataset enorme e genérico. Relativamente a 2), criámos um procedimento para a simulação de tentativas de grasp, com suporte tanto para grippers como para mãos robóticas complexas com múltiplos dedos. Estendemos a ferramenta anteriormente mencionada para possibilitar a variação de propriedades físicas e finalmente analisámos o impacto de aplicar DR a um cenário de grasping virtual., en=In this work, we focus on Domain Randomisation (DR), which has rapidly gained popularity among the research community when the task at hand involves knowledge transfer from simulated to the real-world domain. This is common in the field of robotics, where the cost of performing experiments with real robots is too unwieldy for acquiring the massive amount of data required for deep learning methods. We propose to study the impact of introducing random variations in both visual and physical properties in a virtual robotics environment. This is done by tackling two different problems namely, 1) object detection and 2) autonomous grasping. Concerning 1), to the best of our knowledge, our research was the first to extend the application of DR to a multi-class shape detection scenario. We introduce a novel DR framework for generating synthetic data in a widely popular open-source robotics simulator (Gazebo). We then train a state-of-the-art object detector with several simulated-image datasets and conclude that DR can lead to as much as 26% improvement in mAP (mean Average Precision) over a fine-tuning baseline, which is pre-trained on a huge, domain-generic dataset. Regarding 2) we created a pipeline for simulating grasp trials, with support for both simple grippers and complex multi-fingered robotic hands. We extend the aforementioned framework to perform randomisation of physical properties and ultimately analyse the effect of applying DR to a virtual grasping scenario.}
{pt=Domain Randomisation, Reality Gap, Simulação, Detecção de Objectos, Grasping, Robótica, en=Domain Randomisation, Reality Gap, Simulation, Object Detection, Grasping, Robotics}

Novembro 29, 2018, 11:0

Orientação

ORIENTADOR

Plinio Moreno Lopez

Polo IST-ISR (CC. 1601)

Investigador

ORIENTADOR

José Alberto Rosado dos Santos Vitor

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático