Dissertação

{en_GB= Domestic Robot Grasping using Visual-Servoing and Deep Learning} {} EVALUATED

{pt=O manuseamento robótico é uma funcionalidade importante em robôs domésticos. Esta área tem sido objecto de extensa investigação levando ao desenvolvimento de diferentes métodos, desde sistemas baseados na teoria de controlo, até sistemas que usam somente aprendizagem automática. Esta tese propõe um processo para manipulação de objectos, cujo componente central usa seguimento visual (visual-servoing ou VS) para posicionar o efector terminal do braço robótico junto ao objecto a agarrar, com localização obtida através de retroação visual. Uma câmara com sensor de profundidade, fixa à cabeça de um robô móvel, observa o objecto e o efector terminal e estima ambas as posições, usadas para calcular o erro posicional de forma independente da calibração cinemática e da câmara. O erro é minimizado através de controlo proporcional do braço, que é actuado através de cinemática diferencial. A posição do objecto é obtida usando uma rede neuronal convolucional que identifica a área da imagem que contém o objecto. A profundidade no centro desta área é usada para calcular a posição. O efector terminal é localizado usando marcadores de realidade aumentada (AR) colocados à volta do pulso. O processo completo obtém o volume de colisão do espaço, move o braço até uma posição de pré-agarramento que faz com que o efector terminal fique visível na câmara, e o seguimento visual é activado. O sistema demonstra sucesso em agarrar objectos domésticos em diferentes posições, obtendo bons resultados num teste de manuseamento para usar em futuras competições da European Robotics League., en=Object grasping and manipulation are important capabilities for domestic service robots. Extensive research work has been done in this area leading to the development of different methods, from approaches based on classical control theory, to fully end-to-end machine learning systems, leveraging advances in computer vision, supervised and reinforcement learning. This work proposes a grasping pipeline with a visual-servoing main component, used to precisely control the end-effector of a robotic arm towards the target object using visual feedback. A depth-camera, fixed to a mobile robot's head, observes both the object and the end-effector and estimates their positions using different methods. These camera-frame positions are used to calculate an error value which is independent from calibration of both the camera and the arm's joints. A proportional control law outputs the required end-effector velocity to minimize the error, and the arm is actuated using differential kinematics. The target object's position is obtained by combining the bounding-box output by a convolutional neural network for object detection, with depth information from the center of the bounding-box. The end-effector is located by tracking AR tags placed around the arm wrist. A complete grasping pipeline is developed which obtains the scene's octomap, moves the arm to a pregrasp pose where the end-effector is visible to the camera, and activates visual servo control. The system successfully grasps several household objects in different positions, obtaining good results in a grasping benchmark scenario to be used in European Robotics League competitions.}
{pt=Robótica, Manipulação, Visual-Servoing, en=Robotics, Manipulation, Visual-Servoing}

novembro 13, 2020, 9:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Pedro Manuel Urbano de Almeida Lima

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático