FenixEdu™

Dissertação

{pt_PT=Robust Object Recognition Through Symbiotic Deep Learning in Mobile Robots} {} EVALUATED

Detalhes: {pt=Apesar dos recentes progressos nos algoritmos estado-da-arte para deteção de objectos, estes, quando implementados diretamente num robô de serviço, falham no reconhecimento de muitos dos objetos pre- sentes nos ambientes humanos reais. Esta tese, introduz um algoritmo de aprendizagem através do qual os robôs endereçam esta falha pedindo ajuda humana, numa abordagem denominada por “autono- mia simbiótica”. Em particular, partimos do YOLOv2, uma rede neuronal do estado-da-arte, e criámos uma nova rede neuronal – HUMAN – com a informação recolhida pelo robô através da assistência hu- mana. Com uma câmara RGB e um tablet no robô, este procura proactivamente por auxı́lio humano para classificar os objetos em seu redor. Para validar esta abordagem utilizámos três robôs de serviço, CoBot e Pepper, localizádos na CMU, e Monarch Mbot, no ISR-Lisboa, e realizámos um estudo num ambiente doméstico real com 6 participantes ao longo de 20 dias. Verificámos um melhoramento na deteção de objetos quando as duas redes neuronais (YOLOv2 e HUMAN) são usadas em paralelo. No final da experiência, o robô foi capaz de detectar o dobro dos objetos e ainda revelou uma melhor mAP (“mean Average Precision”). Através da informação recolhida com as perguntas feitas aos humanos, mostrámos ainda um possı́vel caso prático em que o robô procura um objeto para uma pessoa em especı́fico. Este trabalho contribui para robôs de serviço em geral, para além do CoBot, Pepper, e Mbot., en=Despite the recent success of state-of-the-art deep learning algorithms in object detection, when these are deployed as-is on a mobile service robot, we observed that they failed to recognize many objects in real human environments. In this work, we introduce a learning algorithm in which robots address this flaw by asking humans for help, also known as a symbiotic autonomy approach. In particular, we bootstrap YOLOv2, a state-of-the-art deep neural network and train a new neural network, that we call HUMAN, using only collected data. Using an RGB camera and an on-board tablet, the robot proactively seeks human input to assist it in labeling surrounding objects. Pepper and CoBot, located at CMU, and Monarch Mbot, located at ISR-Lisbon, were the service robots that we used to validate the proposed approach. We conducted a study in a realistic domestic environment over the course of 20 days with 6 research participants. To improve object detection, we used the two neural nets, YOLOv2 + HUMAN, in parallel. Following this methodology, the robot was able to detect twice the number of objects compared to the initial YOLOv2 neural net, and achieved a higher mAP (mean Average Precision) score. Using the learning algorithm the robot also collected data about where an object was located and to whom it belonged to by asking humans. This enabled us to explore a future use case where robots can search for a specific person’s object. We view the contribution of this work to be relevant for service robots.}
Keywords: {pt=“Deep Learning” em Robótica e Automação, en=Deep Learning in Robotics and Automation}

Discussão: junho 12, 2018, 16:0