FenixEdu™

Dissertação

Robust Object Recognition Through Symbiotic Deep Learning in Mobile Robots EVALUATED

Detalhes: Apesar dos recentes progressos nos algoritmos estado-da-arte para deteção de objectos, estes, quando implementados diretamente num robô de serviço, falham no reconhecimento de muitos dos objetos pre- sentes nos ambientes humanos reais. Esta tese, introduz um algoritmo de aprendizagem através do qual os robôs endereçam esta falha pedindo ajuda humana, numa abordagem denominada por “autono- mia simbiótica”. Em particular, partimos do YOLOv2, uma rede neuronal do estado-da-arte, e criámos uma nova rede neuronal – HUMAN – com a informação recolhida pelo robô através da assistência hu- mana. Com uma câmara RGB e um tablet no robô, este procura proactivamente por auxı́lio humano para classificar os objetos em seu redor. Para validar esta abordagem utilizámos três robôs de serviço, CoBot e Pepper, localizádos na CMU, e Monarch Mbot, no ISR-Lisboa, e realizámos um estudo num ambiente doméstico real com 6 participantes ao longo de 20 dias. Verificámos um melhoramento na deteção de objetos quando as duas redes neuronais (YOLOv2 e HUMAN) são usadas em paralelo. No final da experiência, o robô foi capaz de detectar o dobro dos objetos e ainda revelou uma melhor mAP (“mean Average Precision”). Através da informação recolhida com as perguntas feitas aos humanos, mostrámos ainda um possı́vel caso prático em que o robô procura um objeto para uma pessoa em especı́fico. Este trabalho contribui para robôs de serviço em geral, para além do CoBot, Pepper, e Mbot.
Keywords: “Deep Learning” em Robótica e Automação

Discussão: junho 12, 2018, 16:0