FenixEdu™

Dissertação

Fingerpointer - Pointing Gestures for Collaborative Robots EVALUATED

Detalhes: Com o aumento cada vez maior do número de dispositivos electrónicos que permitem interacçães mais naturais, como por voz e/ou gestos, há uma crescente necessidade de melhorar estas capacidades para tornar a experiência do utilizador mais intuitiva. O iCub, por exemplo, é um robô humanóide muito utilizado, e o nosso objectivo é treinar o iCub para identificar se um utilizador está apontando para alguma coisa. Esta é uma habilidade muito útil, uma vez que permite a comunicação gestual com o robô, permitindo executar tarefas comuns, como pegar objectos, etc. Neste trabalho abordamos o problema de determinar se um utilizador está a apontar e para onde. Nós dividimos o problema em 5 partes: 1) Sincronização do Vídeo, 2) Detecção da Mão, 3) Segmentação da Mão, 4) Classificação do Gesto da Mão, 5) Direcção e Orientação do dedo Detectado. Estudámos, testámos e avaliámos diversas técnicas e configuraçães para cada parte, e apresentamos a nossa solução proposta para o problema como um todo. A melhor solução que encontramos para detectar o gesto da mão não é tão robusta como desejámos. No entanto obtivemos uma boa solução, com 74% de precisão na detecção correcta das pontas dos dedos nas imagens identificadas como tendo o gesto de apontar, e calculamos o respectivo vector de apontar.
Keywords: Reconhecimento de Gestos, Detecção da Mão, Interacção com ICub, Kinect, Direcção e Orientação do Gesto de Apontar

Discussão: novembro 17, 2015, 10:30