FenixEdu™

Dissertação

{pt_PT=Fingerpointer - Pointing Gestures for Collaborative Robots} {} EVALUATED

Detalhes: {pt=Com o aumento cada vez maior do número de dispositivos electrónicos que permitem interacçães mais naturais, como por voz e/ou gestos, há uma crescente necessidade de melhorar estas capacidades para tornar a experiência do utilizador mais intuitiva. O iCub, por exemplo, é um robô humanóide muito utilizado, e o nosso objectivo é treinar o iCub para identificar se um utilizador está apontando para alguma coisa. Esta é uma habilidade muito útil, uma vez que permite a comunicação gestual com o robô, permitindo executar tarefas comuns, como pegar objectos, etc. Neste trabalho abordamos o problema de determinar se um utilizador está a apontar e para onde. Nós dividimos o problema em 5 partes: 1) Sincronização do Vídeo, 2) Detecção da Mão, 3) Segmentação da Mão, 4) Classificação do Gesto da Mão, 5) Direcção e Orientação do dedo Detectado. Estudámos, testámos e avaliámos diversas técnicas e configuraçães para cada parte, e apresentamos a nossa solução proposta para o problema como um todo. A melhor solução que encontramos para detectar o gesto da mão não é tão robusta como desejámos. No entanto obtivemos uma boa solução, com 74% de precisão na detecção correcta das pontas dos dedos nas imagens identificadas como tendo o gesto de apontar, e calculamos o respectivo vector de apontar., en=With the increase of electronic gadgets that allow more natural interactions, such as by speech and/or gestures, there is a growing need to improve the use of these capabilities, and find ways to make the user experience more intuitive. The iCub, for example, is a widely used humanoid robot, and our aim is to train the iCub to identify if a user is pointing to something. This is a very useful ability, since it allows gestural communication with the robot, and thus enabling it to execute joint tasks, such as picking up objects, etc. In this work we tackle the problem of finding if a user is pointing and to where. We divide it into 5 parts: 1) Video Synchronization, 2) Hand Detection, 3) Hand Segmentation, 4) Hand Gesture Classification, 5) Finger Direction and Orientation Detection. We studied, tested and evaluated several techniques and settings for each part, and we present our proposed solution for the problem as a whole. The best solution found was not as robust as desired, specially in detecting the correct hand gesture, but achieved 74% accuracy in correctly detecting the fingertip in the images identified as containing the pointing gesture, and calculating the respective pointing vector.}
Keywords: {pt=Reconhecimento de Gestos, Detecção da Mão, Interacção com ICub, Kinect, Direcção e Orientação do Gesto de Apontar, en=Gesture Recognition, Hand Detection, ICub Interaction, Kinect, Pointing Direction and Orientation}

Discussão: novembro 17, 2015, 10:30