FenixEdu™

Dissertação

Multimodal Human-Robot Interaction Using Gestures and Speech Recognition EVALUATED

Detalhes: Este trabalho propõe uma abordagem, baseada em métodos de Teoria da Decisão (TD), a problemas que envolvam a interação entre sistemas robóticos e utilizadores humanos, tendo em conta os apectos latentes da Interação Humano Robô (HRI), e.g., o estado do utilizador. A abordagem proposta é fundamentada na estrutura dos Processos de Decisão de Markov Parcialmente Observáveis (POMDPs), que lidam eficientemente com a incerteza presente em problemas de planeamento que envolvam agentes físicos, aumentada de forma a incluir Recompensas de Informação (POMDP-IR), o que garante a otimização das capacidades de obtenção de informação do agente. A abordagem é formalizada numa estrutura para tomada de decisão que considera: variáveis observáveis e latentes; observações relacionadas com gestos e fala do utilizador humano; e ações referentes aos atuadores do agente ou aos objetivos de ganho de informação. Seguindo a estrutura proposta, o sistema robótico tem a capacidade de: ganhar informação ativamente e reagir de acordo com variáveis latentes, inerentes a cenários de HRI; atingir eficazmente os objetivos da tarefa em que está empregue; e manter um comportamento socialmente apelativo. Por fim, a estrutura foi sujeita a testes num cenário de terapia, num apartamento \textit{testbed} e recorrendo a um robô social móvel. Os resultados das experiências demonstram a validade da abordagem proposta para problemas envolvendo sistemas robóticos em cenários de HRI.
Keywords: Planeamento Sob Incerteza, Processos de Decisão de Markov, Observabilidade Parcial, Ganho de Informação, Interação Humano Robô, Robótica de Assistência Social

Discussão: outubro 28, 2016, 9:30