Dissertação

Multimodal Human-Robot Interaction Using Gestures and Speech Recognition EVALUATED

Este trabalho propõe uma abordagem, baseada em métodos de Teoria da Decisão (TD), a problemas que envolvam a interação entre sistemas robóticos e utilizadores humanos, tendo em conta os apectos latentes da Interação Humano Robô (HRI), e.g., o estado do utilizador. A abordagem proposta é fundamentada na estrutura dos Processos de Decisão de Markov Parcialmente Observáveis (POMDPs), que lidam eficientemente com a incerteza presente em problemas de planeamento que envolvam agentes físicos, aumentada de forma a incluir Recompensas de Informação (POMDP-IR), o que garante a otimização das capacidades de obtenção de informação do agente. A abordagem é formalizada numa estrutura para tomada de decisão que considera: variáveis observáveis e latentes; observações relacionadas com gestos e fala do utilizador humano; e ações referentes aos atuadores do agente ou aos objetivos de ganho de informação. Seguindo a estrutura proposta, o sistema robótico tem a capacidade de: ganhar informação ativamente e reagir de acordo com variáveis latentes, inerentes a cenários de HRI; atingir eficazmente os objetivos da tarefa em que está empregue; e manter um comportamento socialmente apelativo. Por fim, a estrutura foi sujeita a testes num cenário de terapia, num apartamento \textit{testbed} e recorrendo a um robô social móvel. Os resultados das experiências demonstram a validade da abordagem proposta para problemas envolvendo sistemas robóticos em cenários de HRI.
Planeamento Sob Incerteza, Processos de Decisão de Markov, Observabilidade Parcial, Ganho de Informação, Interação Humano Robô, Robótica de Assistência Social

Outubro 28, 2016, 9:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Tiago Veiga

ORIENTADOR

Pedro Manuel Urbano de Almeida Lima

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado