Dissertação

Visual intention of interaction for HRI using gaze, posture and gestures EVALUATED

Nesta tese de mestrado é proposta uma ferramenta para detectar a intenção de interação de um humano caso este queira interagir com um robot, utilizando como sensor uma câmara RGB. Esta detecção é dividida em dois módulos sequenciais. O primeiro é um detector de potenciais intenções de interação, que tem como objectivo inferir se uma pessoa está habilitada a interagir com o robot, isto é, se é um potencial indivíduo a vir a interagir com o robot. Este detector é constituído por um sistema multimodal que utiliza a informação de 3 modalidades, a direcção do olhar, a posição da cabeça e a postura do indivíduo, sendo possível no fim inferir a potencial intenção para interagir. O segundo módulo é um detector de gestos dinâmicos que procura analisar os gestos realizados pelo humano para iniciar uma interação com o robot, sendo possível ao robot concluir que gestos foram feitos de forma a realizar uma resposta adequada ao que foi realizado. A arquitectura proposta leva a que os gestos apenas sejam analisados caso o humano possa vir a ter intenção para interagir. Para cada uma das modalidades, para a junção destas e para os processos associados ao detector de gestos, foram estudados classificadores para cada um destes casos, de forma a obter aqueles que levam a uma melhor performance. No fim, a ferramenta foi testada e avaliada para 31 pessoas.
intenção de interação, detector de potenciais interações, direcção do olhar, posição da cabeça, postura, detector de gestos dinâmicos

Dezembro 16, 2019, 14:0

Documentos da dissertação ainda não disponíveis publicamente

Orientação

ORIENTADOR

Alexandre José Malheiro Bernardino

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado

ORIENTADOR

José Alberto Rosado dos Santos Vitor

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático