Dissertação

Generating Realistic Sign Language Animations EVALUATED

A síntese de animações em Língua Gestual, em tempo real, é uma tarefa difícil porque avatares têm de reproduzir vários processos linguísticos e movimentos que sejam naturais. A maioria dos avatares são descritos como não naturais, sem emoção, e rígidos porque não conseguem reproduzir, com precisão, todas as subtilezas corporais de um gestuante humano. A nossa abordagem consiste na síntese e animação simultânea de componentes manuais e não-manuais, e movimentos secundários faciais e corporais. As componentes manuais e não manuais são responsáveis pelos movimentos morfossintácticos necessários nas Línguas Gestuais e os movimentos secundários são responsáveis pela naturalidade do avatar. Esta dissertação fornece um sistema que pode ser utilizado em várias aplicações digitais. As animações produzidas pelo novo sistema foram testadas por 34 participantes. De um modo geral, o bom desempenho e o feedback positivo indicam que as animações geradas mostram um grande potencial na área da animação sintética de Línguas Gestuais. Nesta dissertação, introduzimos componentes que podem ser aplicadas não só para a Língua Gestual Portuguesa (LGP) mas também para outras Línguas Gestuais. Por exemplo, um método para a síntese de expressões faciais simultâneas, uma abordagem dinâmica para as transições entre gestos, a geração automática de movimentos faciais e corporais secundários, e a integração e síntese de animações de labialização/mouthing. Este sistema traz o estado da arte um passo mais perto de um tradutor automático de Português para LGP.
Língua Gestual Portuguesa, Animação Sintética, Linguística Computacional, Processamento de Linguaguem Natural

novembro 22, 2021, 9:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Maria Luísa Torres Ribeiro Marques da Silva Coheur

Departamento de Engenharia Informática (DEI)

Professor Associado

ORIENTADOR

Hugo Miguel Aleixo Albuquerque Nicolau

Departamento de Engenharia Informática (DEI)

Professor Auxiliar