Dissertação

{pt_PT=PE2LGP: Do texto à língua Gestual (e vice-versa)} {} EVALUATED

{pt=Nesta tese foi feita uma evolução do PE2LGP ao nível da arquitetura com o objectivo de agilizar o modo de introdução de novos gestos, sem que para isso sejam precisos conhecimentos avançados na área de animação. Assim, foram criados dois sistemas: um manual e outro automático. O primeiro permite ao utilizador criar novos gestos manipulando diretamente o modelo através de interações com o rato, usando para isso uma interface. O segundo tenta automatizar o processo de criação do primeiro, utilizando o sensor Kinect One, ou seja, a interação do utilizador com o modelo é maioritariamente feita através do sensor, onde os movimentos do utilizador são convertidos em gestos. Além disso, o modelo e as respectivas animações do PE2LGP foram exportadas para o motor de jogo Unity, onde foi recriada e melhorada a interface, e a componente de língua natural foi convertida para uma REST API. Estas alterações permitiram quebrar a dependência que existia ao Blender. A avaliação concentrou-se nos dois sistemas de criação de gestos, sendo que o principal objetivo foi perceber se eram acessíveis, para utilizadores com diferentes perfis, no que diz respeito à usabilidade e, posteriormente, perceber se os gestos teriam qualidade, em particular para a comunidade surda. Verificou-se que a usabilidade é adequada e que ambos os sistemas são importantes no contexto da LGP, contudo precisam de diversas melhorias para chegar a um produto final., en=In this thesis we improved and extended PE2LGP. Changes were made in terms of its architecture and two systems were developed in order to allow the introduction of new signs, without the need of having advanced knowledge in the animation area. In the first, allows to manually add signs to PE2LGP by interacting directly with the avatar through the mouse using an interface; in the second, signs are created with the help of Kinect One in order to automate the entire process of the first system, where the user's movements are converted into gestures. PE2LGP was also exported to the game engine Unity, and the natural language component was converted into a REST API, breaking its dependency to Blender, which led to a more flexible system. These systems were evaluated in order to understand if they could be used by people with different profiles, and also if the signs had quality enough to be understood by people that speak LGP. Both systems were easily used by the evaluators, but the produced signs were not totally understood by LGP users. Thus, many improvements are still needed before reaching a final product. }
{pt=Sistemas para Criar de Gestos, Língua Gestual Portuguesa, Análise do Texto, Animações, Unity, en=Systems to Create Gestures, Portuguese Sign Language, Text Analysis, Animations, Unity}

Novembro 22, 2016, 14:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

João António Madeiras Pereira

Departamento de Engenharia Informática (DEI)

Professor Associado

ORIENTADOR

Maria Luísa Torres Ribeiro Marques da Silva Coheur

Departamento de Engenharia Informática (DEI)

Professor Auxiliar