FenixEdu™

Dissertação

{en_GB=Synthesizing Signing Avatars from Annotated Language Corpus} {} EVALUATED

Detalhes: {pt=Ao longo do tempo tem crescido o interesse em avatares gestuantes. O anonimato e flexibilidade devolvidas na criação destas animações é um forte factor para este crescimento. Contudo a animação destes agentes virtuais pode ser uma tarefa complexa para utilizadores não especialistas na área de animação. Nesta dissertação, apresentamos uma ferramenta para linguistas com a qual pretendemos alavancar o seu conhecimento no domínio em conjunto com o seu corpus anotado para a animação de avatares gestuantes. Este corpus contém descrição detalhada de gestos em língua gestual Portuguesa através de símbolos, mais especificamente HamNoSys. Contudo, HamNoSys não é legível por um computador, o que requer a conversão para a sua componente XML correspondente, SiGML, que vai ser usada no processo de animação. Apesar de a nossa ferramenta ter sido desenvolvida no âmbito de língua gestual Portuguesa, pode ser usada com qualquer outra língua gestual. Realizámos um estudo com sete pessoas que usam língua gestual Portuguesa para avaliar o desempenho da nossa ferramenta. Os resultados mostraram que animação sintéctica de avatares gestuantes ainda é bastante robótica e pouco natural, o que leva a dificuldades na compreensão do conteúdo gestuado. Para além disso, a correcta velocidade e o uso de expressões faciais influencia a compreensão destes agentes virtuais. Por fim, descrevemos as nossas conquistas, as limitações da nossa ferramenta e sugestões para trabalho futuro. , en=Signing avatars have gain an increase interest in the last years. The anonymity and flexibility provided in the creation of these animations were strong factors for this growth. Nevertheless, the animation of these virtual agents can be a complex task for non-expert users in the area of animation. In this dissertation, we present a tool for linguists in which we intend to leverage their domain of expertise alongside their annotated corpus in the animation of signing avatars. This corpus contains detailed description of Portuguese Sign Language signs through the use of a symbolic representation, more specifically HamNoSys. However, HamNoSys is not machine-readable, requiring the conversion to its XML-Component, SiGML, which will be use in the animation process. Although our tool was developed in the scope of Portuguese Sign Language, it can be used with any other sign language. We conducted a user study with seven people who use Portuguese Sign Language, to assess the performance of our tool. Results show that synthetic animation still returns very robotic and unnatural signing avatars, which leads to difficulties in understanding the content. In addition, the right velocity and use of facial expressions influence the overall comprehension of these virtual agents. Finally, we describe our achievements, the limitations of our tool and suggestions for future work.}
Keywords: {pt=Avatares gestuantes, HamNoSys; SiGML, Línguas gestuais, Animação sintética, en=Signing avatars, HamNoSys; SiGML, Sign Languages, Synthetic animation}

Discussão: junho 19, 2020, 9:0