FenixEdu™

Dissertação

Touchless control of Augmented Reality Device EVALUATED

Detalhes: Realidade Aumentada (RA) é uma tecnologia que tem sido cada vez mais estudada e utilizada para inúmeras aplicações, como saúde e durante cirurgias. Existem vários métodos de interação com um sistema de RA, utilizando interfaces táteis ou touchless. Para que a RA seja adotada no contexto de uma cirurgia, existem vários requerimentos que este sistema deve cumprir, como ser um sistema automático e ter uma interface handsfree. Dois métodos de interação touchless foram estudados nesta dissertação, nomeadamente Eletrooculografia (EOG), onde o cirurgião interage com o sistema de RA utilizando movementos oculares e piscar de olhos, e Reconhecimento Automático de Fala (RAF). onde comandos de voz são utilizados para interagir. Várias implementações foram testadas para detetar e classificar movimentos oculares, especificamente utilizar thresholds de amplitude ótimos escolhidos manualmente que maximizam a probabilidade de classificar corretamente os movimentos oculares para cada pessoa, e normalizar a amplitude de todos os sinais, utilizando thresholds fixos. Para utilizar RAF como um método de interação, é necessário um Application Programming Interface (API) que produz uma transcrição a partir de um ficheiro de áudio. As principais diferenças entre vários APIs foram mostradas. Um algoritmo que deteta comandos de voz mediante a transcrição obtida foi implementado, e as taxas de sucesso de detetar corretamente o comando de voz para cada API, juntamente com o tempo médio de cada API obter as transcrições, foram calculados, para comparar os vários APIs em eficácia e eficiência.
Keywords: Realidade Aumentada, Eletrooculografia, Reconhecimento Automático de Fala, Processamento de Sinais

Discussão: junho 29, 2022, 10:0