Dissertação

Exploring Physiological Multimodality for Emotional Assessment EVALUATED

A resposta emocional conjuga o sentimento subjectivo e processos cognitivos, com manifestações motoras e fisiológicas. No estado da arte, têm sido propostas várias abordagens para reconhecimento de emoção. Estas geralmente diferem nos métodos de elicitação de emoção utilizados, nos estados emocionais a reconhecer, nas fontes de informação ou modalidades, ou nas técnicas de classificação automática. Este trabalho explora uma abordagem multimodal, baseada em biossinais, para reconhecimento emocional durante a visualização de videos imersivos, um método de elicitação relativamente pouco explorado. Os dados adquiridos através de sensores eletrocardiográficos (ECG), de atividade eletrodérmica (EDA), do pulso de volume sanguíneo (BVP) e de respiração foram recolhidos durante uma sequência de quatro calibrações e sete vídeos imersivos, elicitadores de diferentes emoções. Os participantes reportaram os seus estados emocionais do dia (baseline), e auto-avaliaram, através das escalas Self-Assessment Manikin (SAM), as emoções experienciadas durante cada vídeo, no espaço bidimensional valence-arousal. Várias características fisiológicas e estatísticas foram extraídas dos biossinais e utilizadas como input para um sistema de reconhecimento emocional, avaliado em duas vertentes: classificação dependente do utilizador e classificação independente do utilizador, reconhecendo três e duas classes por dimensão, respetivamente. Utilizou-se Máquinas de Vetores de Suporte (SVM), um dos algoritmos mais promissores nesta área. A abordagem proposta levou a taxas de reconhecimento de 51.07% para arousal e 67.68% para valence no cenário dependente do utilizador, e 69.13% para arousal e 67.75% para valence no cenário independente do utilizador, resultados que incentivam a pesquisa e trabalho futuro com uma população e conjunto de dados maiores.
Reconhecimento de Emoção, Biossinais, Realidade Virtual, Máquinas de Suporte Vectorial, Computação Afectiva

Maio 28, 2019, 14:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Rui Cruz Ferreira

Hospital de Santa Marta

Médico Cardiologista

ORIENTADOR

Ana Luísa Nobre Fred

Departamento de Bioengenharia (DBE)

Professor Associado