Dissertação

{en_GB=Exploring Physiological Multimodality for Emotional Assessment} {} EVALUATED

{pt=A resposta emocional conjuga o sentimento subjectivo e processos cognitivos, com manifestações motoras e fisiológicas. No estado da arte, têm sido propostas várias abordagens para reconhecimento de emoção. Estas geralmente diferem nos métodos de elicitação de emoção utilizados, nos estados emocionais a reconhecer, nas fontes de informação ou modalidades, ou nas técnicas de classificação automática. Este trabalho explora uma abordagem multimodal, baseada em biossinais, para reconhecimento emocional durante a visualização de videos imersivos, um método de elicitação relativamente pouco explorado. Os dados adquiridos através de sensores eletrocardiográficos (ECG), de atividade eletrodérmica (EDA), do pulso de volume sanguíneo (BVP) e de respiração foram recolhidos durante uma sequência de quatro calibrações e sete vídeos imersivos, elicitadores de diferentes emoções. Os participantes reportaram os seus estados emocionais do dia (baseline), e auto-avaliaram, através das escalas Self-Assessment Manikin (SAM), as emoções experienciadas durante cada vídeo, no espaço bidimensional valence-arousal. Várias características fisiológicas e estatísticas foram extraídas dos biossinais e utilizadas como input para um sistema de reconhecimento emocional, avaliado em duas vertentes: classificação dependente do utilizador e classificação independente do utilizador, reconhecendo três e duas classes por dimensão, respetivamente. Utilizou-se Máquinas de Vetores de Suporte (SVM), um dos algoritmos mais promissores nesta área. A abordagem proposta levou a taxas de reconhecimento de 51.07% para arousal e 67.68% para valence no cenário dependente do utilizador, e 69.13% para arousal e 67.75% para valence no cenário independente do utilizador, resultados que incentivam a pesquisa e trabalho futuro com uma população e conjunto de dados maiores., en=Emotional responses combine subjective feeling and cognitive processes expressed by both motor and physiological manifestations. Many emotion recognition schemes have been proposed in the state-of-the-art. They generally differ in terms of the emotion elicitation methods, target emotional states to recognize, data sources or modalities, and classification techniques. In this work a multimodal approach based on biosignals is explored for emotion assessment during immersive video visualization, an elicitation method relatively unexplored within the related work. Data from Electrocardiography (ECG), Electrodermal Activity (EDA), Blood Volume Pulse (BVP) and Respiration sensors was collected, during a sequence of tasks comprising four calibrations and seven immersive videos, capable of eliciting different expected emotions. Participants reported their emotional state of the day (baseline), and provided self-assessment of the emotion experienced in each video through the Self-Assessment Manikin (SAM), in the valence-arousal space. Multiple physiological and statistical features extracted from the signals were used as inputs to an emotion recognition workflow, targeting both user-dependent and user-independent classification scenarios, with three and two classes per dimension, respectively. Support Vector Machines (SVM) were used, as it is considered one of the most promising classifiers in the field. The proposed approach led to accuracies of 51.07% for arousal and 67.68% for valence in the user-dependent approach, and 69.13% for arousal and 67.75% for valence in the user-independent approach, which are encouraging for further research with a larger training dataset and population.}
{pt=Reconhecimento de Emoção, Biossinais, Realidade Virtual, Máquinas de Suporte Vectorial, Computação Afectiva, en=Emotion Recognition, Biosignals, Virtual Reality, Support Vector Machines, Affective Computing}

Maio 28, 2019, 14:0

Orientação

ORIENTADOR

Rui Cruz Ferreira

Hospital de Santa Marta

Médico Cardiologista

ORIENTADOR

Ana Luísa Nobre Fred

Departamento de Bioengenharia (DBE)

Professor Associado