FenixEdu™

Dissertação

{en_GB=Learning Data Representation and Emotion Assessment from Physiological Data} {} EVALUATED

Detalhes: {pt=As respostas emocionais desempenham um papel vital na comunicação humana e na interação com novas tecnologias. Visando compreender diferentes emoções, e a pensar no desenvolvimento de interfaces digitais mais eficazes, esta dissertação explora a utilização de algoritmos de aprendizagem automática para analisar dados fisiológicos. Numa abordagem inovadora, sinais de eletroencefalograma pré-frontais e fotopletismogramas de 25 indivíduos foram recolhidos enquanto estes assistiam a anúncios televisivos, através da banda BrainBIT (EMOTAI). Usando como input os dados recolhidos, Redes Neuronais Convolucionais foram treinadas para aprenderem novas representações dos dados e classificarem os sinais adquiridos de acordo com a escala Positive and Negative Affect Schedule. Esta abordagem obteve resultados promissores, com valores F1 médios de 76.6% para Positive Affect e 83.3% para Negative Affect. Seguidamente, interpretaram-se as representações apreendidas através do cálculo de correlações entre métricas extraídas dos sinais e a respectiva classificação final. Semelhante tarefa foi implementada usando Support-Vector Machines com métricas extraídas manualmente como input. Valores F1 médios 79.0% para Positive Affect e 81.9% para Negative Affect foram obtidos com o kernel gaussiano e métricas normalizadas. O desempenho dos classificadores foi optimizado através da selecção das melhores métricas. Em ambas as abordagens, as métricas mais importantes pareceram ser a potência das bandas alfa, e os índices de assimetria e sincronização. As métricas consideradas coincidiram com as apreendidas pelas Rede Neuronais e com as selecionadas por Support-Vector Machines, reforçando a sua validade para estudos emocionais. Por fim, identificação biométrica também foi testada com Support-Vector Machines, atingindo uma precisão média de 79.0%., en=Emotional responses play a key role in Human communication and interaction with new technologies. Aiming at deeper understanding of Human emotional states, and to build adaptive, more effective Human-machine interfaces, we explore cutting-edge machine learning algorithms to analyse physiological data. In a novel approach, two-channel pre-frontal raw electroencephalography and photoplethysmography signals of 25 subjects were collected using EMOTAI’s headband while watching commercials. Taking as input the raw data, Convolutional Neural Networks were used to learn informative data representation and classify the acquired signals according to the Positive and Negative Affect Schedule. This unique approach achieved promising results, with average F1-scores of 76.6% for Positive Affect, and 83.3% for Negative Affect. Interpretation of the learned data representation was attempted by computing correlation values between various features extracted from the raw inputs and the final classification. The same classification task was implemented using Support-Vector Machines and manually extracted features as input. The best average F1-scores, 79.0% for Positive Affect and 81.9% for Negative Affect were obtained with radial-basis function kernel and soft-normalisation of the input features. Forward feature selection was used to check the features leading to the highest performance. Either way, the most important features appeared to be the alpha band power, and the asymmetry and phase synchronisation indexes. Therefore, the considered features seem to match the ones learnt by the Neural Networks and selected by the Support-Vector Machines, hence endorsing their validity for emotional studies. Lastly, biometric identification was also tried with Support-Vector Machines, achieving an average accuracy of 79.0%. }
Keywords: {pt=Emoções, fotopletismografia, electroencefalografia, Positive and Negative Affect Schedule, aprendizagem automática, extracção de features, en=Emotions, photoplethysmography, electroencephalography, Positive and Negative Affect Schedule, machine learning, feature extraction}

Discussão: novembro 22, 2019, 10:30