FenixEdu™

Dissertação

EEG-based Music Cross-modal Retrieval EVALUATED

Detalhes: Recuperação de Informação Musical é um tema essencial na atualidade com o objetivo de auxiliar os ouvintes na escolha de músicas baseada num critério de semelhança, resolvendo o problema de existirem um elevado número de escolhas. No entanto, a perceção humana de similaridade depende do utilizador e os sistemas de recuperação musical existentes não têm isso em conta. Com o objetivo de avaliar a perceção e a experiência subjetiva do utilizador enquanto ouve música, explorou-se o potencial de utilizar os sinais de eletroencefalograma (EEG) e o áudio para capturar esta informação. Para isso, utilizaram-se modelos profundos com duas vistas para aprender um espaço partilhado entre o áudio e o EEG, avaliado em tarefas de recuperação intermodais, ou seja, dado um sinal de áudio pretende-se recuperar o EEG correspondente e vice-versa. Dois conjuntos de dados de áudio-EEG foram construídos para treinar os modelos propostos: conjunto do INESC-ID com 22 participantes, duas sessões de 30 minutos de música por participante, usando o dispositivo OpenBCI e o do CENC, contendo gravações de 19 participantes, com o BrainVision QuickAmp e uma touca com 64 elétrodos. Através das múltiplas tarefas de recuperação intermodal realizadas, concluímos que as representações aprendidas codificam as associações intrínsecas entre o áudio e o EEG, podem refletir os conceitos auditivos percebidos e processados pelo cérebro e a experiência do ouvinte, sugerindo a existência de uma assinatura neuronal específica de cada utilizador capaz de distinguir músicas. Além disso, demonstrámos a viabilidade de utilizar o dispositivo comercial OpenBCI para este tipo de aplicação.
Keywords: EEG, Música, Recuperação intermodal de informação, Modelos profundos multivista, Redes neuronais.

Discussão: maio 31, 2019, 14:30