FenixEdu™

Dissertação

{en_GB=EEG-based Music Cross-modal Retrieval} {} EVALUATED

Detalhes: {pt=Recuperação de Informação Musical é um tema essencial na atualidade com o objetivo de auxiliar os ouvintes na escolha de músicas baseada num critério de semelhança, resolvendo o problema de existirem um elevado número de escolhas. No entanto, a perceção humana de similaridade depende do utilizador e os sistemas de recuperação musical existentes não têm isso em conta. Com o objetivo de avaliar a perceção e a experiência subjetiva do utilizador enquanto ouve música, explorou-se o potencial de utilizar os sinais de eletroencefalograma (EEG) e o áudio para capturar esta informação. Para isso, utilizaram-se modelos profundos com duas vistas para aprender um espaço partilhado entre o áudio e o EEG, avaliado em tarefas de recuperação intermodais, ou seja, dado um sinal de áudio pretende-se recuperar o EEG correspondente e vice-versa. Dois conjuntos de dados de áudio-EEG foram construídos para treinar os modelos propostos: conjunto do INESC-ID com 22 participantes, duas sessões de 30 minutos de música por participante, usando o dispositivo OpenBCI e o do CENC, contendo gravações de 19 participantes, com o BrainVision QuickAmp e uma touca com 64 elétrodos. Através das múltiplas tarefas de recuperação intermodal realizadas, concluímos que as representações aprendidas codificam as associações intrínsecas entre o áudio e o EEG, podem refletir os conceitos auditivos percebidos e processados pelo cérebro e a experiência do ouvinte, sugerindo a existência de uma assinatura neuronal específica de cada utilizador capaz de distinguir músicas. Além disso, demonstrámos a viabilidade de utilizar o dispositivo comercial OpenBCI para este tipo de aplicação. , en=Music Information Retrieval (MIR) is an essential subject nowadays aiming to aid users in solving the problem of having a vast number of choices and finding music by a similarity criterion. Nonetheless, the human perception of similarity is highly dependent on the user and MIR systems lack user focus. In order to assess the perception and subjective experience of the user while listening to music, we explore the potential of using Electroencephalography (EEG) signals, in addition to audio signals, to capture this information. For this, we leverage multi-view deep models to learn a shared embedding space between audio and EEG signals, and the resulting embeddings are evaluated on cross-modal retrieval tasks, i.e., given a piece of audio we aim to retrieve the corresponding EEG and vice-versa. Two audio-EEG datasets were collected for training the proposed models: the INESC-ID dataset with 22 participants, a mean of 30 minutes of music per participant repeated twice recorded using the16-channel OpenBCI; and the CENC dataset containing recordings of 19 participants and recorded with the BrainVision QuickAmp with an electrode-cap of 64 electrodes. Through the extensive cross-modal retrieval tasks performed, we concluded that the learned embeddings encode the intrinsic associations between audio and EEG and should reflect the auditory concepts that are perceived and processed by the brain, suggesting the existence of a subject-specific neural signature able to distinguish music pieces. In addition, we demonstrated the viability of using the commercial device OpenBCI for this type of application.}
Keywords: {pt=EEG, Música, Recuperação intermodal de informação, Modelos profundos multivista, Redes neuronais., en=EEG, Music, Cross-modal retrieval, Multi-view deep models, Neural networks}

Discussão: maio 31, 2019, 14:30