FenixEdu™

Dissertação

{en_GB=Hybrid System for Automatic Music Transcription} {} EVALUATED

Detalhes: {pt=Transcrever automaticamente uma peça de música é uma tarefa muito desafiante. Para tal, é necessário uma perceção e interpretação do som e da música que se tem revelado difícil de replicar numa máquina. No entanto, já existem diversos métodos que resolvem subproblemas desta tarefa. Nesta tese é proposto um sistema híbrido para Transcrição Automática de Música, que combina duas técnicas distintas de Aprendizagem Automática. É implementado um método de factorização de espectrogramas baseado na técnica “Probabilistic Latent Compo- nent Analysis”. Este método utiliza uma biblioteca de "templates" de instrumentos e notas pré-extraídos, bib- lioteca esta que terá um grande impacto no processo de transcrição. Como tal, é desenvolvida e treinada uma “Deep Neural Network” para identificação de instrumentos contidos num dado ficheiro de som. Combinando os dois métodos mencionados anteriormente, é então criado um sistema híbrido que elimina a necessidade de manualmente determinar o correto tamanho da biblioteca de "templates" ao transcrever um dado ficheiro de som. Este sistema híbrido demostra que através da combinação de métodos distintos de Aprendizagem Automática é possível garantir maior autonomia no processo de transcrição. Neste caso, o sistema proposto garante a precisão de transcrição do método “Probabilistic Latent Component Analysis” adquirindo uma maior autonomia na transcrição, pois através da rede neuronal treinada é feita uma identificação automática dos instrumentos musicais presentes na música a transcrever., en=The task of automatically transcribing a piece of music is a very challenging one. It implies sound and music perceptiveness which has been proving hard to replicate into machines. There are multiple methods to address sub-problems within this task, achieving successful results. In this thesis a hybrid system for Automatic Music Transcription is proposed, combining two distinct Machine Learning techniques. A state-of-the-art spectrogram factorization technique based on Probabilistic Latent Component Analysis is implemented. This method uses a pre-extracted template library of instruments and their notes to perform the transcription. The template library greatly impacts the transcription process. As such, to automatically determine the correct library size to be used, a Deep Neural Network was trained as a classifier, to identify instruments performing in a sound file. By combining both mentioned techniques, a hybrid transcription system is created that eliminates the need for a manual instrument identification for each considered sound file. This hybrid system proves that combining distinct Machine Learning methods it is possible to improve the transcription process granting it more autonomy. In this case, the proposed system ensures the same transcription accuracy of the Probabilistic Latent Component Analysis method, while adding a higher degree of autonomy in the process, obtained through the automatic instrument identification performed by the trained neural network.}
Keywords: {pt=Transcrição Automática de Música, Aprendizagem Automática, Probabilistic Latent Component Analysis, Deep Learning, Convolutional Neural Networks, Sistema híbrido, en=Automatic Music Transcription, Machine Learning, Probabilistic Latent Component Analysis, Deep Learning, Convolutional Neural Networks, Hybrid system}

Discussão: maio 19, 2017, 17:0