Dissertação

{en_GB=Bioacustic Classification Framework: Spectral and Cepstral Based Approaches} {} EVALUATED

{pt=O campo da bioacústica desempenha um papel crucial na prevenção e redução do impacto humano no ambiente, ao permitir o desenvolvimento de ferramentas capazes de automatizar a análise de dados ambientais. Os métodos de Deep Learning foram bem sucedidos na automatização do processo de identificação de espécies em áudios ambientais, necessitando, no entanto, de um número elevado de instâncias de treino por espécie. Por conseguinte, o foco virou-se para o desenvolvimento de métodos capazes de automatizar a detecção de espécies em ambientes ruidosos, dispondo de um conjunto limitado de dados para treino. Neste documento, abordamos o problema de automatizar o processo de detecção de espécies em áudios ambientais, com um conjunto de treino limitado, propondo uma abordagem para o treino de uma Convolutional Neural Network (CNN)a partir das propriedades espectrais do som, nomeadamente dos Mel espectrogramas, para identificar as diferentes espécies presentes nos áudios da Rainforest Connection. Apresentamos ainda, uma abordagem alternativa, baseada nas características cepstrais do som, em particular dos Mel-frequency cepstral coefficients (MFCCs), para o treino de uma Long Short-Term Memory (LSTM) network, sendo esta complementada pela inclusão de motifs extraídos pelo algoritmo matrix profile. Finalmente, avaliamos os resultados de ambas as abordagens de forma a definir uma metodologia de classificação de sinais bioacústicos., en=The field of bioacoustics plays an important role on preventing and reducing human impact on environment, by enabling the development of tools capable of performing automated analysis of environmental data. Deep learning methods were successful on automating the process of species identification in environmental recordings, requiring nonetheless a large number of training samples per species. Hence, efforts were made to develop high-accuracy methods capable of automating species detection in noisy environments with limited training data. In this document, we address the problem of automating species detection in noisy environments with limited training data, proposing an end-to-end spectral based approach for training a convolutional neural network (CNN) on Mel spectrograms to predict a set of species present in the Rainforest Connection’s acoustic recordings. Additionally, we propose a cepstral based framework for training a Long Short-Term Memory (LSTM) network on the Mel-frequency cepstral coefficients (MFCCs), complementing this approach with the motifs extracted by the matrix profile algorithm.Finally, we evaluate the performance of the approaches so that the bioacoustic classification framework can be established.}
{pt=Classificação Bioacústica, Redes Convolucionais, Data augmentation, Transfer learning, Long short-term memory (LSTM), Matrix Profile, en=Bioacoustic classification, Convolutional Neural Networks (CNN), Data augmentation, Transfer learning, Long short-term memory (LSTM), Matrix Profile}

novembro 23, 2021, 18:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Claudia Martins Antunes

Departamento de Engenharia Informática (DEI)

Professor Associado