FenixEdu™

Dissertação

Data Augmentation for Urban Environmental Sound Classification on Edge Devices EVALUATED

Detalhes: Recentemente, o conceito de cidade inteligente ganhou popularidade e criou um impulso para uma maior automatização e monitorização dos sistemas urbanos. Nesta tese, exploramos o problema da classificação do som em contextos urbanos, que pode ter múltiplas aplicações no mundo real. Esta tarefa enfrenta múltiplos desafios, tais como lidar com a poluição sonora, sobreposições sonoras, paisagens sonoras dinâmicas, dados de treino limitados e forte desequilíbrio de classes, o que dificulta a classificação. Neste contexto, este trabalho avança o atual estado da arte ao explorar a aplicação de múltiplas técnicas de augmentação de dados para auxiliar a classificação do som com modelos baseados em imagens, codificando o áudio como espectrogramas. Este modelo destina-se a dispositivos "edge" com recursos limitados, como a plataforma Jetson da Nvidia, pelo que o tamanho do modelo é uma restrição adicional. Realizámos um estudo sobre diferentes técnicas de augmentação de dados para melhorar o desempenho de um sistema de classificação de som utilizando um modelo CNN pré-treinado em imagens e afinado nos espectrogramas do conjunto de dados enriquecido com augmentação de dados. As melhores augmentações adoptadas permitiram que o sistema desenvolvido ultrapassasse o F1-score do caso base em 4,31 pontos percentuais, alcançando um resultado final de 60,68%. No geral, mostramos que o augmentação de dados pode ter um impacto mensurável no desempenho da classificação de sons urbanos e, além disso, demonstramos quais são os que proporcionam maior impacto e como a augmentação de dados pode ser usada para combater o "class imbalance".
Keywords: Augmentação de dados, Classificação de som, CNN, Espectrogramas, Aprendizagem profunda, Redes Neuronais

Discussão: novembro 15, 2023, 16:30