Dissertação
Sound Event Localization and Detection for Collaborative Robots EVALUATED
De forma a acompanhar a evolução da automação nas indústrias, robôs colaborativos têm sido desenvolvidos para ajudar os trabalhadores em tarefas mais flexíveis que os robôs fixos convencionais não conseguem. No entanto, a interação com os humanos deve ser segura de forma a que mais tarefas possam ser confiadas a estes robôs. Os sensores mais utilizados que permitem aos robôs evitarem colisões, como as câmaras e os lasers, são caros e limitativos. Esta tese implementa uma forma alternativa de detectar e localizar vários objectos sonoros (SELD), usando apenas microfones num espaço tridimensional. Primeiro, os sinais áudio passam pela Transformada de Fourier de curto termo (STFT), selecionando apenas as frequências de maior amplitude. De seguida, a localização das fontes de som (SSL) é estimada a partir da diferença de amplitudes (ILD) para cada frequência. Finalmente, um modelo de redes neuronais convolucionais (CNN) é utilizado para classificar as fontes de som pelos respectivos espectrogramas. Este sistema tem a vantagem de ser mais barato de reproduzir e de permitir detectar objectos escondidos por detrás de outros obstáculos, receber dados de qualquer direção e funcionar em condições de pouca luminosidade, contornando assim certas limitações de outros sensores. O algoritmo proposto foi testado em ambientes simulados e reais, alcançando resultados promissores. No entanto, os testes realizados em cenários reais não correram tão bem quanto os simulados, tendo sido identificadas várias melhorias que poderão ser testadas futuramente.
novembro 22, 2022, 14:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
João Fernando Cardoso Silva Sequeira
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Auxiliar