Dissertação
Artificial intelligence framework for human-robot cooperative operation through hand gesture recognition EVALUATED
A comunicação e cooperação subaquáticas entre humanos e robots é um passo fundamental para reduzir a carga cognitiva de mergulhadores numa vasta gama de aplicações subaquáticas. Uma vez que os métodos de comunicação baseados em radiofrequência normalmente utilizados não estão disponíveis em ambientes subaquáticos, é necessário desenvolver e testar novas abordagens. Assim, este trabalho de investigação propõe-se explorar os limites da comunicação baseada em visão com um robot sob a superfície da água. No âmbito desta dissertação foi desenvolvida uma estrutura para a interação homem-robô através da integração de modelos de redes neuronais de última geração. A estrutura é baseada no StaDNet, um modelo para reconhecimento de gestos estáticos e dinâmicos. Propomos uma abordagem baseada na pose humana que permite a extração e exploração de pontos-chave espaciais e temporais para realizar a inferência de gestos. O nosso método de estimativa da pose humana baseia-se no ViT-Pose, um modelo de Vision Transformer com um desempenho topo de gama tanto em termos de precisão como de velocidade. Foram obtidos excelentes resultados ao testar a estrutura no ChaLearn LSSII Continuous Gestures Dataset, no qual obtivemos uma precisão de 81% durante pré-treino numa amostra de 47 gestos, e no nosso próprio conjunto de dados interno de gestos dinâmicos subaquáticos, no qual o modelo alcança uma precisão de teste global de 74,4%. Esta estrutura foi integrada num veículo real, permitindo a um mergulhador comunicar através de gestos.
novembro 28, 2023, 12:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Colaborador Docente
