FenixEdu™

Dissertação

2D and 3D Reconstruction of Skeletons in Robot Assisted Therapy for Autistic Children EVALUATED

Detalhes: Esta tese aborda o problema da estimativa da pose do corpo humano (esqueleto) em terapias assistidas por robôs para crianças autistas. A reconstrução é feita em 2D e 3D com apenas uma câmera. Durante as sessões terapêuticas, há várias oclusões a partir do ponto de vista da câmera. A perda de dados acima dos 50%, quando se utilizava a Microsoft Kinect v2, impedia qualquer análise das terapias. Primeiro, estudámos diferentes câmeras para escolher a melhor para a configuração. Comparámos a câmera de profundidade anterior com câmeras mais recentes - Intel Realsense L515 e D435i. Embora a Kinect pareça não ter os bons resultados nas sessões terapêuticas, estes resultados são melhores do que os obtidos com a Intel Realsense para as mesmas situações. Uma vez que não pudemos melhorar a detecção e reconstrução dos esqueletos alterando o sensor de profundidade, escolhemos investigar métodos para a reconstrução 3D do corpo humano capaz de lidar com oclusões, mesmo que estas não possam ser utilizadas on-line. Para a reconstrução offline, adaptámos o modelo Multiperson ao protocolo das terapias. Recuperámos uma percentagem considerável de dados. Para as sessões analisadas, melhorámos de uma média de 15% de esqueletos corretos extraídos com o algoritmo da Kinect, para uma média de 63% de esqueletos corretos. O novo método conseguiu recuperar dados de sessões em que a criança raramente ou nunca foi identificada pela Kinect. Estes resultados são encorajadores para a criação de uma medida quantitativa para uma avaliação completa do impacto destas terapias nas crianças com ASD.
Keywords: Perturbações do Espectro do Autismo (PEA), Robôs Socialmente-Assistivos (SAR), Reconstrução 3D, Câmeras de Profundidade

Discussão: dezembro 6, 2022, 14:0