FenixEdu™

Dissertação

FeedbotLatentNet - Improving Head Pose Estimation in Occlusion Scenario EVALUATED

Detalhes: Esta tese analisa algumas das diferentes metodologias para estimar a pose da cabeça (HPE), em particular quando o rosto está ocluído, uma vez que muitos métodos do estado da arte têm um desempenho consideravelmente pior neste cenário. Dentre as diversas aplicações da estimação da pose da cabeça, estamos interessados em desenvolver uma rede neural, robusta, que possa ser utilizada em dispositivos de alimentação autónomos que permita a alimentação autónoma do indivíduo. Para isso, apresentamos uma forma de gerar oclusões sintéticas realistas em imagens. Geramos oclusões de um braço robótico sobre alguns dos datasets mais frequentemente usados para benchmarking da HPE para simular o ambiente do Feedbot [1], um sistema de alimentação autónomo. Usamos as imagens geradas para treinar uma rede neural convolucional num esquema multi-loss, que apresenta uma regression loss do espaço latente para ajudar a lidar com oclusões do rosto. Os nossos resultados mostram que o treino da CNN com oclusões específicas do Feedbot leva a superar os resultados do estado da arte ao realizar inferência nos nossos datasets ocluídos sintetica- mente com o braço robótico.
Keywords: Assistência de Alimentação, Estimação da Pose da Cabeça, Oclusão, Rede Neuronal Convolucional

Discussão: junho 22, 2023, 11:0