FenixEdu™

Dissertação

Cross-view Generalisation in Action Recognition EVALUATED

Detalhes: O reconhecimento de acções em perspectivas egocêntricas é a capacidade de identificar acções humanas através de vídeos numa perspectiva de primeira pessoa. Este trabalho insere-se num contexto de interacção humano-robô, onde o objectivo principal é compreender acções e comportamentos em relação a um observador. No entanto, a quantidade de vídeos de interacções humanas numa perspectiva de terceira pessoa (vista exocêntrica) é bastante mais abundante, comparativamente à vista egocêntrica. O método deste trabalho centra-se num feature space, baseado em informação obtida de poses de esqueleto, e escolhido estrategicamente para ser consistente nos domínios exocêntrico e egocêntrico. Os resultados mostram que os modelos treinados com dados exocêntricos podem ser utilizados numa vista egocêntrica, sem qualquer afinação e adaptação. O sistema generalizou bem no domínio de primeira pessoa, com 97% de exatidão num conjunto de dados egocêntricos gravados especialmente para este estudo. Este resultado foi obtido combinando modelos treinados independentemente num só conjunto, que classifica acções através de uma votação. Esta classificação em conjunto permite a redução da variabilidade no desempenho dos modelos, sendo mais vantajosa comparativamente ao uso de um único modelo. Este método revela novas possibilidades de investigação e de desenvolvimento de modelos mais eficientes no reconhecimento egocêntrico de acções.
Keywords: Reconhecimento Egocêntrico de Acções, Aprendizagem Automática, Aprendizagem Supervisionada, Rede Neuronal Baseada em LSTM, Generalização Entre Pontos de Vista, Design de Features.

Discussão: junho 22, 2023, 9:0