Dissertação

Contrastive Approaches for Visual Spatial Reasoning EVALUATED

A demanda por "Inteligência Visual" é um tema perene da comunidade de aprendizagem automática. Enquanto o desempenho da classificação de imagem e detecção de objectos tem visto melhorias significativas em anos recentes, o progresso nas tarefas de classificação cénica automática de nível superior tais como compreensão cénica tem sido mais limitado. Visual entailment (VE) e visual spatial reasoning (VSR) são duas tarefas que tentam explorar e resolver os problemas acima mencionados. Desta forma, neste trabalho iremos explorar como o desempenho em VSR pode ser melhorado utilizando diversas técnicas do estado da arte, nomeadamente usando aumentação das imagens premissa, aumentação da hipótese textual, aprendizagem contrastiva bem como transferência de conhecimento para outros conjuntos de dados. Nomeadamente, a transferência de conhecimento de um conjunto de dados para outro não resultou numa melhoria da prestação, enquanto que a aumentação de imagens e textual melhoraram as prestações em VSR, sugerindo a viabilidade da proposta. Aprendizagem contrastiva baseada no sentido semântico de relações espaciais melhorou ligeiramente a prestação para um dos modelos. Este trabalho mostra, desta forma, técnicas que possibilitam contrastar relações espaciais, de forma semelhante ao que é feito para modelos de estado da arte noutras tarefas, para além de outras técnicas de aumento do conjunto de dados que permitem melhorar os resultados obtidos em VSR. Este trabalho visa assim melhorar a compreensão cénica multimodal dos modelos do estado da arte, através das melhorias atingidas em VSR.
Inferência Visual, Aprendizagem Contrastiva, Raciocínio Espacial, Aumentação de Dados

dezembro 5, 2022, 13:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Jacinto Paulo Simões Estima

Departamento de Engenharia Informática, UC

Professor Auxiliar

ORIENTADOR

Bruno Emanuel Da Graça Martins

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado