Dissertação
Contrastive Approaches for Visual Spatial Reasoning EVALUATED
A demanda por "Inteligência Visual" é um tema perene da comunidade de aprendizagem automática. Enquanto o desempenho da classificação de imagem e detecção de objectos tem visto melhorias significativas em anos recentes, o progresso nas tarefas de classificação cénica automática de nível superior tais como compreensão cénica tem sido mais limitado. Visual entailment (VE) e visual spatial reasoning (VSR) são duas tarefas que tentam explorar e resolver os problemas acima mencionados. Desta forma, neste trabalho iremos explorar como o desempenho em VSR pode ser melhorado utilizando diversas técnicas do estado da arte, nomeadamente usando aumentação das imagens premissa, aumentação da hipótese textual, aprendizagem contrastiva bem como transferência de conhecimento para outros conjuntos de dados. Nomeadamente, a transferência de conhecimento de um conjunto de dados para outro não resultou numa melhoria da prestação, enquanto que a aumentação de imagens e textual melhoraram as prestações em VSR, sugerindo a viabilidade da proposta. Aprendizagem contrastiva baseada no sentido semântico de relações espaciais melhorou ligeiramente a prestação para um dos modelos. Este trabalho mostra, desta forma, técnicas que possibilitam contrastar relações espaciais, de forma semelhante ao que é feito para modelos de estado da arte noutras tarefas, para além de outras técnicas de aumento do conjunto de dados que permitem melhorar os resultados obtidos em VSR. Este trabalho visa assim melhorar a compreensão cénica multimodal dos modelos do estado da arte, através das melhorias atingidas em VSR.
dezembro 5, 2022, 13:30
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Informática, UC
Professor Auxiliar
ORIENTADOR
Bruno Emanuel Da Graça Martins
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Associado