Dissertação

Geographically-Aware Image Captioning EVALUATED

A evolução do domínio de legendar imagens tem sido marcada pela integração de diversos elementos contextuais. Entre eles, a incorporação do contexto geográfico representa um avanço notável. A legendagem de imagens com contexto geográfico é uma técnica que visa gerar legendas que não só descrevem uma imagem, como também incorporem o seu contexto geográfico. As abordagens existentes nesta área foram pioneiras no uso simultâneo de pistas visuais e geográficas em diferentes fases da legendagem, fornecendo uma estrutura sólida para investigações futuras. Este estudo oferece um ponto de vista diferente sobre a legendagem de imagens com contexto geográfico, ao desenvolver um método que depende de um mecanismo de recuperação. Especificamente, em vez de combinar imediatamente componentes geográficas e visuais, o mecanismo extrai informações geográficas consoante as coordenadas da imagem. Em seguida, essas informações externas são incluídas num prompt estruturado, composto exclusivamente pelo uso de dados geográficos externos relevantes, em vez de palavras padrão semelhantes a legendas. Isto é usado como ponto de partida para usar um descodificador que tenta construir uma legenda que capture tanto a imagem quanto o seu contexto geográfico. Os resultados deste modelo oferecem perspectivas únicas e também destacam o papel crucial dos prompts estruturados na legendagem de imagens com contexto geográfico. Além disso, também foi possível correlacionar qualidade das legendas com a construção e qualidade dos prompts utilizados. Esta pesquisa serve como um ponto de partida para investigações futuras, destacando as possibilidades e desafios na expansão contínua das possibilidades inexploradas nesta área.
Legendagem Geo-Consciente de imagens, Informação externa, Mecanismo de recuperação, Contexto geográfico

novembro 21, 2023, 9:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Bruno Emanuel Da Graça Martins

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado