FenixEdu™

Dissertação

Remote Sensing Image Captioning with Pre-Trained Transformer Models” EVALUATED

Detalhes: Conjuntos de imagens obtidas por detecção remota, e as propriedades únicas que caracterizam estas imagens, estão cada vez mais atraindo a atenção de investigadores em visão computacional, em grande parte devido às suas muitas possíveis aplicações. A visão computacional sobre imagens obtidas por detecção remota tem visto efetivamente muitos avanços recentes, e.g. em tarefas como a detecção de objetos ou a classificação de cenas. Alguns trabalhos recentes na área abordaram a tarefa de gerar descrições em linguagem natural para imagens obtidas por detecção remota, efetivamente combinando técnicas de processamento de linguagem natural e visão computacional. No entanto, apesar de alguns resultados publicados anteriormente, ainda existem muitas limitações e possibilidades de melhoria. Gerar descrições textuais fluidas e linguisticamente ricas, mantendo a consistência semântica e boa capacidade de discriminação sobre os objetos e padrões visuais que devem ser descritos, permanece um desafio. As propostas anteriores que chegaram mais perto de alcançar os objetivos para a legendagem de imagens obtidas por detecção remota usaram arquiteturas neurais do tipo codificador-descodificador, muitas vezes incluindo mecanismos especializados de atenção, por forma a ajudar os sistemas na integração das características visuais mais relevantes ao gerar as descrições textuais. Levando em consideração trabalhos anteriores, este trabalho propõe uma nova abordagem para a legendagem de imagens obtidas por detecção remota, usando um modelo codificador-descodificador baseado na arquitetura Transformer, e onde tanto o codificador como o descodificador são baseados em componentes de um modelo pré-existente que foi já treinado com grandes quantidades de dados.
Keywords: Modelos Codificador-Descodificador, Aprendizagem Profunda, CLIP para Legendagem de Imagens, Imagens de Detecção Remota, Legendagem de Imagens de Detecção Remota.

Discussão: maio 13, 2022, 12:0