FenixEdu™

Dissertação

Deep Learning for Remote Sensing Image Captioning EVALUATED

Detalhes: A aplicação de métodos de aprendizagem profunda na análise de imagens de satélite tem vindo a ganhar bastante atenção nos últimos anos, com um progresso notável em tarefas como classificação de cenas ou deteção de objetos. No entanto, menos atenção tem sido dada ao problema de descrever imagens de satélite com legendas precisas e concisas. Trabalhos recentes têm explorado arquiteturas encoder-decoder baseadas em mecanismos de atenção, com um maior foco na melhoria destes mesmos mecanismos. Apesar dos esforços anteriores, ainda existem muitas possibilidades para melhorar a qualidade das legendas geradas. Uma possível abordagem consiste em considerar desenvolvimentos recentes em modelos de linguagem pré-treinados em grandes quantidades de dados. Tendo isso em consideração, esta dissertação propõe uma nova arquitetura para a descrição automática de imagens de satélite, que incorpora modelos de linguagem pré-treinados numa arquitetura tradicional encoder-decoder com mecanismos de atenção. A integração é realizada por meio de um módulo de fusão que consiste na concatenação dos hidden states de um modelo de linguagem auxiliar e um decoder LSTM. Além disso, a fim de utilizar um modelo de linguagem auxiliar pré-treinado para tarefas de sumarização, este trabalho propõe ainda um método de retrieval para fazer uso de informações adicionais fornecidas por legendas de imagens semelhantes. Experiências nos datasets UCM-captions, Sydney-captions, e RSICD mostram melhorias sobre modelos mais simples e modelos propostos em trabalhos anteriores, demonstrando a utilidade destes modelos de linguagem pré-treinados na tarefa.
Keywords: Imagens de Satélite, Descrição Automática de Imagens, Classificação de Imagens, Recuperação de Imagens, Aprendizagem com Redes Neuronais

Discussão: novembro 25, 2021, 16:30