Dissertação
{en_GB=Automatic Assignment of Geospatial Coordinates to Historical Photos} {} EVALUATED
{pt=A maioria dos dispositivos utilizados para capturar fotografias têm, atualmente, um GPS embutido que permite geocodificar as mesmas, de forma instantânea e automática. Na ausência de recursos como o GPS, ou para coleções existentes de fotografias antigas, a geocodificação manual pode ser uma tarefa longa e exigente. Esta dissertação propõe uma abordagem baseada em machine-learning para geocodificar automaticamente fotografias históricas, utilizando para tal redes neurais convolucionais. Estas redes exigem grandes quantidades de dados de treino, e embora as redes sociais e as plataformas de partilha de fotografias correspondam a duas das fontes de dados mais significativas para tarefas de supervised learning, não há grandes conjuntos de dados de fotografias antigas geocodificadas, o que faz com que a tarefa de geocodificação de fotografias históricas não tenha sido ainda devidamente abordada. No contexto deste trabalho, é apresentada uma rede end-to-end, que liga uma rede neural convolucional baseada na arquitetura ResNet para a tarefa de geocodificação automática a uma outra rede convolucional baseada na arquitetura ResNet, para realizar transformações em fotos antigas, numa tentativa de aplicar características das fotografias modernas ás históricas. Assim, a rede de geocodificação pode ser pré-treinada com fotos modernas do conjunto de dados do Flickr. Foram realizadas diversas experiências de geocodificação, em diferentes configurações da rede, utilizando coleções existentes de fotografias geocodificadas. Os resultados das experiências mostram que a rede apresentada é mais eficiente a geocodificar fotografias históricas em comparação a outras redes neurais convolucionais que não utilizam a componente de colorir, destacando assim o potencial desta abordagem., en=Most devices used for capture photos have, nowadays, a built-in GPS, and thus they are able to geocode images instantaneously and automatically. In the absence of GPS features, or for existing collections of older photos, manual geocoding can be a long and grueling task. This dissertation proposes a machine-learning based approach to automatically geocode historical photos, leveraging convolutional neural network architectures. These networks require vast amounts of training data, and while social media and photo sharing platforms correspond to two of the most significant sources of data for performing supervised learning, there are not large datasets of old geocoded photos made available, which makes the task of geocoding old historical photos remain not well-covered. It is introduced an end-to-end network, combining a convolutional neural network model based on the ResNet architecture for automated geo-referencing, with another fully-convolutional network, also based on the ResNet architecture, to perform transformations over old photos, in an attempt to resemble the modern ones. This way, the geocoding network can be pre-trained with modern photos retrieved from the Flickr dataset. There were performed several geocoding experiments over different network settings, leveraging existing collections of geo-referenced historical photos. Experiment's results show that the proposed network is more efficient geocoding historical photos in comparison to other evaluated convolutional neural networks that do not use the coloring component, which highlights the potential of this approach.}
novembro 12, 2018, 13:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Bruno Emanuel Da Graça Martins
Departamento de Engenharia Informática (DEI)
Professor Auxiliar
