Dissertação

{en_GB=Classifying Geo-Referenced Photos and Segmenting Satellite Imagery for the Assessment of Flood Severity} {} EVALUATED

{pt=A utilização de “social media” no contexto de desastres naturais tem aumentado rapidamente. Particularmente no contexto de inundações, temos que imagens georreferenciadas partilhadas pelos cidadãos podem fornecer conhecimento sobre a situação aos serviços de emergência, bem como assistir na avaliação de danos materiais, fornecendo informações que, de outra forma, seriam difíceis de recolher com sensores convencionais e/ou deteção remota. Além disso, avanços recentes em visão computacional e aprendizagem profunda podem apoiar a análise destes dados. Na minha dissertação, primeiramente focando-me em imagens ao nível do solo recolhidas durante inundações, avalio o uso de redes neurais convolucionais para (i) selecionar imagens com evidências diretas de uma inundação, e (ii) estimar a gravidade da inundação. As experiências reportadas alcançaram resultados de grande qualidade, demonstrando potencial no complemento de outras fontes de informação (e.g., de deteção remota). Imagens de satélite podem, por outro lado, ser usadas como alternativa (ou complemento) em tarefas como o mapeamento da extensão de inundações, ou seja, na classificação de pixéis referentes a áreas inundadas em imagens de satélite registadas durante, ou logo após, inundações. Baseando-me em trabalhos recentes, focados na segmentação de imagens, também avaliei o desempenho de uma versão adaptada da rede U-Net na segmentação de áreas inundadas, tendo como entrada múltiplas variáveis de deteção remota. Através de um extenso conjunto de testes, mostro que a arquitetura neuronal considerada é bastante eficaz, produzindo mapas que visualmente delimitam áreas inundadas com grande qualidade, e superando abordagens mais simples em termos de métricas padrão., en=The use of social media in disaster and crisis management is rapidly increasing. Particularly in connection to flooding events, geo-referenced images shared by citizens can provide situational awareness to emergency responders, as well as assistance to financial loss assessment, giving information that would otherwise be hard to collect through conventional sensors and/or remote sensing. Moreover, recent advances in computer vision and deep learning can perhaps support the analysis of these data. In my thesis, firstly focusing on ground-level images taken during flooding events, I evaluated the use of convolutional neural networks for (i) discriminating images showing direct evidence of a flood, and (ii) estimating flood severity. Experiments showed a high accuracy on this task, demonstrating the potential to complement other sources of information (e.g., satellite imagery) related to flooding events. Overhead imagery can, in turn, be used as an alternative (or complement) for tasks such as flood extent mapping, which concerns with discriminating pixels referring to flooded areas in satellite images recorded during, or shortly after, flooding events. Following recent work, this time focusing on image segmentation, I also evaluated the use of an adapted version of the U-Net neural network architecture, on the specific problem of segmenting flooded areas and taking multiple remote sensing data sources as input. Through an extensive set of evaluation experiments, I show that the proposed neural model is quite effective, producing maps that visually have a high-quality delimitation of the flooded areas, and outperforming simpler/ablated baselines in terms of various metrics.}
{pt=Classificação de Fotos Georreferenciadas, Segmentação de Imagens de Satélite, Identificação e Delimitação de Cheias, Estimação da Severidade de Cheias, Redes Neuronais Convolucionais, en=Classification of Geo-Referenced Photos, Segmentation of Satellite Imagery, Identifying and Delimiting Floods, Flood Severity Estimation, Convolutional Neural Networks}

Novembro 25, 2019, 10:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Bruno Emanuel Da Graça Martins

Departamento de Engenharia Informática (DEI)

Professor Auxiliar

ORIENTADOR

Jacinto Paulo Simões Estima

Instituto Politecnico de Setúbal - Escola Superior de Tecnologia

Professor Adjunto Convidado