{pt_PT=Generate a Birds Eye View from fisheye cameras using Generative Adversarial Networks} {} EVALUATED

Detalhes: {pt=Métodos tradicionais para gerar uma Bird's Eye View (BEV) são fiáveis quando utilizados para superfícies planas, mas deixam de o ser quando utilizados para inclinações ou objectos salientes estão presentes. Esta dissertação tem como objectivo investigar diferentes métodos para gerar uma BEV, a partir de 4 câmaras fisheye montadas num veículo, utilizando Redes Adversárias Generativas e como melhorar sobre os métodos actuais. Duas abordagens diferentes com Redes Adversárias Generativas são apresentadas, juntamente com um procedimento de recolha e processamento de dados. Na primeira abordagem, modelos state-of-the-art (Pix2pixHD, CycleGAN, AttentionGAN) são utilizados para gerar a BEV. Na segunda, um modelo com múltiplas entradas é proposto, não só para gerar a BEV, mas também para estimar homografias correctivas. As abordagens tomadas são testadas utilizando dados reais e demonstram resultados promissores, sendo que a o modelo proposto poderá ser desenvolvido em estudos futuros. Não foi possível gerar uma BEV, com actuais modelos de Redes Adversárias Generativas, apenas a partir de imagens fisheye. No entanto, sem aumentar significativamente a complexidade destes métodos, abordagens semelhantes apresentam resultados promissores. Em particular, módulos Spatial Transformer demonstram um alto potencial em complementar as Redes Adversárias Generativas para a geração da BEV., en=Traditional methods for generating a Bird's Eye View (BEV) are accurate for flat surfaces, but errors are introduced when slopes or protruding objects are present. This thesis aims to investigate different methods using Generative Adversarial Networks (GAN) to generate a BEV from 4 vehicle-mounted fisheye cameras, and to improve on traditional methods. I present two different model approaches, and a data collection and processing procedure. In the first approach, state-of-the-art models (Pix2pixHD, CycleGAN, AttentionGAN) are used to generate the BEV images. In the second, I propose a multi-input model, not only to generate the BEV images, but also to estimate corrected homography matrices. It was not possible to generate a BEV with current state-of-the-art Generative Adversarial Networks, given only fisheye images. Nonetheless, it is shown that without greatly increasing the methods' complexity, similar approaches yield promising results. In particular, Spatial Transformer modules demonstrate a strong potential in aiding a GAN to learn a correct mapping to the BEV.}

Discussão: janeiro 18, 2021, 9:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

AUTOR

Ricardo Branco Lucas (ist180971)

ORIENTADOR

José Raul Carreira Azinheira

Departamento de Engenharia Mecânica (DEM)

Professor Auxiliar