FenixEdu™

Dissertação

Single Image Plane Reconstruction using Manhattan World Constraints EVALUATED

Detalhes: Muitos ambientes interiores são constituídos por objectos com propriedades planares e a sua disposição é propícia a explorar os alinhamentos das normais dos planos. Estes cenários são ideais para a Manhattan world assumption, que afirma que todos os planos numa determinada cena estão alinhados com uma das três direções dominantes. Nesta tese de mestrado, apresentamos uma nova rede neuronal profunda, chamada MW-Net, para deteção e reconstrução de planos Manhattan recebendo unicamente uma imagem RGB como entrada. A rede "end-to-end" aprende a estimar uma rotação do referencial camera para o referencial Manhattan World, uma segmentação de imagem e um mapa offset/profundidade. O método proposto não tem qualquer restrição quanto ao número de planos que pode deduzir. A MW-Net foi treinada no dataset ScanNet, e foram extraídos mais de 45000 dados ground-truth. Foi usada uma Dilated Residual Network para extração de "features", seguida de duas ramificações i) Global pooling para prever a rotação; ii) Pyramidal pooling para a segmentação da imagem e mapa offset/profundidade. MW-Net supera o PlaneNet, um método estado de arte, e faz-lo com uma arquitetura menos complexa.
Keywords: Manhattan world, reconstrução planar, MW-Net, rede neuronal profunda, deteção de planos, Dilated Residual Network

Discussão: fevereiro 3, 2021, 10:0