FenixEdu™

Dissertação

Learning-based Point Cloud Geometry and Color Coding EVALUATED

Detalhes: Nuvens de pontos (NP) são um tipo de modelo de representação visual composto por um conjunto não ordenado de pontos no espaço tridimensional, localizados na superfície dos objetos que representam; estes pontos podem ter atributos associados, nomeadamente cor. Por oferecerem 6 graus de liberdade, as NPs possibilitam representações mais realistas do mundo; no entanto, para o fazerem, podem exigir milhões de pontos, levando à necessidade de desenvolver soluções eficientes de codificação. Recentemente, aprendizagem profunda (AP) tem ganho popularidade na codificação de várias modalidades multimédia, incluindo NPs. Esta tese tem como objetivo principal estender um codec de geometria baseado em AP já existente de modo a permitir também a codificação de cor. Para tal será inicialmente feita uma revisão dos codecs de NPs mais relevantes na literatura, com e sem AP, incluindo uma análise das suas arquiteturas, treino (caso se aplique), e resultados. Neste contexto, esta tese propõe duas abordagens para a extensão do codec de geometria existente, nomeadamente usando um modelo de AP conjunto para geometria e cor, ou dois modelos de AP distintos, ainda que com a mesma arquitetura, de modo a codificar a geometria e a cor sequencialmente. Será também proposta uma métrica conjunta de distorção para a função de custo no treino do modelo de AP conjunto. Esta métrica permite otimizar a codificação conjunta da geometria e cor de modo a maximizar a qualidade percetual dos resultados, através da maximização da sua correlação com valores da avaliação da qualidade subjetiva de NPs sujeitas a codificação com perdas.
Keywords: nuvem de pontos, codificação, aprendizagem profunda, codificação conjunta de geometria e cor, codificação sequencial de geometria e cor, métrica conjunta de distorção

Discussão: novembro 14, 2022, 10:0