FenixEdu™

Dissertação

{en_GB=No-reference Quality Assessment of DIBR based Synthesized Images} {} EVALUATED

Detalhes: {pt=Hoje em dia, as empresas exploram novas aplicações de vídeo, como o free viewpoint video, com o intuito de disponibilizar aos utilizadores experiências mais envolventes. O free viewpoint video é uma aplicação vídeo onde o utilizador pode selecionar a perspetiva de observação de uma determinada cena. No entanto, não é realista produzir e transmitir as vistas de todas as perspetivas que o utilizador possa escolher. Desta forma, apenas algumas vistas são transmitidas e, com base em métodos de síntese de imagens (e.g., depth image based rendering, DIBR), outras vistas são sintetizadas do lado do utilizador. No entanto, este processo de síntese pode gerar artefactos nas imagens sintetizadas, tornando imperativa a avaliação da qualidade dessas imagens com recurso a métricas objectivas e automáticas. Neste trabalho, propõe-se uma métrica de avaliação de qualidade de imagens sintetizadas, que não necessita da imagem original (métrica no-reference). Esta métrica baseia a prediccção da qualidade num conjunto de características da imagem a avaliar, que são obtidas em diferentes fases do processo de síntese, sendo posteriormente combinadas através de uma técnica de aprendizagem automática (support vector regression, SVR). Para o desenvolvimento e avaliação da métrica proposta, foi criada uma base de dados de imagens sintetizadas que apresentam artefactos de síntese e compressão, herdados das imagens fonte. O desempenho da nova métrica foi comparado com o de várias métricas propostas na literatura, mostrando que a solução proposta supera aquelas consideradas como representativas do estado-da-arte, com um coeficiente de correlação de Pearson próximo de 0.9. , en=Nowadays, companies are exploring a new set of video based applications, such as free viewpoint video, to provide the consumers with more engaging experiences. Free viewpoint video is a video experience where the viewer selects any viewpoint to observe the visual scene, and it is even possible to provide a smooth transitioning between viewpoint. However, it is not realistic to produce and transmit views for every possible viewpoint that the user may choose. Therefore, only a limited number of views is transmitted and, based on depth image based rendering (DIBR) methods, new views are synthesized at user side. However, this synthesis process may result in some artifacts in the synthesized view, reducing the overall quality of experience (QoE). Accordingly, the quality of the synthesized views should be evaluated, using an objective quality assessment metric. In this work, a novel no-reference quality metric to evaluate synthesized images is proposed, i.e., a metric that evaluates the quality of a synthesized image without its original version being available. This metric relies on extracting image features at different phases of the synthesis process, which are fused through support vector regression (SVR), a machine learning tool. A dataset which contains synthesized images with compression and rendering artifacts was built and used to develop and assess the proposed metric. The metric performance is compared with several state-of-the-art image quality assessment metrics, showing that the proposed solution outperforms the state-of-the-art metrics with a Pearson correlation coefficient close to 0.9. }
Keywords: {pt=avaliação de qualidade de imagem, multiview video-plus-depth, depth image based rendering, síntese de vistas, características de imagens, base de dados de imagens sintetizadas, en=image quality assessment, multiview video-plus-depth, depth image based rendering, view synthesis, image features, synthesized image dataset}

Discussão: novembro 22, 2017, 10:0