FenixEdu™

Dissertação

{en_GB=Omnidirectional Video: Adaptive Coding based on Saliency} {} EVALUATED

Detalhes: {pt=Nos últimos anos, a popularidade do vídeo omnidirecional tem crescido de forma dramática, devido ao aumento da capacidade de processamento dos computadores e dispositivos móveis e devido ao aparecimento ecrãs de elevada densidade de pixéis. O vídeo omnidirecional requer ritmos de transmissão de dados muito elevados devido à sua alta resolução para proporcionar uma experiência imersiva. Contudo, as soluções atuais de codificação de vídeo não foram desenvolvidas para vídeo omnidirecional, e por isso são usados codificadores standard, tais como H.264/AVC e HEVC, depois de aplicada uma projeção retangular 2D. Portanto, esses codificadores devem ser adaptados para se tornarem mais eficientes para este tipo de imagens e vídeo. Deste modo, esta Tese de Mestrado tem a finalidade de desenvolver, implementar e avaliar uma solução de codificação de imagem e vídeo com melhorias de performance em termos de compressão ao usar uma solução adaptativa de codificação, onde as regiões mais importantes são codificadas com melhor qualidade e vice-versa, sendo este processo controlado por um controlo apropriado do passo de quantização. Para determinar a importância de várias regiões, é adaptado um modelo de deteção de saliência de aprendizagem automática para imagens omnidirecionais que é capaz de identificar as regiões mais salientes, onde os utilizadores fixam a sua atenção. A solução proposta atinge ganhos de compressão com melhorias de qualidade quando uma métrica apropriada é usada para a avaliação. Esta métrica objetiva de avaliação de qualidade é validada por testes subjetivos cujos resultados estão altamente correlacionados com a métrica proposta. , en=In the recent years, omnidirectional video popularity has been dramatically increasing, motivated by the rising processing capacity of computers and mobile devices, 3D graphics capabilities and also the emergence of high-density displays. Omnidirectional video requires very high bitrates due to its required high spatial resolution and, ideally, high frame rates to provide an immersive experience. However, the current video coding solutions were not designed for omnidirectional video and thus omnidirectional or spherical images and video are coded with the available standard codecs, such as H.264/AVC and HEVC, after applying a 2D rectangular projection. Therefore, these codecs should be adapted to become more efficient for this type of images and video. Motivated by this situation, this Thesis aims to design, implement and assess an omnidirectional image and video coding solution with improved compression performance by using an adaptive coding solution where the more important omnidirectional video regions are coded with higher quality while less important regions are coded with lower quality with this process controlled by the appropriate control of the quantization parameter. To determine the importance of the various regions, a machine-learning, adapted omnidirectional image saliency detection model is proposed which is able to identify the salient regions where the viewers fixate their attention. The proposed solution achieves considerable overall compression rate gains with improved quality when an appropriate quality metric is used for the assessment. This objective quality metric is validated by formal subjective assessments where very high correlations with the subjective tests scores are achieved. }
Keywords: {pt=vídeo omnidirecional, HEVC, deteção de saliência, compressão de vídeo, codificação adaptativa, en=omnidirectional video, HEVC, saliency detection, video compression, adaptive coding}

Discussão: maio 25, 2017, 10:0