FenixEdu™

Dissertação

{en_GB=Dynamic Occlusion Handling for Real-Time AR Applications} {} EVALUATED

Detalhes: {pt=A realidade aumentada é uma tecnologia que permite integrar imagens geradas por computador em imagens ou vídeos capturados através de uma câmera, em tempo real. Esta tecnologia é frequentemente usada para melhorar a percepção ou simplesmente para enriquecer a experiência do utilizador. A realidade aumentada tem um potencial significante em aplicações utéis à indústria, à indústrica médica, ao ensino e ao entretenimento. Para que a realidade aumentada possa atingir o seu máximo potencial é necessário que os objectos virtuais e os objectos reais sejam integrados de forma natural. Existem três problemas que surjem quando se tenta atingir esse objectivo: iluminação incorrecta, problemas de rastreamento e problemas de oclusão. Neste trabalho apresentamos um algoritmo capaz de resolver o problema das oclusões em tempo real. A nossa solução utiliza informação de profundidade da cena para separar o primeiro plano do fundo da imagem. Utilizando esta informação, em conjunto com a imagem a cores da cena, conseguimos estimar um coeficiente de mistura para combinar os objectos virtuais e os reais numa única imagem. Após testarmos o nosso algoritmo com várias cenas de diferentes características conseguimos provar que este é capaz de produzir oclusões consistentes e visualmente apelativas, com um custo computacional baixo. Além disso, exploramos neste trabalho possíveis alternativas para tentar melhorar a qualidade dos resultados finais bem como resolver problemas encontrados em trabalhos anteriores., en=Augmented Reality is a technology that allows computer generated graphics to be overlaid on images or video captured by a camera in real time. This technology is often used to enhance perception by providing extra information or simply by enriching the experience of the user. AR offers a significant potential in many applications such as industrial, medical, education and entertainment. For AR to achieve the maximum potential and become fully accepted, the real and virtual objects within the user’s environment must become seamlessly integrated. Three main types of problems arise when we try to achieve this effect: illumination problems, tracking problems and occlusion problems. In this work we present an algorithm that solves AR occlusions in real time. Our approach uses raw depth information of the scene to realize a rough foreground background segmentation. We use this information, as well as information from color data to estimate a blending coefficient to combine the virtual objects with the real objects into a single image. After experimenting with different scenes we prove that our approach is able to produce consistent and aesthetically pleasing occlusions between virtual and real objects, with a low computational cost. Furthermore, we explore several possible alternatives to improve the quality of the final results and overcome previous limitations.}
Keywords: {pt=Realidade Aumentada, Oclusões Realísticas em tempo real, Tratamento de Oclusões Dinâmicas, Entrançamento de Valores Alfa, en=Augmented Reality, Real-time Realistic Occlusion, Dynamic Occlusion Handling, Alpha Matting}

Discussão: novembro 14, 2018, 8:30