FenixEdu™

Dissertação

{pt_PT=LxTube - Processamento de arquivos massivos de vídeo para indexação e pesquisa de informação} {} EVALUATED

Detalhes: {pt=O rápido crescimento das bases de dados de vídeos disponíveis online exige sistemas de busca e indexação cada vez mais eficientes e robustos. Os desafios fundamentais ao desenvolver um motor de pesquisa deste tipo são: 1) Escolha adequada dos descritores do vídeo; 2) Identificação do método ideal de indexação dos recursos. Para o primeiro é necessário um compromisso entre uma descrição perfeita do vídeo e os custos de tempo envolvidos na extração das features. O algoritmo adotado para o segundo desafio define a forma como a informação será organizada na base de dados e, consequentemente, a qualidade dos resultados. Neste trabalho, a abordagem implementada utiliza quatro tipos de features diferentes (Cor, Textura, Informação Semântica e Movimento) e um algoritmo de clustering hierárquico para a indexação da informação, processo que acelera a identificação dos frames da base de dados mais semelhantes a cada um dos frames do vídeo de query de forma a construir um grafo utilizado na busca de vídeos similares. A construção do grafo pode ser adaptada para produzir outputs diferentes de acordo com as intenções do utilizador o que ilustra uma das grandes vantagens deste algoritmo, a sua versatilidade. Foi ainda testada a sua escalabilidade numa base de dados com 42576 vídeos extraídos do dataset Youtube-8M. Através de dois testes a utilizadores independentes desenvolveu-se um estudo acerca da influência de cada feature na avaliação da semelhança entre vídeos, onde se verificou uma maior influência de descritores como SIFT e o conteúdo semântico., en=The rapid growth of video databases available online demands more efficient and robust search engines and indexing systems. The key challenges when developing such systems are: 1) Adequate choice of features to represent the video; 2) Selection of the ideal indexing method. For the former it is necessary a compromise between a perfect description of the video and the time costs involved in the extraction of features. The algorithm adopted for the second problem defines how the data will be organized in the database and, consequently, the quality of the results. The approach developed in this work uses four different types of features (Color, Texture, Semantic Information and Motion) and a hierarchical clustering algorithm is applied to index the database information, process that speeds up the identification of the database's most similar frames to each of the frames of the query video in order to produce a graph used in video similarity search. The graph construction process can be adapted to produce different outputs according to the intentions of the user, which illustrates one of the great advantages of this algorithm, its enormous versatility. We also tested the scalability of the algorithm in a database with 42576 videos extracted from the Youtube-8M dataset. A study on influence of each feature in the video similarity evaluation was developed through a collection of two tests with independent users where a larger influence of features such as SIFT and the semantic content was deduced.}
Keywords: {pt=Vídeo, Busca, Frame, Grafo, Feature, Indexação, en=Video, Search, Frame, Graph, Feature, Indexing}

Discussão: novembro 20, 2017, 9:0