Dissertação

{pt_PT=MyWatson: A system for interactive acess of personal records} {} EVALUATED

{pt=Com o numero de fotografias tiradas pelas pessoas a aumentar, é cada vez mais difícil para uma pessoa comum gerir todas as fotos na sua biblioteca digital, e achar uma fotografia específica numa galeria grande prova-se um desafio. Nesta tese, o sistema MyWatson é proposto, uma aplicação na web que utiliza recuperação de imagens baseada em conteúdo, aprendizagem profunda, e agrupamento, que tem como objectivo resolver o problema da recuperação de imagens focando-se no utilizador. O MyWatson é desenvolvido sobre a framework Django, uma framework com Python de alto nível, e utiliza extração automática de etiquetas e uma interface de utilizador amigável que permite aos utilizadores pesquisar fotos na sua galeria de imagens com recurso a uma query por palavra-chave. As características do MyWatson incluem a habilidade de carregar e etiquetar múltiplas fotos automaticamente de uma só vez utilizando a API Google Cloud Vision, detectar e agrupar faces de acordo com as suas respectivas similaridades utilizando uma rede neural convolucional construída sobre o Keras e o Tensorflow, usada como extractora de características, e um algoritmo de agrupamento hierárquico que gera vários grupos de agrupamentos. Além de discutir técnicas do estado da arte, apresentar as APIs e tecnologias utilizadas e explicar a arquitectura do sistema com detalhe, uma avaliação heurística é corroborada pelos resultados de questionários respondidos pelos utilizadores. No geral, estes manifestaram interesse na aplicação e a necessidade de funcionalidades que os ajudassem a alcançar uma melhor gestão de uma grande coleção de fotografias. , en=With the number of photos people take growing, it’s getting increasingly difficult for a common person to manage all the photos in its digital library, and finding a single specific photo in a large gallery is proving to be a challenge. In this thesis, the MyWatson system is proposed, a web application leveraging content-based image retrieval, deep learning, and clustering, with the objective of solving the image retrieval problem, focusing on the user. MyWatson is developed on top of the Django framework, a high-level Python Web framework, and revolves around automatic tag extraction and a friendly user interface that allows users to browse their picture gallery and search for images via query by keyword. MyWatson’s features include the ability to upload and automatically tag multiple photos at once using Google’s Cloud Vision API, detect and group faces according to their similarity by utilizing a convolution neural network, built on top of Keras and Tensorflow, as a feature extractor, and a hierarchical clustering algorithm to generate several groups of clusters. Besides discussing state-of-the-art techniques, presenting the utilized APIs and technologies and explaining the system’s architecture with detail, a heuristic evaluation of the interface is corroborated by the results of questionnaires answered by the users. Overall, users manifested interest in the application and the need for features that help them achieve a better management of a large collection of photos.}
{pt=Recuperação de imagens baseada em conteúdo, Google Cloud Vision, Agrupamento, Deteção de Faces, Redes Neural Convolucional, en=Content-based image retrieval, Google Cloud Vision, Clustering, Face detection, Convolutional neural network}

Novembro 7, 2018, 9:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Arlindo Manuel Limede de Oliveira

Departamento de Engenharia Informática (DEI)

Professor Catedrático