FenixEdu™

Dissertação

{en_GB=A Mixture of experts approach to deep image clustering: estimating latent sizes and the number of clusters} {} EVALUATED

Detalhes: {pt=Deep clustering é um campo com as mais variadas aplicações, que vão da Biologia ao Marketing. Difere do clustering clássico, pois usa algoritmos de deep learning para realizar feature learning nos dados originais. Apesar da importância desses algoritmos de feature learning, pouca ou nenhuma prioridade é dada à sua estrutura, levando a que a maioria dos trabalhos teóricos atinja desempenhos maus em aplicações reais. Além disso, as abordagens de agrupamento generativo atuais geralmente não permitem a especialização de partes da rede para diferentes clusters, tornando difícil influenciar o tipo de dados que é gerado. Esta tese visa explorar uma nova técnica de clustering profundo baseada em uma Mistura de especialistas de Autoencoders Variacionais. Nesta abordagem cada especialista modela um cluster e uma rede gerente é usada para estimar uma pontuação de importância relativa para cada um dos especialistas, atingindo efetivamente um agrupamento fuzzy. As principais contribuições deste trabalho são quatro: (i) é uma abordagem generativa para agrupamento de dados; (ii) possui uma arquitetura totalmente dependente de dados, eliminando a necessidade de seleção de hiperparâmetros; (iii) usando Análise de Componentes Principais, podemos estimar a dimensionalidade da dimensão latente dos VAEs, simplificando o modelo; e (iv) usado o HDBSCAN (em vez de um modelo de mistura gaussiana clássico, como no N2D), podemos estimar o número de clusters automaticamente. A abordagem proposta é avaliada em cinco conjuntos de dados de imagens e comparada com abordagens de clustering profundo de última geração provando que o algritmo proposto supera a maior parte das soluções., en=Deep clustering is a field with many widespread applications, ranging from Biology to Marketing. It differs from classical clustering since it uses deep learning algorithms (typically autoencoders) to perform representation learning on the raw data. Despite the importance of these deep representation learning algorithms, little to no priority is given to their structure, leading most theoretical works to attain poor performances in real-life applications. Moreover, while generative clustering approaches can also be used for data generation, most bodies of work do not allow specialization of parts of the network to different clusters, making it hard to influence the type of data that is generated. Hence this thesis aims at exploring a novel deep clustering technique based on a mixture of variational autoencoders (VAEs), the experts, in which each VAE models a cluster. A manager network is then used to estimate a relative importance score to each of the experts, effectively attaining a soft clustering. The main contributions of this work are fourfold: (i) it is a generative approach to clustering; (ii) it has a fully data dependant architecture, removing the need for most hyperparameter selection; (iii) by relying on Principal Component Analysis, it can estimate the dimensionality of the VAEs bottleneck layers, simplifying the model; and (iv) by relying on HDBSCAN (instead of a classical Gaussian Mixture Model, as in N2D) it allows to estimate the number of clusters automatically.}
Keywords: {pt=Agrupamento neuronal de imagens, Geração artificial de imagens, Modelo de mistura de especialistas, Arquitetura de pré-treino, número de grupos, dimensão do espaço latente, en=Deep image clustering, Image Generation, Mixture of experts model, Pretraining architecture, number of clusters, dimensionality of the latent space}

Discussão: dezembro 21, 2020, 9:30