FenixEdu™

Dissertação

Clusterval: Python package for determining the number of clusters in longitudinal datasets EVALUATED

Detalhes: O motivo para o uso de clustering é encontrar padrões nos dados. A estrutura de clustering escolhida pelo algoritmo de clustering deve ser avaliada, e um bom critério a seguir na validação de clusters é que objetos na mesma partição devem estar próximos. Por outro lado, diferentes clusters estão de preferência notavelmente distantes, respetivamente uns aos outros. A informação que pode ser obtida da analise dos padrões nos dados tem o potencial para ser útil em virtualmente qualquer área. Nesta dissertação, o foco é numa ferramenta criada em 2019, chamada AliClu, que combina alinhamento de sequências médicas com clustering de forma a analisar dados longitudinais. O nosso objetivo é aprimorar o aspecto de validação de clustering do AliClu, através do uso de métricas de avaliação. Adicionalmente, iremos trabalhar no sentido de automatizar a geração das sequencias de tratamentos, que são os elementos dos clusters extraidos do dataset Reuma.pt. Finalmente, fazemos uma contribuição para a comunidade de clustering e interessados em geral, por intermédio de uma biblioteca de Python a que chamamos clusterval, que permite o acesso ao processo de clustering de forma fácil. O trabalho aqui apresentado segue dois critérios principais para validação de clusters (external e internal), que serão introduzidos com o respetivo conhecimento relacionado. Seguidamente, a biblioteca clusterval é introduzida e o seu funcionamento explicado. No mesmo capítulo, descrevemos a automatização da representação visual dos clusters finais. Adicionalmente, é feita uma experiência extensiva a partir dos indices descritos, usando conjuntos de dados sintéticos e reais.
Keywords: clusterval, clustering, indices de validação de clusters, AliClu

Discussão: setembro 23, 2021, 9:0