Dissertação
Performance Measures Evaluation for Highly Imbalanced Datasets: Application to Short Term Renal Failure Prediction EVALUATED
A insuficiência renal é um sério problema de saúde, conduzindo frequentemente a fatalidades. A deteção precoce é essencial, sendo a produção de urina um dos primeiros alertas. No entanto, os dados clínicos são caracterizados por conjuntos de dados desbalanceados, sendo o evento a detetar escasso. Neste tipo de problemas, onde é necessário desenvolver um modelo de classificação robusto e escolher as variáveis mais relevantes, as medidas de performance são essenciais. Tipicamente, o AUC é utilizado, embora em situações de desbalanceamento favoreça a classe maioritária. Neste trabalho, estudou-se a influência de diferentes medidas de performance no desenvolvimento de classificadores, recorrendo-se a conjuntos de dados desbalanceados de benchmark. As medidas comparadas foram AUC, AUK e F-Score, tendo-se concluído que o F-Score apresenta melhor desempenho na seleção de variáveis, independentemente do desbalanceamento. Relativamente à definição do threshold do classificador, extraíram-se duas conclusões: para maximizar a sensitividade, o F-Score deverá ser utilizado; para um melhor compromisso entre sensitividade e especificidade dever-se-á optar pelo AUK. Quanto ao AUC, verificou-se ser inadequado para dados desbalanceados. A mesma metodologia foi aplicada ao caso clínico real para prever produções de urina inferiores a 30 ml/h. Nesse sentido, foram desenvolvidos modelos fuzzy utilizando Fuzzy C-Means e Possibilistic Fuzzy C-Means (PFCM), modelos de regressão logística e algoritmos genéticos para optimização de parâmetros. O estudo foi estendido a dados de baixa e alta taxa de amostragem. Globalmente, verificou-se um desempenho superior utilizando modelos fuzzy com PFCM, obtendo-se o melhor modelo usando dados de baixa amostragem na detecção do primeiro evento crítico.
junho 28, 2018, 16:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Susana Margarida da Silva Vieira
Departamento de Engenharia Mecânica (DEM)
Professor Auxiliar
