Dissertação

{en_GB=Performance Measures Evaluation for Highly Imbalanced Datasets: Application to Short Term Renal Failure Prediction} {} EVALUATED

{pt=A insuficiência renal é um sério problema de saúde, conduzindo frequentemente a fatalidades. A deteção precoce é essencial, sendo a produção de urina um dos primeiros alertas. No entanto, os dados clínicos são caracterizados por conjuntos de dados desbalanceados, sendo o evento a detetar escasso. Neste tipo de problemas, onde é necessário desenvolver um modelo de classificação robusto e escolher as variáveis mais relevantes, as medidas de performance são essenciais. Tipicamente, o AUC é utilizado, embora em situações de desbalanceamento favoreça a classe maioritária. Neste trabalho, estudou-se a influência de diferentes medidas de performance no desenvolvimento de classificadores, recorrendo-se a conjuntos de dados desbalanceados de benchmark. As medidas comparadas foram AUC, AUK e F-Score, tendo-se concluído que o F-Score apresenta melhor desempenho na seleção de variáveis, independentemente do desbalanceamento. Relativamente à definição do threshold do classificador, extraíram-se duas conclusões: para maximizar a sensitividade, o F-Score deverá ser utilizado; para um melhor compromisso entre sensitividade e especificidade dever-se-á optar pelo AUK. Quanto ao AUC, verificou-se ser inadequado para dados desbalanceados. A mesma metodologia foi aplicada ao caso clínico real para prever produções de urina inferiores a 30 ml/h. Nesse sentido, foram desenvolvidos modelos fuzzy utilizando Fuzzy C-Means e Possibilistic Fuzzy C-Means (PFCM), modelos de regressão logística e algoritmos genéticos para optimização de parâmetros. O estudo foi estendido a dados de baixa e alta taxa de amostragem. Globalmente, verificou-se um desempenho superior utilizando modelos fuzzy com PFCM, obtendo-se o melhor modelo usando dados de baixa amostragem na detecção do primeiro evento crítico. , en=Kidney failure is a serious health problem, often leading to fatalities. Early detection is essential, with urine production being one of the first warnings. Nevertheless, clinical data is characterized by imbalanced datasets, being the event to detect scarce. In this type of problems, where it is necessary to develop a robust classification model and choose the most relevant features, performance measures are essential. Typically, the AUC is used, although in situations of imbalance it favors the majority class. In this work, the influence of different performance measures on classifier development was studied, resorting to imbalanced benchmark datasets. The measures compared were AUC, AUK and F-Score, and it was concluded that F-Score presents better performance in feature selection, regardless of the imbalance. Regarding the definition of the classifier threshold, two conclusions were drawn: to maximize the sensitivity, the F-Score should be used; for a better trade-off between sensitivity and specificity, the AUK should be chosen. Relative to AUC, it was verified to be unsuitable for imbalanced data. The same methodology was applied to the real clinical case to predict urine outputs below 30 ml/h. To accomplish this, fuzzy models were developed using Fuzzy C-Means and Possibilistic Fuzzy C-Means (PFCM), along with logistic regression models, and genetic algorithms for optimization of parameters. The study was extended to low and high sampling rate data. Overall, higher performance was observed using fuzzy models with PFCM, obtaining the best model using low sampling rate data in the detection of the first critical event.}
{pt=Modelação Fuzzy, Produção de Urina, Selecção de Variáveis, Conjuntos de Dados Desbalanceados, Medidas de Desempenho, en=Fuzzy Modeling, Urine Output, Feature Selection, Imbalanced Datasets, Performance Measures}

Junho 28, 2018, 16:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Susana Margarida da Silva Vieira

Departamento de Engenharia Mecânica (DEM)

Professor Auxiliar

ORIENTADOR

Cátia Matos Salgado

IST

Bolseira de Doutoramento da FCT