Dissertação
O efeito de um ground truth imperfeito na avaliação do desempenho de um classificador EVALUATED
Os métodos de classificação baseiam-se numa amostra em se conhece a divisão das observações em grupos ou classes. Em muitas situações reais, estas classes são atribuídas com base em informação imperfeita, denominada por ground truth imperfeito em Engenharia ou gold standard imperfeito no contexto nas Ciências da Vida, não havendo a certeza se a classe referenciada na amostra é a verdadeira classes a que cada objeto pertence. Problemas mais gerais de avaliação de classificadores que se baseiam em ground truth imperfeitos, têm sido descurados. Em consequência, os estudos que se fazem sobre o desempenho de classificadores, e.g., em problemas de deteção de anomalias ou de identificação de aplicações na área das Telecomunicações, carecem de um estudo mais aprofundado, para que o desempenho dos classificadores usados seja, efetivamente, validado. Neste trabalho, considerando dados relativos ao tráfego da Internet, deduzem-se expressões teóricas do desempenho de alguns métodos de classificação, entre eles, a regra de classificação que minimiza a probabilidade total de má classificação e o Naive Bayes para dados provenientes de distribuição normal, na presença de um ground truth imperfeito. O MCL surge como alternativa ao uso indevido do ground truth imperfeito na estimação das medidas de desempenho dos classificadores na ausência de uma referência perfeita. Para auferir das potencialidades desta proposta desenvolveu-se um estudo de simulação que validou as vantagens desta abordagem para a tradicional (comparação com o ground truth imperfeito). Este estudo é igualmente aplicado ao conjunto de dados reais, considerando diversos agrupamentos das classes originais.
novembro 22, 2013, 10:0
Documentos da dissertação ainda não disponíveis publicamente
Orientação
