Dissertação

Data Profiling: Identificação de problemas de qualidade de dados usando análise de dados e métodos estatísticos em base de dados de cartões de clientes Identificação de problemas de qualidade de dados usando análise de dados e métodos estatísticos em base de dados de cartões de clientes EVALUATED

O que não se sabe sobre os dados de uma empresa prejudica bastante o negócio da mesma. Ao longo do tempo grandes iniciativas, tais como a implementação de ERPs, CRMs, fusões, aquisições ou migração de dados, têm uma grande falha em comum: dados errados, corrompidos, incompletos, etc. De acordo com os relatórios do TDWI, mais de 80% dos gestores de negócio inquiridos acreditam que os seus dados estão bons. Contudo mais de metade dos seus técnicos reconhecem que os dados estão em pior estado do que os executivos pensam. Esta dissertação descreve qual o potencial do Data Profiling na detecção das várias anomalias que os dados de uma BD podem apresentar e quais as vantagens de utilizar o mesmo. Para que a detecção de erros seja rigorosa e completa é necessário uma metodologia de DP que permita ao analista avaliar todos os elementos de uma BD e que disponha de um conjunto de funcionalidades através das quais se consiga reportar o maior número de erros. Desta forma, nesta dissertação foi reformulada a metodologia DP de forma a concentrar na mesma, todos os objectivos enumerados atrás. Perante grandes quantidades de dados, o analista só com a metodologia de DP não consegue reportar em tempo útil e de uma forma completa todas as anomalias. Devido a este factor foi necessário realizar um estudo de ferramentas de DP existentes no mercado. Como resultado final, foram reportados um conjunto de anomalias de uma BD relacional de cartões de clientes de operadores de transportes.
Data Profiling, Qualidade de Dados, Erros, Auditoria de dados, Base de dados e Metodologia DP

Outubro 27, 2008, 16:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Helena Isabel De Jesus Galhardas

Departamento de Engenharia Informática (DEI)

Professor Auxiliar