Dissertação

Suporte ao envolvimento do utilizador em processos de limpeza de dados EVALUATED

A limpeza de dados é o processo de remoção de erros e incoerências dos dados, a fim de melhorar a sua qualidade. O envolvimento dos utilizadores responsáveis pela execução do programa de limpeza de dados é importante para a correcção dos problemas de qualidade de dados que não podem ser resolvidos automaticamente. Actualmente, existem várias frameworks de limpeza de dados, em virtude da necessidade cada vez mais crescente de obtenção de dados com qualidade. Nesta dissertação damos ênfase a duas frameworks de limpeza de dados: CLEENEX e PENTAHO. Neste trabalho desenvolvemos, utilizando o CLEENEX e o PENTAHO, um programa de limpeza de dados com o objectivo de corrigir os problemas de qualidade de dados presentes num conjunto de dados sobre cidadãos australianos fictícios. À base deste programa, especificamos novos requisitos para o CLEENEX, e efectuámos um estudo comparativo entre as duas frameworks, quanto ao suporte ao envolvimento do utilizador durante o processo de limpeza de dados. Constatou-se que as Restrições de Qualidade e MDRs (Reparações Manuais de Dados) não ficaram completamente integradas relativamente ao grafo de transformação de dados. É ainda feita a avaliação do programa de limpeza de dados desenvolvido, em termos da qualidade dos dados que o mesmo produz, bem como em termos do esforço do utilizador, concluindo-se que o feedback do utilizador durante o processo de limpeza de dados é proveitoso. Por fim, estende-se as capacidades do CLEENEX no que diz respeito à especificação das MDRs para as tabelas de entrada do grafo de transformação de dados.
limpeza de dados, envolvimento do utilizador, grafo de transformação de dados, Cleenex, Pentaho, programa de limpeza de dados

Dezembro 17, 2014, 17:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

CO-ORIENTADOR

Maria Antónia Bacelar da Costa Lopes

FCUL

Professor Associado

ORIENTADOR

Helena Isabel De Jesus Galhardas

Departamento de Engenharia Informática (DEI)

Professor Auxiliar