Dissertação

{pt_PT=ETL na era do Big Data} {} EVALUATED

{pt=A quantidade de dados existente hoje em dia está a crescer de forma cada vez mais rápida, uma vez que as empresas produzem cada vez mais dados, a velocidades cada vez mais elevadas. Torna-se assim necessária a existência de ferramentas que sejam capazes de lidar com esse volume de dados crescente. A presente dissertação tem como objectivo averiguar em que condições podemos beneficiar da utilização de tecnologias de \textit{Big Data} para o processamento de informação. Numa primeira parte dessa dissertação, serão definidos os principais conceitos relacionados com o processamento de grandes conjuntos de dados, apelidados de \textit{Big Data}, e as tecnologias para processamento destes conjuntos. Serão apresentadas como trabalho relacionado algumas ferramentas para transformação de dados, que incluem algumas das mais utilizadas. A segunda parte da dissertação irá detalhar o trabalho implementado, a sua validação fazendo por fim uma conclusão e análise de trabalho futuro., en=The amount of data that exists nowadays is growing faster, since the companies produce more and more data, in increasingly higher speeds. This makes it necessary to have tools which are able to cope with this increased volume of data. This thesis aims to ascertain under what conditions we can benefit from the use of Big Data’s technologies for information processing. In the first part of this dissertation, the main concepts related to the processing of large data sets, nicknamed Big Data, and technologies for processing these sets will be defined. Will be presented as work related some tools for data transformation, which include some of the most used. The second part of the thesis will detail the implemented work, validation and finally a conclusion and analysis of future work.}
{pt=Big Data, ETL, MapReduce, Hadoop, Pig., en=Big Data, ETL, MapReduce, Hadoop, Pig.}

Junho 28, 2016, 14:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Helena Isabel De Jesus Galhardas

Departamento de Engenharia Informática (DEI)

Professor Auxiliar

ORIENTADOR

João Carlos Pereira Damásio

Link Consulting

Investigador Principal