Dissertação

Providing fault tolerance and scalability of the MapReduce JobTracker using the Infinispan platform EVALUATED

O Hadoop MapReduce da Apache Foundation é uma framework para processar grandes quantidades de dados em paralelo num cluster de computadores. Tal como muitos sistemas de processamento de grande escala, o MapReduce usa uma arquitetura mestre-escravo, servindo o JobTracker de componente mestre central do sistema e múltiplos nós escravos chamados Task-Trackers. O JobTracker executa-se num único nó físico e constitui um ponto único de falha do sistema: quando falha, o sistema perde todos os trabalhos em execução e ca indisponível para os clientes. Adicionalmente, um único nó físico representa uma limitação de escalabilidade do sistema. Esta tese apresenta contribuições para a resolução dos para os problemas referidos. Foi desenhada e implementada uma solução completamente funcional para a tolerância a falhas do JobTracker. Foi criada uma solução simples e eciente para a escalabilidade do JobTracker. Ambas as soluções apoiam-se na frameword de processamento e armazenamento distribuídos Innispan. Apresentam-se vários testes avaliativos da solução e os seus resultados são discutidos.
Tolerância a falhas, Escalabilidade, MapReduce, Infinispan, Replicação, Execução distribuída

Setembro 20, 2013, 16:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

João Coelho Garcia

Departamento de Engenharia Informática (DEI)

Professor Auxiliar