Dissertação
Reliable and Locality Driven Scheduling in Hadoop EVALUATED
A crescente utilização de recursos de computação na nossa vida diária leva a que os dados sejam gerados a um ritmo surpreendente. A indústria de computação está sendo desafiada repetidamente na sua capacidade de acomodar a taxa de crescimento imprevisível de dados, e a sua capacidade de processá-los. Isto tem estimulado o desenvolvimento de aplicações intensivas de dados baseadas em clusters. O Hadoop é uma framework open source popular, conhecida pelo seu enorme poder de processamento de dados em clusters. O Hadoop é amplamente utilizado na indústria de computadores, devido à sua escalabilidade, confiabilidade, facilidade de uso e baixo custo de implementação. Apresentamos uma nova abordagem algorítmica chamada de preempção livre de desperdício. A preempção livre de desperdício evita que o escalonador Hadoop escolha apenas apenas entre matar tarefas, o que liberta imediatamente os slots, mas é um desperdício, e esperar, que não desperdiça qualquer trabalho anterior, mas perde para as duas questões acima mencionadas. Com esta nova opção, foi implementada uma versão de escalonador padrão do Hadoop (FIFO) regido por preempção. A avaliação demonstra a eficácia do novo recurso, comparando o seu desempenho com o mecanismo tradicional do Hadoop.
julho 25, 2014, 0:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Informática (DEI)
Professor Auxiliar