Dissertação
Optimistic Concurrency Control in a Distributed NameNode Architecture for Hadoop Distributed File System EVALUATED
A plataforma Hadoop Open (Hop) é uma plataforma-como-serviço (PaaS) para o ecossistema Hadoop em plataformasde nuvem existentes, incluindo Amazon Web Service e OpenStack. A camada de armazenamento Hop, Hop-HDFS, é uma implementação de alta disponibilidade do Hadoop Distributed File System (HDFS), armazenando os metadados numa base de dados replicada em memória distribuída, MySQL Cluster. O objetivo é superar as limitações do NameNode, mantendo a semântica de consistência forte do HDFS para que as aplicações escritas para HDFS podem ser executados em Hop-HDFS sem modificações. Trabalhos anteriores têm contribuído para a adopção de um modelo transaccional para o Hop-HDFS. De granularidade lata de nível sistema até a mais fina, com trincos sobre registos, as semânticas de consistência forte foram mantidas no Hop-HDFS, mas com desempenho muito restrito comparado com o HDFS orginal. Nesta tese, analisamos primeiro as limitações na implementação actual do HDFS e fornecemos uma visão geral do Hop-HDFS ilustrando como superámos essas limitações. Em seguida, fazemos uma avaliação sistemática dos trabalhos anteriores para o Hop-HDFS comparando com o HDFS, e também analisamos as restrições ao utilizar mecanismos de sincronização pessimista para garantir consistência forte. Finalmente, a partir da investigação de deficiências atuais, demonstramos como melhorar o desempenho através da concepção de um novo modelo baseado no controle de concorrência optimista com snapshot isolation como prova de conceito. A avaliação mostra melhoria significativa do desempenho com novo modelo. A nossa implementação foi validada por mais de 300 testes de unidade ao Apache HDFS.
setembro 19, 2014, 16:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
AUTOR
ORIENTADOR
Departamento de Engenharia Informática (DEI)
Professor Auxiliar