Dissertação

Geographical sharding in MongoDB Using Voronoi partitioning to geographically shard point data EVALUATED

O crescimento dos conjuntos de dados na era da Big Data criou a necessidade de sistemas de gestão de bases de dados com capacidade para escalar horizontalmente, como o MongoDB, o Apache Cassandra e muitos outros, geralmente conhecidos como sistemas NoSQL. Estes sistemas devem ser capazes de ser configurados de formas adequadas aos dados que vão armazenar, segmentando os conjuntos de dados (técnica conhecida como Sharding) de formas que aproveitem o contexto dos mesmos, permitindo que as interacções com a base de dados sejam executadas de forma o mais eficiente possível. A disponibilidade de dados espaciais (associados com uma localização) tem aumentado consistentemente ao longo dos anos, com o aumento do número de dispositivos com capacidade para geolocalização, tornando importante que os sistemas NoSQL sejam capazes de lidar e tirar partido deste tipo de dados. Embora os sistemas NoSQL suportem sharding, nem todos (incluíndo o MongoDB), são capazes de o fazer com base em geolocalização, ou de fazê-lo de forma eficiente. Em seguimento ao trabalho feito por João Pedro Martins Graça na sua tese de Mestrado, explorando várias políticas de segmentação espacial, este trabalho tem como objectivo implementar e avaliar a utilidade prática da política proposta GeoSharding, baseada em indexação de Voronoi, no popular projecto de código aberto MongoDB. Os resultados dos testes efectuados mostram que esta política pode ter um grande impacto positivo no desempenho do sistema quando usada com conjuntos de dados que contenham grandes números de pequenos documentos, como dados de sensores ou informação de geografia estatística.
Big Data, Dados Espaciais, Sharding, MongoDB, NoSQL

Maio 17, 2017, 9:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

João Nuno De Oliveira e Silva

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Auxiliar