Dissertação

Leveraging Transient Resources for Incremental Graph Processing on Heterogeneous Infrastructures EVALUATED

O processamento incremental de grafos tem hoje aplicações nas mais diversas áreas. Aplicações deste tipo de processamento tem a característica comum de efectuarem um processamento contínuo, necessitando assim de um sistema em operação permanente. Para sistemas em ambientes de infraestrutura na nuvem, este tipo de disponibilidade pode incorrer em custos operacionais muito elevados. No entanto, os fornecedores de infraestrutura na nuvem oferecem recursos efémeros com custos bastante reduzidos face aos recursos reservados, contudo estes podem ser retirados a qualquer momento. Estes recursos, aliados à necessidade de sistemas em permanente operação, apresentam uma grande oportunidade para reduzir significativamente os custos operacionais, não aproveitada por sistemas já existentes. Neste trabalho apresentamos o Hourglass, um motor de exploração para sistemas de processamento incremental de grafos cujo principal objetivo é reduzir os custos operacionais, tirando partido da heterogeneidade dos recursos efémeros existentes. O sistema tira partido de características da computação a ser realizada, tais como os diferentes padrões de comunicação de cada vértice, para efetuar uma atribuição de partições ciente das suas necessidades computacionais. O Hourglass está constantemente a analisar as condições atuais do mercado alvo para escolher a melhor configuração de máquinas a utilizar. Um conhecimento da computação a ser efetuada permite ao Hourglass escolher os momentos certos para fazer a transição entre máquinas. Isto permite que o sistema opere numa fracção dos custos que seriam necessários caso só máquinas reservadas fossem utilizadas, com um impacto mínimo no desempenho do sistema.
Processamento de Grafos, Computação na Nuvem, Gestão de Recursos

Novembro 8, 2017, 18:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Luís Eduardo Teixeira Rodrigues

Departamento de Engenharia Informática (DEI)

Professor Catedrático