Dissertação

{en_GB=Leveraging Transient Resources for Incremental Graph Processing on Heterogeneous Infrastructures} {} EVALUATED

{pt=O processamento incremental de grafos tem hoje aplicações nas mais diversas áreas. Aplicações deste tipo de processamento tem a característica comum de efectuarem um processamento contínuo, necessitando assim de um sistema em operação permanente. Para sistemas em ambientes de infraestrutura na nuvem, este tipo de disponibilidade pode incorrer em custos operacionais muito elevados. No entanto, os fornecedores de infraestrutura na nuvem oferecem recursos efémeros com custos bastante reduzidos face aos recursos reservados, contudo estes podem ser retirados a qualquer momento. Estes recursos, aliados à necessidade de sistemas em permanente operação, apresentam uma grande oportunidade para reduzir significativamente os custos operacionais, não aproveitada por sistemas já existentes. Neste trabalho apresentamos o Hourglass, um motor de exploração para sistemas de processamento incremental de grafos cujo principal objetivo é reduzir os custos operacionais, tirando partido da heterogeneidade dos recursos efémeros existentes. O sistema tira partido de características da computação a ser realizada, tais como os diferentes padrões de comunicação de cada vértice, para efetuar uma atribuição de partições ciente das suas necessidades computacionais. O Hourglass está constantemente a analisar as condições atuais do mercado alvo para escolher a melhor configuração de máquinas a utilizar. Um conhecimento da computação a ser efetuada permite ao Hourglass escolher os momentos certos para fazer a transição entre máquinas. Isto permite que o sistema opere numa fracção dos custos que seriam necessários caso só máquinas reservadas fossem utilizadas, com um impacto mínimo no desempenho do sistema., en=Incremental graph processing as emerged as a key technology, with applications in many different areas. These applications, regardless of their differences, have the common characteristic of continuous processing, thus requiring the system to run on a 24/7 basis. For deployments in public cloud infrastructures, these long term deployments may incur very high costs. However, cloud providers offer transient lived resources, with significantly reduced prices compared to the regular resources, with the proviso that the former can be evicted at any time. Thus, this type of resources is a huge opportunity to significantly reduce operational costs, missed so far by existing approaches. In this dissertation we present Hourglass, a deployment engine for existing incremental graph processing systems. The system aims at leveraging the resource heterogeneity in public cloud infrastructures, as well as transient resource markets, to significantly reduce operational costs. Hourglass exploits features of the workload, such as the imbalance in vertex communication patterns, to do a resource-aware distribution of graph partitions among the existing machines. By constantly analyzing transient market conditions, it is able to select the cheapest deployment configuration in each moment, allowing a periodic reconfiguration of the system. Knowledge about the computation being performed allows Hourglass to choose the right moment to transition between deployments. This allows the underlying system to operate on a fraction of the cost of a system composed exclusively of reserved machines, with minimal impact in performance.}
{pt=Processamento de Grafos, Computação na Nuvem, Gestão de Recursos, en=Graph Processing, Cloud Computing, Resource Management}

Novembro 8, 2017, 18:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Luís Eduardo Teixeira Rodrigues

Departamento de Engenharia Informática (DEI)

Professor Catedrático