Dissertação

{en_GB=SDD4Streaming} {} EVALUATED

{pt=Com a quantidade cada vez maior de dispositivos que se conectam à Internet, sendo Internet das Coisas (IOT) um exemplo disso, aumenta também a quantidade de dados que precisam ser processados. O Stream Processing foi criado com o único propósito de lidar com grandes volumes de dados e provou repetidamente que pode lidar com isso com sucesso. No entanto, ainda é necessário melhorar ainda mais a escalabilidade e o desempenho desses sistemas. Este trabalho propõe o SDD4Streaming, uma solução que vem mitigar estes problemas específicos dos Stream Processing Engines. Os motores atuais já implementam soluções de escalabilidade, mas com o tempo vimos que isso não é suficiente e são necessárias mais melhorias. Portanto, SDD4Streaming emprega uma extensão do sistema atual para melhorar o uso de recursos, de forma que as aplicações usem os recursos de que precisam para processar dados no menor tempo possível, aumentando assim o desempenho e ajudando outros aplicativos que estão sendo executados em paralelo no mesmo sistema., en=With the ever-increasing amount of devices getting connected to the internet, being the Internet of Things (IoT) a good example of this, so does the amount of data that needs to be processed. Stream Processing was created for the sole purpose of dealing with high volumes of data and it has proven time and time again that it can successfully handle it. However, there is still a necessity to further improve scalability and performance on these systems. This work presents SDD4Streaming, a solution that comes to solve these specific issues on the Stream Processing Engines. Current engines already implement scalability solutions but with time we've seen that this is not enough and further improvements are needed. So SDD4Streaming employs an extension of the current system to improve resource usage, so the applications use the resources it needs to process data promptly, and so increasing the performance and help other applications that are running in parallel in the same system.}
{pt=Processamento em fluxo, Apache Flink, Gestão de Recursos, Escalabilidade, Desempenho, en=Stream Processing, Apache Flink, Resource Management, Scalability, Performance}

janeiro 22, 2021, 10:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Sérgio Ricardo de Oliveira Esteves

INESC

Researcher of Computer Science in the Distributed Systems Group (GSD)

ORIENTADOR

Luís Manuel Antunes Veiga

Departamento de Engenharia Informática (DEI)

Professor Associado