Dissertação

{en_GB=Fog Computing Task Offloading Optimization based on Deep Reinforcement Learning} {} APPROVED

{pt=A indústria e a sociedade estão em mudança e tendem a evoluir para um sistema cada vez mais orientado para a tecnologia. A ubiquidade do IoT é de grande importância para o futuro da tecnologia ao conectar o ambiente envolvente à rede. O CC, que é um paradigma computacional que desloca a necessidade de recursos do utilizador para a Cloud, vem como um complemento ao IoT. No entanto, o CC tem as suas limitações tanto na banda de rede como na latência. FC vem como uma resposta a estes problemas, procurando fazer a ponte entre os clientes e a Cloud com processamento parcial ou total dos dados e gestão de ligações. Para tornar esta tecnologia viável é necessário gerir os recursos do Fog. Uma forma de gestão de recursos proposta pelos académicos é a coreografia, onde cada nó no Fog faz as suas próprias decisões de gestão com o objetivo de cooperação entre nós e melhoramento do desempenho geral. Para criar uma base de trabalho para estudos padronizados, um simulador baseado numa ferramenta de código aberto para DRL é desenvolvida. Depois, um algoritmo PPO com arquitetura A2C é implementado e testado para o conjunto de casos de teste na ferramenta desenvolvida. Nas simulações, o algoritmo PPO de coreografia demostra a capacidade de superar algoritmos não inteligentes quando otimiza uma recompensa de desempenho comum a todos os nós. No entanto, algumas limitações são identificadas por forma a serem endereçadas em futuros estudos., en=Industry and society are constantly changing, evolving into an ever more technology oriented system. The ubiquity of Internet of Things (IoT) comes to connect the surroundings through sensors and actuators to the Internet. Cloud Computing (CC) comes as a computing paradigm that can also leverage IoT. However, it has its shortcomings regarding communication bandwidth and latency. Fog Computing (FC) comes as an extension of CC in order to tackle the aforementioned problems, shifting partial computation closer to the edge and managing communications to the Cloud. To make this technology viable, it is first necessary to manage the resources present in the Fog. A proposed concept by academia is a choreography styled resource management, where each Fog node makes its own decisions based on requests from the end devices in a group cooperation to improve the overall performance. Therefore, it is necessary to implement an algorithm that makes the decisions with awareness of other nodes. Studies have been made to introduce Deep Reinforcement Learning (DRL) as a viable decision maker. To create groundwork for standardized further studies, a simulator based on an open source DRL tool is developed. Then, a Proximal Policy Optimization (PPO) with an Advantage Actor-Critic (A2C) architecture algorithm is implemented and tested in a set of cases in the developed tool. In the developed scenarios, the choreography PPO algorithm demonstrated the capability to surpass the non intelligent baselines algorithms when optimizing based on a common reward. However, some limitations are found and should be addressed in future works.}
{pt=Computação na Névoa, Gestão de recursos, Coreografia, Aprendizagem por Reforço, Aprendizagem por Reforço Profunda, Otimização de Política Proximal., en=Fog Computing, Resource Management, Choreography, Reinforcement Learning, Deep Reinforcement Learning, Proximal Policy Optimization.}

Orientação

ORIENTADOR

António Manuel Raminhos Cordeiro Grilo

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado