Dissertação

{en_GB=Applying Reinforcement Learning to develop Data Communication Protocols in Networked Control Systems - Q-learning with Function Approximation Techniques} {} EVALUATED

{pt=Um problema que compromete os networked control systems (NCSs) é a constante perda de informação das redes. Uma das abordagens propostas é criar protocolos de transmissão de dados, que coordenem a transmissão de informação na rede de dados. O objetivo desta tese é avaliar e construir melhores termos para os protocolos que controlam a comunicação em NCSs. É utilizado Q-learning aproximado por duas técnicas de aproximação de funções, redes neuronais e parametrização linear, com o objetivo de gerar leis que optimizem a taxa de transmissão de dados em NCSs. Os resultados são apresentados para cada uma das aproximações de Q-learning aplicadas em dois NCSs diferentes: NCS1, em que apenas um nó transmite utilizando três canais de comunicação, e NCS2, em que dois nós partilham a rede sem fios, composta por três canais de comunicação, em que um é utilizado por ambos os nós para transmissões redundantes. Ambas as técnicas de aproximação de funções conseguiram obter protocolos óptimos para o NCS1, com igual ou melhor relação erro de estimação - custo de comunicação que os protocolos triviais propostos. Os resultados obtidos para o NCS1 serviram de motivação para a aplicação das mesmas técnicas no NCS2, que introduziu um problema mais complexo. Os resultados para a aproximação com redes neuronais foram satisfatórios, dado que foram obtidos protocolos óptimos que tiveram uma performance igual ou melhor que os protocolos triviais propostos. No entanto, os resultados para a aproximação com parametrização linear ficaram aquém das expectativas., en=A problem that compromises networked control systems (NCSs) is the constant loss of information by the networks. One of the proposed approaches used is to create data transmission protocols, that coordinate the information transmission in data networks. The goal of this thesis is to evaluate and to design better terms for the protocols that rule the communication in NCSs, with the objective of optimizing the estimation error - cost of communication tradeoff for different contexts. It is used Q-learning approximated by two different function approximation methods, neural networks and linear parametrization, with the endgame of generating laws that optimize the data transmission rate in NCSs. The results are presented for each of the Q-learning approximations applied to two different NCSs: NCS1, where only one node transmits using three wireless communication channels, and NCS2, that has two nodes sharing the wireless network with three communication channels, where one channel is used by both nodes for redundant transmission. Both function approximation techniques were able to obtain optimal protocols for NCS1, with equal or better estimation error - cost of communication relation than trivial protocols proposed. The good results obtained for NCS1 were a motivation for the application of the same techniques in NCS2, that introduced a more complex problem. The results for the neural networks approximation were satisfactory, as optimal protocols were obtained that had a equal or better performance than the trivial protocols proposed. However, the results for the linear parametrization approximation did not fulfill the expectations.}
{pt=Sistemas de Controlo em Rede, Protocolos de Transmissão de Dados, Aprendizagem por Reforço, Redes Neuronais, Parametrização Linear, en=Networked Control Systems, Data Transmission Protocols, Reinforcement Learning, Neural Networks, Linear Parametrization}

Dezembro 6, 2018, 13:0

Orientação

ORIENTADOR

Luís Manuel Marques Custódio

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Auxiliar

ORIENTADOR

Alexandre Mesquita

Universidade Federal de Minas Gerais

Professor Assistente