Dissertação

Applying Reinforcement Learning to develop Data Communication Protocols in Networked Control Systems - Q-learning with Function Approximation Techniques EVALUATED

Um problema que compromete os networked control systems (NCSs) é a constante perda de informação das redes. Uma das abordagens propostas é criar protocolos de transmissão de dados, que coordenem a transmissão de informação na rede de dados. O objetivo desta tese é avaliar e construir melhores termos para os protocolos que controlam a comunicação em NCSs. É utilizado Q-learning aproximado por duas técnicas de aproximação de funções, redes neuronais e parametrização linear, com o objetivo de gerar leis que optimizem a taxa de transmissão de dados em NCSs. Os resultados são apresentados para cada uma das aproximações de Q-learning aplicadas em dois NCSs diferentes: NCS1, em que apenas um nó transmite utilizando três canais de comunicação, e NCS2, em que dois nós partilham a rede sem fios, composta por três canais de comunicação, em que um é utilizado por ambos os nós para transmissões redundantes. Ambas as técnicas de aproximação de funções conseguiram obter protocolos óptimos para o NCS1, com igual ou melhor relação erro de estimação - custo de comunicação que os protocolos triviais propostos. Os resultados obtidos para o NCS1 serviram de motivação para a aplicação das mesmas técnicas no NCS2, que introduziu um problema mais complexo. Os resultados para a aproximação com redes neuronais foram satisfatórios, dado que foram obtidos protocolos óptimos que tiveram uma performance igual ou melhor que os protocolos triviais propostos. No entanto, os resultados para a aproximação com parametrização linear ficaram aquém das expectativas.
Sistemas de Controlo em Rede, Protocolos de Transmissão de Dados, Aprendizagem por Reforço, Redes Neuronais, Parametrização Linear

Dezembro 6, 2018, 13:0

Documentos da dissertação ainda não disponíveis publicamente

Orientação

ORIENTADOR

Luís Manuel Marques Custódio

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Auxiliar

ORIENTADOR

Alexandre Mesquita

Universidade Federal de Minas Gerais

Professor Assistente