FenixEdu™

Dissertação

Deep Learning Methods for Reinforcement Learning EVALUATED

Detalhes: Esta tese foca-se no desafio de desacoplar a percepção de estados e aproximação de funções quando aplicamos Deep Learning a aprendizagem por reforço. Como ponto de partida, foram considerados os estados de dimensão elevada, sendo esta a razão fundamental da notória limitação da incorporação de algoritmos de aprendizagem por reforço a domínios reais. Abordando a temática da Curse of Dimensionality, propomo-nos reduzir a dimensionalidade dos estados através de métodos de Machine Learning, no sentido de obter representações sucintas e suficientes (representações internas de um sistema), que podem ser usadas como estados análogos para aprendizagem por reforço. No âmbito da mesma metodologia, foram exploradas alternativas para parametrizar a Q-function em tarefas com um espaço de estados bastante superior. Várias abordagens foram usadas ao longo das duas últimas décadas, incluindo Kernel Ma- chines, onde a escolha de filtros apropriados para cada problema consumia a maior parte da in- vestigação científica. Nesta tese foram exploradas técnicas de Machine Learning, nomeadamente técnicas com treino não supervisionado, com foco na arquitetura de redes neuronais que deram origem ao ramo Deep Learning. Uma das temáticas chave consiste na estimativa de Q-values para espaços de estados elevados, quando as abordagens tabulares são insuficientes. Como um meio de aproximar a Q-function foram explorados métodos de Deep Learning. Os principais objetivos incluem a exposição e compreensão dos métodos propostos com vista à implementação de um controlador neuronal. Várias simulações foram efetuadas, tendo em conta diferentes métodos de otimização e funções de custo com o propósito de retirar conclusões.
Keywords: Aprendizagem Máquina, Redes Neuronais, Deep Learning, Processos de Markov, Aprendizagem por reforço.

Discussão: dezembro 6, 2016, 17:0