FenixEdu™

Dissertação

Mechanistic characterization of reinforcement learning in healthy humans using computational models EVALUATED

Detalhes: A aprendizagem por reforços forneceu uma estrutura normativa para a análise de tomada de decisões. Vários estudos mostraram que existe uma ligação entre a aprendizagem por reforços e algumas estruturas neuronais, sendo que estas estão associadas a uma determinada ação computacional. Nomeadamente, as respostas de neurónios dopaminérgicos estão relacionadas com os erros de previsão utilizados nos algoritmos de diferenças temporais. A literatura em Machine Learning apresentou diferentes maneiras de calcular o erro de previsão, as quais estão associadas a diferentes algoritmos de diferenças temporais. Estes podem ser determinados pelo valor da ação (Q-learning) ou pelo valor do estado (Actor-Critic). Evidências neurocientíficas têm apoiado ambos os modelos, e por isso não existe ainda um mecanismo globalmente aceite. O objetivo desta tese é investigar e identificar qual dos modelos supracitados melhor descreve as escolhas realizadas por humanos saudáveis enquanto estão a executar uma tarefa probabilística Go/NoGo. Este paradigma é capaz de ortogonalizar ação e valência, e por isso, realça algumas diferenças mecanísticas entre os modelos de Q-learning e Actor-Critic. Para tal, nós utilizámos várias abordagens estatísticas. Em primeiro lugar, recorrendo a uma análise de regressão, tentámos identificar qual dos modelos descrevia melhor os dados do comportamento. Posteriormente, realizámos uma análise de componentes principais a fim de encontrar correlações entre as condições do paradigma, o que poderia fornecer mais uma evidência a favor de um dos modelos. Ambas as abordagens sugeriram que o modelo de Q-learning seria o mais correto. Este resultado está de acordo com estudos electrofisiológicos feitos em animais.
Keywords: Actor-Critic, Q-learning, Erros de previsão, Tarefa Go/NoGo, Dopamina

Discussão: julho 14, 2014, 9:0