Dissertação

{en_GB=Temporal perspectives: Exploring robot's perception of time} {} EVALUATED

{pt=Percepcão temporal é um conceito usado para representar a maneira como um indivíduo experiencia a passagem do tempo, presente nas suas actividades diárias. Está provado que a informação sensorial influencia a maneira como estimamos o tempo. Agentes artificiais, no entanto, agem com base em algoritmos que assumem uma métrica de tempo linear, como um relógio, não tendo uma percepção variável da passagem do tempo tão comum em animais. A primeira parte deste trabalho consiste no estudo da possibilidade de um agente artificial estimar intervalos com base nas estatísticas de segunda ordem do ambiente natural, assumindo que estas têm um comportamento semelhante ao de processos Gaussianos com uma covariância Ornstein-Uhlenbeck. Conclui-se que outros modelos que representem melhor as estatísticas dos processos sensoriais devem ser utilizados. A estimativa temporal obtida pode servir de base temporal para tarefas robóticas. A segunda parte foca-se na implementação de uma tarefa temporal num problema de Reinforcement Learning. O padrão de disparo de neurónios de dopamina apresenta semelhanças com o TD erro de algoritmos chamados Temporal-Difference learning. Este TD erro produzido por modelos com representações temporais precisas, tais como as dos computadores, não representa correctamente os padrões da actividade dopaminérgica. Representações alternativas que refletem incerteza temporal podem fazê-lo mais correctamente, como é o caso do Microstimuli. No problema implementado a performance de algoritmos tradicionais é comparada com a de outros biologicamente inspirados, provando-se que os últimos não só representam correctamente o que se passa no cérebro, sendo também mais eficientes computacionalmente. , en=Time perception is a concept used to represent the phenomenological experience of time by an individual, present in every activity of our daily lives. Sensory information has been proven to have an impact in the way we perceive the passage of time. Artificial agents, however, perform their actions based on functions that assume a linear metric of time given by a clock, and lack a variable sense of time. The first part of the work of this thesis consists on studying whether an artificial agent is able to estimate time through the second-order statistics of the natural environment, assuming these behave like Gaussian processes with an Ornstein-Uhlenbeck covariance function. It was concluded that other models should more correctly represent the statistics of the sensory streams. The resulting estimate could act as a time basis for the robotic tasks. The second part focuses on the implementation of a temporal task in a Reinforcement Learning problem. The firing rate of dopaminergic neurons resembles the Temporal-Difference (TD) error in TD learning algorithms. However, TD errors produced by models possessing precise temporal representations, such as those in computers, fail to capture observed patterns of dopaminergic activity. Alternative temporal representations that reflect increasing uncertainty about elapsed time with duration may more accurately capture observed neural and behavioural data from animals, as is the case of Microstimuli. In the implemented problem traditional algorithms are compared to biologically inspired ones, proving the latter not only to correctly represent the dopamine, but also being the most computationally efficient.}
{pt=Percepção temporal, Reinforcement Learning, Processos Gaussianos, Robótica, Microstimuli, en=Temporal perception, Reinforcement Learning, Gaussian Processes, Robotics, Microstimuli}

Julho 5, 2018, 11:0

Orientação

ORIENTADOR

Joe Paton

Fundação Champalimaud

Investigador Principal

ORIENTADOR

Rodrigo Martins de Matos Ventura

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Auxiliar