Dissertação
{pt_PT=Learning Open-Loop Saccadic Control of a Biomimetic Eye using the Soft Actor-Critic Algorithm} {} EVALUATED
{pt=A aplicação de algoritmos de aprendizagem por reforço em robótica tem vindo a crescer ao longo das últimas décadas, especialmente na implementação de tarefas não triviais, onde o controlo de robôs com um número elevado de graus de liberdade, é bastante complicado através da utilização de técnicas clássicas de controlo. O corpo humano pode ser visto como um sistema composto de vários subsistemas complexos, e o ORIENT project pretende estudar e aprender o controlo de uma versão robótica de um destes subsistemas – o olho humano. Usando o algoritmo de soft actor-critic, este trabalho tem como objetivo ligar aprendizagem por reforço a este problema de controlo, e criar um \emph{framework} que irá aprender o controlo em malha aberta do movimento do olho para qualquer modelo. A base do controlo implementado é inspirada no sinal de controlo do olho humano, onde um sinal de pulso é gerado, integrado e enviado através do sistema nervoso para os músculos necessários para efetuar os movimentos desejados (sacadas). A métrica para avaliar as sacadas produzidas vai ser também inspirada no sistema humano, e será usada para guiar o algoritmo de aprendizagem a resultados desejados. Esta metodologia foi aplicada a uma versão bastante simplificada do olho humano, devido a limitações de tempo, e conclusivamente o algoritmo conseguiu aprender o controlo ótimo de sacadas, para três funções diferentes de funções de pulso: as trajetórias obtidas, juntamente com as suas propriedades não-lineares assemelham-se àquelas registadas em humanos., en=The application of reinforcement learning algorithms to robotics has been increasing over the last decades, specially in the implementation of non-trivial tasks where the control of robots with a high number of degrees of freedom is very difficult using classic control techniques. The human body can be seen a system composed of very complex subsystems, and the ORIENT project aims to study and learn the control of a robotic version of one of these subsystems – the human eye. Using the soft actor-critic algorithm, this work aims to link reinforcement learning to this control problem, and create a framework that will learn the open-loop control of the movement of the eye. The base for the type of control implemented is inspired on the human eye control signal, where a pulse signal is generated, integrated and sent through the nervous system to the muscles required to perform the wanted movements (saccades). The metric that evaluates the saccades produced is also inspired by the human system and is used to lead the learning algorithm to the desired results. This methodology was applied on a very simplified version of the human eye as a proof of concept. The algorithm managed to learn the optimal saccadic control strategy, for three different versions of pulse functions. The trajectories obtained, have non-linear properties similar to the ones registered in humans.}
dezembro 17, 2021, 11:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Alexandre José Malheiro Bernardino
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Associado
