Dissertação
Learning Open-Loop Saccadic Control of a Biomimetic Eye using the Soft Actor-Critic Algorithm EVALUATED
A aplicação de algoritmos de aprendizagem por reforço em robótica tem vindo a crescer ao longo das últimas décadas, especialmente na implementação de tarefas não triviais, onde o controlo de robôs com um número elevado de graus de liberdade, é bastante complicado através da utilização de técnicas clássicas de controlo. O corpo humano pode ser visto como um sistema composto de vários subsistemas complexos, e o ORIENT project pretende estudar e aprender o controlo de uma versão robótica de um destes subsistemas – o olho humano. Usando o algoritmo de soft actor-critic, este trabalho tem como objetivo ligar aprendizagem por reforço a este problema de controlo, e criar um \emph{framework} que irá aprender o controlo em malha aberta do movimento do olho para qualquer modelo. A base do controlo implementado é inspirada no sinal de controlo do olho humano, onde um sinal de pulso é gerado, integrado e enviado através do sistema nervoso para os músculos necessários para efetuar os movimentos desejados (sacadas). A métrica para avaliar as sacadas produzidas vai ser também inspirada no sistema humano, e será usada para guiar o algoritmo de aprendizagem a resultados desejados. Esta metodologia foi aplicada a uma versão bastante simplificada do olho humano, devido a limitações de tempo, e conclusivamente o algoritmo conseguiu aprender o controlo ótimo de sacadas, para três funções diferentes de funções de pulso: as trajetórias obtidas, juntamente com as suas propriedades não-lineares assemelham-se àquelas registadas em humanos.
dezembro 17, 2021, 11:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Alexandre José Malheiro Bernardino
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Associado
