FenixEdu™

Dissertação

Model-Based Lookahead Reinforcement Learning for in-hand manipulation EVALUATED

Detalhes: In-Hand Manipulation, tal como muitas outras tarefas de destreza, continua a ser um desafio na robótica ao combinar sistemas dinâmicos complexos com a capacidade de controlar e manobrar vários objetos utilizando os seus atuadores. O objetivo desta dissertação foi aplicar um método híbrido de Reinforcement Learning a In-Hand Manipulation e verificar se este é capaz de melhorar o desempenho da tarefa. O modelo combina conceitos de RL Model-Based e Model-Free, guiando uma policy treinada com a ajuda de um modelo dinâmico e de uma função de valor através da avaliação de trajetórias, como é feito em controlo preditivo. Este trabalho avalia o desempenho do modelo comparando-o com a policy que será guiada. Para explorar esta abordagem, foram realizados testes utilizando mãos robóticas simuladas totalmente atuadas e sub-atuadas de forma a manipular diferentes objetos numa tarefa específica. O desempenho do modelo foi também avaliado em testes de generalização, através da alteração das propriedades dos objetos nos quais tanto a policy como o modelo dinâmico foram treinados, como densidade e tamanho, e adicionalmente através da orientação de uma policy treinada num certo objeto para realizar a mesma tarefa num objeto diferente. Os resultados deste trabalho mostram que, dada uma policy com uma recompensa média elevada e um modelo dinâmico preciso, o método híbrido melhora o desempenho das tarefas de In-Hand Manipulation na maioria dos casos testados, mesmo quando as propriedades dos objetos são alteradas. No entanto, esta melhoria vem com um aumento do custo computacional, devido à complexidade da avaliação das trajetórias.
Keywords: Reinforcement Learning, Machine Learning, Robotics, In-Hand Manipulation

Discussão: novembro 26, 2024, 10:0

Documentos da dissertação ainda não disponíveis publicamente