Dissertação

End-to-End Robot Task Planning from Transcriptions of Voice Commands EVALUATED

Um dos principais desafios na construção de um Robô de Serviço de Propósito Geral, capaz de executar comandos genéricos dados por humanos, reside na compreensão de instruções em linguagem natural. Estas instruções frequentemente contêm erros de reconhecimento de fala e informações incompletas, dificultando a extração de objetivos claros e a formulação de um plano de ação eficiente. Este trabalho apresenta uma solução completa que utiliza um Modelo de Linguagem de Grande Escala para traduzir diretamente transcrições de instruções em planos de ação coerentes. Além disso, a solução integra contexto adicional, como por exemplo a localização de objetos no ambiente, permitindo a geração de planos mais eficientes e contextualizados. O desempenho do sistema foi avaliado com recurso a um simulador baseado em Redes de Petri Estocásticas Generalizadas, e toda a solução foi implementada com sucesso na RoboCup 2024, em Eindhoven, onde garantiu o segundo lugar na tarefa respetiva.
Robô de Serviço de Propósito Geral, Compreensão de Linguagem Natural, Planeamento de Tarefas, Modelos de Linguagem de Grande Escala

dezembro 2, 2024, 13:0

Documentos da dissertação ainda não disponíveis publicamente

Orientação

ORIENTADOR

Carlos Miguel Mendes Guerra de Azevedo

Técnico de Lisboa

Investigador

ORIENTADOR

Bruno Emanuel Da Graça Martins

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado