Dissertação
Telemetry Encoder with Language Models. Navigating through a Maze of Events: EVALUATED
Todos os dias são gerados uma grande quantidade de logs de sistema oriundos de aplicações software, que contêm informação detalhada sobre eventos computacionais, que são normalmente usados para monitorizar, administrar, corrigir ou registar o estado do sistema. O software da Outsystems, chamado Service Studio, não é exceção. No entanto, os logs do Service Studio são dificeis de se processar e de extrair informações relevantes. Os dados são estruturados, contêm muito ruido e representam o software num nível demasiado baixo para se poder extrair facilmente informação ao nível do utilizador. Neste trabalho, propomos um modelo semelhante ao BERT \cite{devlin2018bert} para aprender a representar este tipo de dados como embeddings, numa forma auto-supervisionada, de forma a poder servir outros futuros modelos de inteligência artificial. Primeiro, pre-treinamos o nosso modelo usando um objectivo personalizado para este trabalho, e interpretamos as suas previsões usando um método chamado "gradient saliency". Tambem fazemos "fine tuning" ao modelo num dataset supervisionado chamado Atomic Tasks, onde também mostramos os benefícios da nossa abordagem ao pretreino. Por último, comparamos as representações aprendidas com as diferentes áreas de UI do Service Studio e vemos que as representações contêm informação sobre estas mesmas áreas. Assim, concluímos que arquitectura do BERT é adequada para aprender representações úteis deste tipo de dados, que poderão depois ser usadas para diferentes objetivos de inteligência artificial.
julho 8, 2022, 14:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Mário Alexandre Teles de Figueiredo
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Catedrático
