Dissertação
Leveraging Subsampling Techniques to Optimize Machine Learning Jobs in the Cloud EVALUATED
Esta dissertação aborda o problema da otimização do treino de modelos de Aprendizagem Automática na nuvem. A eficiência desses trabalhos é afetada pelo ajuste dum grande número de parâmetros da configuração, pertencentes a duas classes principais: i) parâmetros do modelo e/ou do algoritmo de treino; ii) recursos da nuvem alocados para executar o trabalho. Técnicas do estado de arte abordam o problema de otimização usando abordagens baseadas em Otimização Bayesiana, onde um modelo de desempenho é utilizado para orientar a seleção da configuração a testar. As configurações selecionadas são testadas e a informação sobre sua qualidade é retroalimentada ao modelo, para melhorar o seu conhecimento e a qualidade das futuras etapas de exploração. Neste contexto, a presente dissertação investiga o uso de técnicas de subamostragem (ou seja, reduzir a quantidade de dados utilizados no treino dos modelos) para aumentar a eficiência de duas formas alternativas: i) reduzindo o custo do treinamento, ajustando a taxa de subamostragem do conjunto de dados utilizados para treino para balancear, de forma controlada, a precisão dos modelos resultantes e o custo computacional do treino; ii) reduzindo o custo das técnicas de Otimização Bayesiana, diminuindo, através de subamostragem, o custo de otimização. Foram propostos dois sistemas, Nephele e Fabulinus, para explorar estas duas alternativas, através do uso de subamostragem. Os resultados mostram que o custo de otimização pode ser largamente reduzido através do uso conjunto de dados subamostragem. O custo de treino duma configuração pode ser reduzido se os requisitos de desempenho o permitirem.
novembro 14, 2019, 10:30
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Auxiliar
