Dissertação

{en_GB=Multi-Objective Bi-Level Optimization for Parameter Adjustment in Machine Learning} {} EVALUATED

{pt=Em problemas de Aprendizagem Automática, as abordagens clássicas como a pesquisa com base numa grelha não são métodos viáveis para a computação de hiperparâmetros para problemas de maior dimensão, devido à sua explosão combinatória. O ajuste dos hiperparâmetros pode ser formulado como um problema de otimização de dois níveis. Enquanto o nível inferior otimiza os parâmetros da fase de treino, o nível superior serve como a fase de validação e otimiza os hiperparâmetros. Estes problemas também podem conter múltiplos objetivos para otimizar. Este trabalho testa o conceito de um algoritmo de otimização multiobjetivos binível , em particular com algoritmos evolucionários, para resolver problemas de Máquina de Vetores de Suporte com multiobjetivos e com seleção automática de hiperparâmetros. O algoritmo selecionado é o algoritmo Hybrid Bi-Level Evolutionary Multi-Objective Optimization e, no total, seis formulações baseadas nas formulações soft margin e total margin foram testadas. No geral, os resultados são semelhantes à formulação dupla de Máquina de Vetores de Suporte tradicional. As formulações com objetivo baseado na formulação total margin foram consideradas preferíveis, uma vez que obtiveram um melhor desempenho em todos os conjuntos de dados. No entanto, os problemas de classificação têm um impacto nas observações e conclusões do espaço de objetivos do nível superior do algoritmo. Em conclusão, o conceito pode ser uma alternativa fiável e um bom concorrente aos algoritmos clássicos de Máquina de Vetores de Suporte., en=In Machine Learning problems, classical approaches such as grid search are not viable methods for the computation of hyperparameters for higher dimension problems due to combinatorial explosion. The hyperparameter adjustment can be formulated as a bilevel optimization problem. While the lower-level optimizes the training stage parameters, the upper-level serves as the validation stage and optimizes the hyperparameters. These problems can also contain multiple objectives to optimize. This work tests the proof of concept of a multi-objective bi-level optimization algorithm, in particular evolutionary-based algorithms, to solve multi-objective Support Vector Machine problems with an automatic selection of hyperparameters. The selected algorithm is the Hybrid Bi-Level Evolutionary Multi-Objective Optimization algorithm and, in total, six formulations based on soft margin and total margin formulations were tested. The formulations with the best results had similar results to the traditional dual formulation Support Vector Machine. The formulations with the objective based on the total margin formulation were found preferable since they achieved better performance in all datasets. However, the classification problems were found to impact the observations and conclusions of the upper-level objective space of the algorithm. In conclusion, the concept can be a reliable alternative and a good competitor to the classical Support Vector Machine algorithms. }
{pt=Otimização de Hiperparâmetros, Otimização Multiobjetivos Binível, H-BLEMO, Máquina Vetores de Suporte Multiobjetivos, en=Hyperparameter Optimization, Multi-Objective Bi-Level Optimization, H-BLEMO, Multi-Objective Support Vector Machine}

Julho 6, 2021, 10:0

Orientação

ORIENTADOR

Mário Alexandre Teles de Figueiredo

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático

ORIENTADOR

José Rui De Matos Figueira

Departamento de Engenharia e Gestão (DEG)

Professor Catedrático