FenixEdu™

Dissertação

Multi-Objective Bi-Level Optimization for Parameter Adjustment in Machine Learning EVALUATED

Detalhes: Em problemas de Aprendizagem Automática, as abordagens clássicas como a pesquisa com base numa grelha não são métodos viáveis para a computação de hiperparâmetros para problemas de maior dimensão, devido à sua explosão combinatória. O ajuste dos hiperparâmetros pode ser formulado como um problema de otimização de dois níveis. Enquanto o nível inferior otimiza os parâmetros da fase de treino, o nível superior serve como a fase de validação e otimiza os hiperparâmetros. Estes problemas também podem conter múltiplos objetivos para otimizar. Este trabalho testa o conceito de um algoritmo de otimização multiobjetivos binível , em particular com algoritmos evolucionários, para resolver problemas de Máquina de Vetores de Suporte com multiobjetivos e com seleção automática de hiperparâmetros. O algoritmo selecionado é o algoritmo Hybrid Bi-Level Evolutionary Multi-Objective Optimization e, no total, seis formulações baseadas nas formulações soft margin e total margin foram testadas. No geral, os resultados são semelhantes à formulação dupla de Máquina de Vetores de Suporte tradicional. As formulações com objetivo baseado na formulação total margin foram consideradas preferíveis, uma vez que obtiveram um melhor desempenho em todos os conjuntos de dados. No entanto, os problemas de classificação têm um impacto nas observações e conclusões do espaço de objetivos do nível superior do algoritmo. Em conclusão, o conceito pode ser uma alternativa fiável e um bom concorrente aos algoritmos clássicos de Máquina de Vetores de Suporte.
Keywords: Otimização de Hiperparâmetros, Otimização Multiobjetivos Binível, H-BLEMO, Máquina Vetores de Suporte Multiobjetivos

Discussão: julho 6, 2021, 10:0