FenixEdu™

Dissertação

COCO Denoiser – Using Co-coercivity for Variance Reduction in Stochastic Convex Optimization EVALUATED

Detalhes: Os algoritmos de primeira-ordem para optimização estocástica têm ganho inegável relevância, em particular pelo papel preponderante que desempenham em Aprendizagem Automática. Estes algoritmos aceitam cegamente gradientes ruidosos facultados por um oráculo, que podem ser inconsistentes com propriedades estruturais da função de custo em questão. Nós exploramos a co-coercividade do gradiente de funções convexas L-suaves para obter estimativas mais precisas desses gradientes. O método apresentado nesta tese é então designado por filtro de Co-coercividade (COCO). O nosso filtro é um estimador conjunto de máxima verosimilhança (MV) para os gradientes, restringidos dois a dois por condições de co-coercividade. Embora a MV nos leve a um Problema Quadrático Quadraticamente Restringido, propomos um algoritmo de primeira-ordem eficiente para o COCO, baseado no método Fast Dual Proximal Gradient. Para o Filtro que considera um único par de gradientes, derivamos a sua solução em forma fechada, resultado que demonstramos ser relevante na prática. Realizamos uma análise teórica que fornece intuição acerca do ajuste de parâmetros e dos resultados dados pelo estimador, demonstrando, em particular, como o COCO necessariamente leva a melhorias em relação ao oráculo com ruído. A nossa análise experimental corrobora estes resultados e mostra que o COCO, apesar de ser um estimador enviesado, leva à diminuição do erro quadrático médio dos gradientes da função de custo. Para ilustrar o seu impacto em optimização estocástica, testamo-lo usando quer dados sintéticos, quer uma tarefa real de aprendizagem online. Estes testes demonstram que o COCO leva a melhorias na redução de variância em relação a algoritmos correntes.
Keywords: Optimização Estocástica, Algoritmos de Primeira Ordem, Optimização Convexa, Co-coercividade, Filtro COCO, Redução de Variância

Discussão: janeiro 25, 2021, 10:0