Dissertação
Incremental Learning of Probabilistic Models in High-Dimensional Space EVALUATED
A capacidade de modelar dados é central em todas as tarefas de aprendizagem automática. Muitas abordagens operam em modo batch, e requerem que os dados estejam disponíveis à priori. Contudo, em alguns domínios, pode haver necessidade de construir e actualizar um modelo conforme os dados chegam. Em domínios de big data os dados podem nem sequer caber em memória, tornando abordagens batch inadequadas. Abordagens online são mais adequadas para estas tarefas devido a não necessitarem que os dados estejam disponíveis à priori. Algumas abordagens vão mais longe e não necessitam de guardar os dados anteriormente observados. Nesta tese descrevemos e implementamos uma abordagem estado da arte baseada em online kernel density estimation, que permite modelar dados continuamente construindo e mantendo um modelo de mistura de Gaussianas. A nossa implementação, que denominamos de xokde++, foi também desenhada para suportar alta dimensionalidade e distribuições de dados arbitrárias, tais como dados degenerados ou enviesados. Além disso, o código é extensível e fácil de integrar em projectos maiores. Comparando com o estado da arte actual, a nossa implementação é até 40 vezes mais rápida, necessita de 90% menos memória, tem maior estabilidade numérica e produz, em média, modelos com melhor qualidade. Para mostrar a sestensibilidade e melhorar a estabilidade numérica implementamos também uma variante do xokde++ que substitui os kernels Gaussianos de matrizes de covariância completa por kernels Gaussianos de matrizes diagonais, obtendo resultados positivos tanto em estabilidade numérica como em performance computacional.
outubro 27, 2015, 9:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Informática (DEI)
Professor Auxiliar
