Dissertação
Stochastic Models for Sparse Codes EVALUATED
Há um consenso em torno da ideia de que a informação no cérebro pode ser reproduzida através de representações distribuídas e esparsas. No entanto, estas representações constituem vetores de alta dimensionalidade e, consequentemente, afetam o desempenho da classificação. O objetivo da presente investigação é procurar encontrar uma forma de classificar conjuntos de dados esparsos e de alta dimensionalidade, superando as limitações referidas e seguindo uma abordagem biologicamente aceitável. Na verdade, os neurónios ocultos nos modelos estocásticos representam correlações entre dimensões presentes de vetores esparsos. Esses modelos conseguem mapear vetores esparsos e de alta dimensionalidade, numa camada oculta com poucos neurónios. Tendo por base esta motivação, implementamos vários classificadores inspirados nos modelos estocásticos, começando por usar o mecanismo de geração de dados esparsos proposto por Sa-Couto & Witchert. Os modelos estocásticos implementados são testados nestes códigos e seu desempenho é comparado com uma regressão logística. Tanto os modelos estocásticos como a regressão logística apresentam boa performance. No entanto, os bons resultados alcançados pela regressão logística leva-nos a acreditar que a dimensionalidade real dos dados gerados é bastante inferior ao número de características. Em seguida, propomos uma nova abordagem na geração de dados esparsos, em que cada classe segue uma distribuição normal multivariada e a esparsidade é controlada pela exclusão aleatória de valores em cada amostra. As experiências com esses dados confirmam a intuição inicial, na medida em que a Máquina de Boltzmann Restrita demonstra um bom desempenho de generalização, enquanto a regressão logística se adapta demasiado aos dados de treino.
fevereiro 15, 2022, 10:30
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Informática (DEI)
Professor Auxiliar