{en_GB=Multi-level Data Representation For Training Deep Helmholtz Machines} {} EVALUATED

Detalhes: {pt=A grande maioria dos estudos no âmbito de Machine Learning são feitos usando algoritmos com fortes argumentos que apontam para a sua implausibilidade biológica tais como Backpropagation, desviando assim o foco desta área de entender a sua original inspiração orgânica para uma procura compulsiva por melhor performance. No entanto, existem alguns modelos propostos que respeitam a maioria das restrições existentes no cérebro humano, e são validos candidatos para simulações de algumas das suas propriedades e mecanismos. Nesta tese, iremo-nos focar em guiar a aprendizagem de um modelo generativo biologicamente plausível chamado Helmholtz Machine em espaços de procura complexos, usando uma heurística baseada no mecanismo de percepção de imagens humano. A nossa hipótese é que o algoritmo de aprendizagem deste modelo não é adequado para redes profundas devido à sua regra de aprendizagem local semelhante à regra de Hebb, tornando-o incapaz de tirar partido das propriedades composicionais que redes com várias camadas oferecem. Propomos uma solução para resolver este problema, oferecendo informações visuais a diferentes resoluções às camadas internas da rede do modelo, usando representações dos dados a vários níveis de resolução. Os resultados em diferentes datasets de imagens mostram que o modelo foi capaz de não só obter melhor qualidade, mas também uma maior diversidade nas imagens geradas, o que corrobora a nossa intuição de que ao usar a heurística proposta, o modelo é capaz de tirar maior partido da profundidade da rede. Mais importante, mostram as possibilidades inexploradas por detrás de modelos e técnicas inspiradas no cérebro humano., en=A vast majority of the current research in the field of Machine Learning is done using algorithms with strong arguments pointing to their biological implausibility such as Backpropagation, deviating the field's focus from understanding its original organic inspiration to a compulsive search for optimal performance. Yet, there have been a few proposed models that respect most of the biological constraints present in the human brain and are valid candidates for mimicking some of its properties and mechanisms. In this thesis, we will focus on guiding the learning of a biologically plausible generative model called the Helmholtz Machine in complex search spaces using a heuristic based on the Human Image Perception mechanism. We hypothesize that this model's learning algorithm is not fit for Deep Networks due to its Hebbian-like local update rule, rendering it incapable of taking full advantage of the compositional properties that multi-layer networks provide. We propose to overcome this problem, by providing the network's hidden layers with visual queues at different resolutions using a Multi-level Data representation. The results on several image datasets showed the model was able to not only obtain better overall quality but also a wider diversity in the generated images, corroborating our intuition that using our proposed heuristic allows the model to take more advantage of the network's depth growth. More importantly, they show the unexplored possibilities underlying brain-inspired models and techniques.}

Discussão: novembro 21, 2022, 13:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

AUTOR

José Miguel Penedo Ramos (ist187679)

ORIENTADOR

Andreas Miroslaus Wichert

Departamento de Engenharia Informática (DEI)

Professor Auxiliar