Dissertação

Equilibrium Propagation for Complete Directed Neural Networks EVALUATED

Uma das ferramentas mais bem sucedidas para fazer aprendizagem supervisionada são as redes neuronais artificias. Apesar destas terem sido originalmente inspiradas pelas suas contrapartes biológicas, o seu mais bem-sucedido algoritmo de treino, retropropagação, é considerado biologicamente implausível. Muitos acreditam que a próxima geração de redes neuronais devia fundamentar-se num melhor entendimento da aprendizagem biológica. Por essa razão, há décadas que as comunidades de neurociência e aprendizagem automática tentam colmatar as lacunas entre aprendizagem artificial e biológica, fazendo uso da sempre crescente quantidade de dados sobre o cérebro e a sua actividade. Este trabalho visa contribuir para o tópico de algoritmos de aprendizagem biologicamente plausíveis para o treino de redes neuronais artificiais. Nós contribuímos para o tópico de modelos baseados em energia e construímos sobre um modelo chamado propagação de equilíbrio, que foi previamente proposto como uma alternativa mais biologicamente plausível à retropropagação. Especificamente, este trabalho contém as seguintes principais contribuições: (a) nós introduzimos uma nova dinâmica neuronal e uma nova regra de aprendizagem para redes com arquitecturas arbitrárias (e.g., incluindo um grafo completo e direccionado); (b) nós desenvolvemos um método que induz esparsidade, capaz de suprimir de suprimir ligações que sejam consideradas irrelevantes; (c) e usando teoria de Lyapunov, nós caracterizamos o algoritmo de propagação de equilíbrio do ponto de vista de sistemas dinâmicos. Por último, nós apresentamos várias simulações numéricas e uma análise de sensibilidade, providenciando mais informação sobre o modelo proposto.
Propagação de Equilíbrio, Redes Neuronais, Modelos baseados em Energia, Aprendizagem Automática, Aprendizagem Biológica, Sistemas Dinâmicos

Novembro 20, 2019, 17:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Pedro Alexandre Simões dos Santos

Departamento de Matemática (DM)

Professor Auxiliar

ORIENTADOR

Mário Alexandre Teles de Figueiredo

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático