Dissertação

Attention Network: steep learning curve in an invariant pattern recognition model EVALUATED

As descobertas dos cientistas Hubel e Wiesel sobre o cortex visual do cérebro levaram à construção de modelos computacionais que efectuam reconhecimento invariante de padrões. Para atingirem taxas de reconhecimento elevadas, estes modelos, necessitam de grandes conjuntos de treino. Esta característica poderá ser causada pelo compromisso entre invariância e poder discriminatório que as células complexas introduzem. Neste trabalho, sugerimos uma visão diferente sobre essa operação. Mais concretamente, propõe-se uma quantização do espaço do círculo polar de raio um. Com esta mudança, o modelo ganha invariância a transformações com uma perda inferior de poder discriminatório. Para além disso, estudos biológicos sugerem que o processo de aprendizagem do cérebro poderá acontecer em duas fases distintas. Apesar de alguns dos modelos mencionados implementarem este princípio, fazem-no utilizando classificadores que necessitam de grandes quantidades de dados. Assim, sugerimos o uso de uma segunda fase baseada noutros estudos de origem biológica acerca do processo de atenção selectiva que parece ocorrer no cérebro. A implementação deste princípio leva ao uso de conjuntos em vez dos tradicionais vectores, o que permite uma aprendizagem biologicamente plausível, visto que tem por base uma quantidade inferior de exemplos. O modelo resultante foi testado na típica tarefa de classificação de dígitos escritos à mão, nos datasets MNIST e ETL-1. Verifica-se que o modelo atinge classificações superiores ao estado-da-arte, recorrendo a menos exemplos de treino. Mais concretamente, no MNIST, uma acurácia de 100% é obtida, após uma fase de treino que usa aproximadamente 10% dos dados usados por outros trabalhos comparáveis.
Hipótese de Hubel e Wiesel, Atenção Selectiva, Reconhecimento Invariante de Padrões, Aprendizagem Profunda, Aprendizagem a partir de poucos exemplos

Março 20, 2018, 15:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Andreas Miroslaus Wichert

Departamento de Engenharia Informática (DEI)

Professor Auxiliar