Dissertação

{en_GB=Attention Network: steep learning curve in an invariant pattern recognition model} {} EVALUATED

{pt=As descobertas dos cientistas Hubel e Wiesel sobre o cortex visual do cérebro levaram à construção de modelos computacionais que efectuam reconhecimento invariante de padrões. Para atingirem taxas de reconhecimento elevadas, estes modelos, necessitam de grandes conjuntos de treino. Esta característica poderá ser causada pelo compromisso entre invariância e poder discriminatório que as células complexas introduzem. Neste trabalho, sugerimos uma visão diferente sobre essa operação. Mais concretamente, propõe-se uma quantização do espaço do círculo polar de raio um. Com esta mudança, o modelo ganha invariância a transformações com uma perda inferior de poder discriminatório. Para além disso, estudos biológicos sugerem que o processo de aprendizagem do cérebro poderá acontecer em duas fases distintas. Apesar de alguns dos modelos mencionados implementarem este princípio, fazem-no utilizando classificadores que necessitam de grandes quantidades de dados. Assim, sugerimos o uso de uma segunda fase baseada noutros estudos de origem biológica acerca do processo de atenção selectiva que parece ocorrer no cérebro. A implementação deste princípio leva ao uso de conjuntos em vez dos tradicionais vectores, o que permite uma aprendizagem biologicamente plausível, visto que tem por base uma quantidade inferior de exemplos. O modelo resultante foi testado na típica tarefa de classificação de dígitos escritos à mão, nos datasets MNIST e ETL-1. Verifica-se que o modelo atinge classificações superiores ao estado-da-arte, recorrendo a menos exemplos de treino. Mais concretamente, no MNIST, uma acurácia de 100% é obtida, após uma fase de treino que usa aproximadamente 10% dos dados usados por outros trabalhos comparáveis., en=Hubel and Wiesel's findings about the visual cortex inspired deep models for invariant pattern recognition. However, unlike the brain, to achieve high performance, such models require large training sets of labeled data. Such characteristic may be caused by the trade-off between invariance and discriminatory power that the current implementation of the complex cell introduces. Therefore, we suggest a new view for the operation of complex cells which is based on quantization of a polar coordinates space. By introducing this view, we gain invariance capabilities, while minimizing the loss of discriminatory power. Furthermore, biological work from the same author suggests that the brain may learn in two distinct phases. Some of the aforementioned deep models follow this principle, but employ typical data hungry machine learning classifiers to implement the second phase. For that reason, we suggest the addition of a biologically inspired second-phase which is based on searchlight selective attention that compares sets instead of vectors. The two-phased model is then able to learn from fewer representatives of each category without any optimization. This seems to be in accordance with the way humans learn visual patterns, since we do not need so many examples. The resulting model is tested with an invariant pattern recognition task in the MNIST and ETL-1 datasets. We verify that the model is able to achieve better accuracies with less training examples. More specifically, on the MNIST test set, the model achieves a 100% accuracy when trained with little more than 10% of the training set.}
{pt=Hipótese de Hubel e Wiesel, Atenção Selectiva, Reconhecimento Invariante de Padrões, Aprendizagem Profunda, Aprendizagem a partir de poucos exemplos, en=Hubel Wiesel's Hypothesis, Selective Attention, Invariant Pattern Recognition, Deep Learning, Steep Learning}

Março 20, 2018, 15:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Andreas Miroslaus Wichert

Departamento de Engenharia Informática (DEI)

Professor Auxiliar