FenixEdu™

Dissertação

Visual Attention with Sparse and Continuous Transformations EVALUATED

Detalhes: Os mecanismos de atenção visual são um componente importante das redes neuronais profundas com aplicação em visão computacional, permitindo-lhes identificar elementos relevantes em conjuntos finitos de objetos ou regiões. Para representar a pontuação indicativa da importância de cada feature no domínio probabilístico, estes mecanismos empregam uma função diferenciável -- usualmente a função softmax, cujo resultado é estritamente denso, atribuindo probabilidade de massa a todos os elementos do conjunto. Esta densidade é, muitas vezes, um desperdício, porque não evita que features irrelevantes sejam consideradas, afetando negativamente a interpretabilidade dos modelos. Até agora, a atenção visual foi apenas aplicada a domínios discretos, o que pode levar a uma perda de foco, devido a uma dispersão excessiva da atenção sobre a imagem. Nesta tese, exploramos alternativas de domínio contínuo aos modelos discretos, propondo soluções que se focam tanto na continuidade como na esparsidade das distribuições de atenção, sendo adequadas para selecionar regiões simultaneamente compactas e esparsas (e.g., elipses). A primeira caraterística encoraja a seleção de regiões contínuas, enquanto a segunda permite destacar as features mais importantes, atribuindo uma probabilidade nula às partes irrelevantes. Utilizamos o facto de os Jacobianos destas transformações serem covariâncias generalizadas para derivar algoritmos de retropropagação eficientes, tanto para distribuições unimodais como multimodais. Experiências em visual question answering mostram que os nossos modelos contínuos permitem gerar mapas de atenção mais suaves (aparentemente mais próximos da perceção humana), conduzindo também a melhorias de precisão em relação a um modelo de base treinado com os mesmos dados.
Keywords: aprendizagem profunda, mecanismos de atenção visual, transformações contínuas, esparsidade

Discussão: janeiro 5, 2021, 11:0