FenixEdu™

Dissertação

Explainable Face Recognition using Vision Transformers EVALUATED

Detalhes: Esta tese tem como objetivo contribuir para o aumento da transparência de modelos de reconhecimento facial (FR) usados especificamente para tarefas de verificação facial (FV), com ênfase nos Vision Transformers (ViTs). Os ViTs ganharam destaque como uma ferramenta para FR, principalmente devido ao seu mecanismo de self-attention, que pode melhorar a explicabilidade das decisões de FV. Para alcançar este objetivo, a tese introduz uma nova metodologia para gerar mapas de explicação de FV, projetados para explicar tanto decisões positivas quanto negativas. Esta abordagem usa os mapas de atenção gerados pelas ferramentas post-hoc dos ViTs e emprega técnicas de masking para realçar as regiões importantes dentro destes mapas de atenção. A técnica de masking com o maior impacto no processo de FV é utilizada para gerar os heatmaps. Além disso, é apresentado um novo modelo de FV e uma ferramenta de explicação de FR que adota uma abordagem híbrida, integrando métodos tanto ante-hoc quanto post-hoc para explicar decisões de FV. A abordagem ante-hoc desta metodologia envolve o uso de vários ViTs, um dos quais é responsável por aprender uma representação global, enquanto que os outros, denominados landmark ViTs, se especializam em regiões faciais distintas. O uso dos LViTs aumenta a transparência do processo de FV e permite a geração de uma mapa de explicação ante-hoc. Adicionalmente, uma abordagem post-hoc gera mapas de explicação de FV, fazendo uso das ferramentas post-hoc dos ViTs e combinando os mapas de atenção produzidos pelo par de FV.
Keywords: Reconhecimento Facial Explicável, Post-hoc Explainability, Ante-hoc Explainability, Vision Transformer, Mapa de Explicação

Discussão: dezembro 6, 2023, 17:30