Dissertação

{en_GB=Explainability in Sequential Decision Making} {} EVALUATED

{pt=Aprendizagem automática (AA) tem vindo a ser amplamente usada como auxiliar de processos de decisão em vários domínios. Compreender os processosde decisão de modelos de AA é crucial em domínios de alto risco onde as decisões têm um impacto direto nas pessoas. Frequentemente, os processos de decisão são de natureza sequencial: prever o risco de fraude numa transação implica considerar o seu histórico. As redes neuronais recorrentes são modelos estado da arte para este tipo de decisões. No entanto, são consideradas “caixas negras”, criando uma tensão entre a sua exactidão e interpretabilidade. Apesar de existir um esforço considerável para desenvolver métodos de explicação de modelos de AA, os modelos recorrentes têm recebido relativamente menos atenção. Recentemente, Lundberg e Lee unificaram vários explicadores numa família só, da qual o KernelSHAP tem tido uma adopão vasta na literatura. No entanto, este método é impróprio para explicar modelos sequenciais, considerando apenas a entrada mais recente, ignorando a restante sequência. Neste trabalho, apresentamos um explicador recorrente, agnóstico ao modelo, baseado no KernelSHAP, estendendo-o para sequências e designado TimeSHAP. Este explica modelos recorrentes através de atribuções ao nível da características, eventos e células, produzindo estas explicações tanto no eixo das características como no do tempo. Dado que as sequências podem ser arbitrariamente longas, propomos também dois métodos de poda que reduzem drasticamente o custo de execução e aumentam a sua fiabilidade. Validamos o TimeSHAP através da sua aplicação a dois modelos recorrentes em cenários reais de detecção de fraude, obtendo observações relevantes sobre estes modelos., en=Machine learning has been used to aid decision-making in several domains. Understanding the decision process of ML models is paramount in high-stakes decisions that impact people's lives, otherwise, loss of control and lack of trust may arise. Often, these decisions have a sequential nature. For instance, the transaction history of a credit card must be considered when predicting the risk of fraud of the most recent transaction. Although RNNs are state-of-the-art models for many sequential decision-making tasks, they are perceived as black-boxes, creating a tension between accuracy and interpretability. While there has been considerable research effort towards developing explanation methods for ML, recurrent models have received relatively much less attention. Recently, Lundberg andLee unified several methods under a single family of additive feature attribution explainers. From this family, KernelSHAP has seen a wide adoption throughout the literature; however, this explainer is unfit to explain models in a sequential setting, as it only accounts for the current input not the whole sequence. In this work, we present TimeSHAP, a model-agnostic recurrent explainer that builds upon KernelSHAPand extends it to sequences. TimeSHAP explains recurrent models by computing feature-, timestep-,and cell-level attributions, producing explanations at both the feature and time axes. As sequences may be arbitrarily long, we further propose two pruning methods that are shown to dramatically decreaseTimeSHAP’s computational cost and increase its reliability. We validate TimeSHAP by using it to explain predictions of two RNN models in two real-world fraud detection tasks, obtaining relevant insights into these models and their predictions.}
{pt=Inteligência Artifical Explicável, TimeSHAP, KernelSHAP, Explicações, Decisões sequenciais, en=Explainable AI, TimeSHAP, KernelSHAP, Explanations, Sequential decision-making}

janeiro 28, 2021, 18:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Pedro dos Santos Saleiro da Cruz

Feedzai

Senior Research Manager

ORIENTADOR

Mário Alexandre Teles de Figueiredo

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático