FenixEdu™

Dissertação

{en_GB=Interpreting Deep Neural Networks Through Backpropagation} {} EVALUATED

Detalhes: {pt=A Aprendizagem Profunda, uma das tecnologias que apresentou maior crescimento nos últimos anos tem sido introduzida num grande leque de industrias. Desde a tradução ao reconhecimento de imagens, a Aprendizagem Profunda tem sido utilizada como uma solução para todo o tipo de problemas. No entanto, esta tecnologia tem um problema fundamental, apesar do seu desempenho ultrapassar aquele das tecnologias existentes anteriormente, os mecanismos internos das Redes Neuronais são uma caixa negra. Noutras palavras, apesar de conseguirmos treinar estas redes e testar o seu funcionamento, não conseguimos perceber as razões por detrás de cada decisão individual ou controlar como estas se irão comportar quando confrontadas com novos dados. Apesar de não ser um problema urgente num contexto de investigação onde estas redes são aplicadas a problemas de investigação, as consequências podem ser catastroficas quando estão em causa cenários da vida real. Nesta tese exploramos um método generico para criar explicações para as decisões de qualquer rede neuronal. Utilizamos backpropagation, um algoritmo interno utilizado na grande maioria das Redes Neuronais, para perceber a relação de causalidade entre os dados recebidos por uma rede e as suas decisões. Realizámos experiências para testar a nossa metodologia em redes aplicadas tanto num contexto de saúde como de indústria. Utilizando o nosso método, é possível analizar estas redes previamente opacas e verificar as suas representações internas dos dados tendo conhecimento do domínio. Finalmente, publicámos o DeepdIVE (Deriving Importance VEctors) uma ferramenta open-source para gerar explicações de decisões de qualquer Rede Neuronal implementada em Pytorch., en=Deep Learning is one of the fastest growing technologies of the last five years, which has lead to its introduction to a wide array of industries. From translation to image recognition, Deep Learning is being used as a one-size-fits all solution for a broad spectrum of problems. This technology has one crucial issue: although its performance surpasses all previously existing techniques, the internal mechanisms of Neural Networks are a black-box. In other words, despite the fact that we can train the networks and observe their behaviour, we can't understand the reasoning behind their decisions or control how they will behave when faced with new data. While this is not a problem in some fields where these networks are being applied to domains where mistakes can be afforded, the consequences can be catastrophic when applied to high-risk domains such as healthcare, finance or others. In this thesis we explore a generic method for creating explanations for the decisions of any neural network. We utilize backpropagation, an internal algorithm common across all Neural Network architectures, to understand the correlation between the input to a network and the network's output. We experiment with our method in both the healthcare and industrial robotics domains. Using our methodology, allows us to analyse these previously opaque algorithms and compare their interpretations of the data with more interpretable models such as decision trees. Finally, we release DeepdIVE (Deriving Importance VEctors) an open-source framework for generating local explanations of any neural network programmed in Pytorch. }
Keywords: {pt=Interpretabilidade, Aprendizagem de Maquina, Inteligência Artificial, Redes Neuronais, Aprendizagem Profunda, en=Deep Learning, Interpretability, Machine Learning, Artificial Inteligence, Neural Networks}

Discussão: maio 31, 2019, 13:0