FenixEdu™

Dissertação

{pt_PT=Visual Tools for Understanding Regression Black-Box Models} {} EVALUATED

Detalhes: {pt=A falta de transparência é, atualmente, uma das principais barreiras à adoção de técnicas de aprendizagem automática, apesar do excecional desempenho de algoritmos mais recentes. Aquando da tomada de decisões importantes e dispendiosas, os utilizadores apenas conseguem depositar total confiança nas predições de um modelo se entrevirem o seu funcionamento. Por conseguinte, explicar modelos opacos tem-se tornado num dos tópicos em voga na investigação em aprendizagem automática. Existem variados métodos que podem ser implementados para perceber um modelo. Este trabalho enquadra-se na explicação de modelos preditivos de regressão através de ferramentas visuais, visto que estas são mais adequadas para transmitir informação a utilizadores com reduzido conhecimento técnico. Apesar da maior parte dos métodos existentes analisar apenas a saída dos modelos, defendemos que analisar o desempenho de um modelo é também de extrema importância. Por esta razão, as contribuições deste trabalho inserem-se neste último aspeto da explicabilidade. Neste trabalho desenvolvemos uma nova perspetiva, que inspeciona os riscos inerentes a usar um modelo de regressão opaco num certo domínio de preditores. Assim, é proposto e avaliado um conjunto de ferramentas que transmitem visualmente a relação entre o erro esperado e os valores de um preditor. Por fim, é abordado um problema concreto, em que utilizamos ferramentas de explicabilidade para compreender que fatores influenciam o esforço de pesca em áreas marinhas protegidas de grande escala. Nesta análise são também comparados alguns modelos preditivos para selecionar o mais adequado ao problema e posteriormente é feita uma análise geral ao desempenho do modelo escolhido., en=Lack of transparency has become a significant barrier to the widespread adoption of Machine Learning techniques in many areas of human society, despite the outstanding performance of recent algorithms in terms of accuracy. When accounting for important and costly decisions, end users need to understand the model to be able to rely on the predictions. In that regard, explaining black-box models has become a hot topic in Machine Learning. There are plenty of methods one can utilize for better understanding the behaviour of a model. Here we approach the explaination of regression prediction problems through the usage of visual methods, since these are more adequate for conveying information to end users with reduced technical background. While most existing work analyses the output of the model, we claim that assessing the performance of the model is also of high relevance. The contributions of our work are then more focused on this latter aspect. We develop a novel approach to inspect the estimated risks of using a black-box regression model for a concrete test case. We describe, evaluate and propose tools that visually convey the relationship between the expected error and the values of a predictor variable. Moreover, we address a real-world problem, in which we our tools and other state-of-the-art methods to understand factors that drive fishing effort around Large Scale Marine Protected Areas. Additionally, we compare some predictive algorithms to select the most suitable for the problem and then provide an overview analysis of the performance of the chosen one.}
Keywords: {pt=Explicabilidade, Caixa preta, Regressão, Desempenho, Responsabilidade, Áreas marinhas protegidas, en=Explainability, Black box model, Regression, Performance, Accountability, Large Scale Marine Protected Areas}

Discussão: novembro 22, 2019, 14:0