FenixEdu™

Dissertação

Root Cause Analysis of Bias Detection and Classification in Natural Language Processing EVALUATED

Detalhes: É cada vez mais aparente que preconceitos humanos, ou ``Bias", têm a tendência para influenciar o desempenho dos modelos e algoritmos que desenvolvemos em várias áreas, inclusive em Língua Natural. O estudo deste fenómeno é recente e os recursos disponíveis para o estudar são ainda limitados. Frequentemente encontramos recursos que se focam em manifestações ou tipos diferentes de ``Bias". O objectivo do nosso trabalho é determinar se, ou como, podemos utilizar estes recursos existentes, nomeadamente datasets publicamente acessíveis, para ensinar modelos a detetar ``Bias" em texto. Após treinar os modelos, vamos analisar o seu desempenho nesta tarefa, utilizando o conjunto de teste dos dados original assim como o corpus OpenSubtitles. Os resultados obtidos indicam não só que a combinação de datasets utilizada para treinar os modelos influencia o seu desempenho, mas também que existe uma discrepância entre os resultados das duas fases de teste. Adicionalmente, ao longo deste trabalho, focamo-nos em algumas falhas desta área de estudo, nomeadamente a escassez de recursos existentes, a dependência em dados não persistentes e a a falta de atenção relativamente à aplicação dos recursos desenvolvidos.
Keywords: Deteção de Bias, Classificação de Bias, Hate Speech, Língua Natural

Discussão: junho 14, 2022, 10:30