Dissertação
Uncertainty-Aware Systems for Human-AI Collaboration: Generative and Conformal Models in Dynamic, Resource-Constrained Environments EVALUATED
Modelos de aprendizagem automática são amplamente usados em decisões de alto risco, mas têm limitações que impedem uma automação total. O seu desempenho é condicionado pelos dados de treino, tornando-os ineficazes perante alterações de distribuição, e a sue falta de transparência reduz a confiança humana. A colaboração Humano-IA (HAIC) é vista como solução, tirando proveito das forças complementares de especialistas humanos para mitigar as limitações dos modelos. Apesar do seu potencial, a principal abordagem para HAIC, o Learning to Defer (L2D), enfrenta dificuldades em ambientes dinâmicos, onde modelos têm dificuldades em generalizar para dados fora de distribuição, frequentemente com previsões excessivamente confiantes. Nesta tese, propomos duas abordagens para aprimorar os sistemas HAIC em cenários dinâmicos. A primeira refina L2D através de modelos sensíveis à distância, que combinam as previsões do modelo de aprendizagem automática com uma função de densidade, aumentando a robustez e fornecendo estimativas de incerteza mais fiáveis. A segunda abordagem usa conformal prediction com uma função de densidade para avaliar a incerteza epistémica, decidindo entre processar uma instância através de L2D ou delegá-la diretamente a especialistas humanos via rejection learning. Ambos os métodos são estendidos para cenários sensíveis a custos, com previsões humanas limitadas e restrições de capacidade. Utilizando programação por restrições, otimizamos as atribuições para garantir que cada decisor, humano ou máquina, lide com as instâncias que mais provavelmente classificarão corretamente. Os nossos resultados demonstram que ambas as abordagens superam os métodos atuais, especialmente em ambientes dinâmicos, e melhoram a calibração.
novembro 18, 2024, 9:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Mário Alexandre Teles de Figueiredo
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Catedrático
