Dissertação
Security Risks and Protection of AI Models in Smart Retail EVALUATED
Nos últimos anos, a indústria de retalho tem adotado tecnologias avançadas para melhorar a experiência de compra, como large language models (LLMs) e computer vision models (CV). LLMs, que conseguem compreender e gerar texto em linguagem natural, estão a ser integrados em aplicações na forma de chatbots. Para garantir que LLMs respondam com informações relevantes, esta integração depende de middleware como Langchain. O Langchain permite o LLM converter questões dos utilizadores em queries SQL, permitindo-lhe aceder a informações da aplicação armazenadas em bases de dados para fornecer respostas relevantes. No entanto, prompts de utilizadores não-sanitizados podem levar a ataques de injeção prompt-to-SQL, comprometendo a segurança da base de dados. Em simultâneo com o rápido desenvolvimento de LLMs, verifica-se uma tendência para lojas autónomas que utilizam sensores e modelos de CV para proporcionar uma experiência sem-checkout. Um desafio fundamental consiste em garantir a segurança dos modelos CV proprietários usados para stream processing quando implementados em infra-estruturas não confiáveis. Esta tese apresenta uma análise das injeções P2SQL dirigidas a aplicações web baseadas no Langchain. Exploramos ataques de injeção P2SQL e suas variantes em vários LLMs, e propomos quatro técnicas de defesa. Propomos também TrustedVision, uma nova arquitetura concebida para implementar de forma segura aplicações proprietárias em plataformas não-confiáveis. O sistema protege a integridade e a confidencialidade de propriedade intelectual e dados sensíveis usando de Trusted Execution Environments (TEE). O proof of concept desenvolvido mostra um aumento na latência de 13,71% em aplicações LLM. Adicionalmente, propomos soluções futuras para desafios adicionais de design.
novembro 15, 2023, 9:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Nuno Miguel Carvalho dos Santos
Departamento de Engenharia Informática (DEI)
Professor Associado
ORIENTADOR
Paulo Jorge Fernandes Carreira
Departamento de Engenharia Informática (DEI)
Professor Associado