Por trás de cada conversa com um chatbot, há instruções que o usuário não vê. Foto: tondone/Getty Images
O que é prompt leaking?
O que pode ser vazado por uma IA?
- regras de segurança e filtros de conteúdo;
- descrições de ferramentas que a IA pode acionar;
- documentos e dados internos consultados pelo sistema;
- senhas e chaves de API (códigos de acesso a outros serviços), quando incluídas no prompt.
Diferentemente de um ataque hacker clássico, o prompt leaking dispensa invadir sistemas: muitas vezes, basta conversar com o chatbot. Foto: Drazen Zigic/Magnific
Como acontece um prompt leaking?
Qual a diferença entre prompt leaking, prompt injection e jailbreak?
- Prompt leaking: fazer o chatbot revelar instruções internas ou outros dados que deveriam permanecer ocultos;
- Prompt injection: mudar o comportamento da IA com instruções maliciosas escondidas em mensagens, documentos ou páginas da web;
- Jailbreak: contornar as restrições de segurança do modelo para obter respostas que ele deveria bloquear.
Quais são os casos de prompt leaking mais conhecidos?
Prompt leaking é uma falha de segurança?
Instruções no prompt não funcionam como cadeado: a proteção real precisa estar no código do sistema. Foto: Magnific/Divulgação
Quais são os riscos do prompt leaking?
- Perda de propriedade intelectual: concorrentes podem copiar instruções que fazem parte do diferencial de um produto ou serviço;
- Exposição de informações confidenciais: o vazamento pode revelar credenciais, dados de clientes e outros conteúdos aos quais o modelo tenha acesso;
- Problemas legais: se dados pessoais forem expostos indevidamente, a empresa poderá enfrentar questionamentos e sanções previstas na LGPD (Lei Geral de Proteção de Dados).
Como se proteger do prompt leaking em sistemas de IA?
- Não incluir senhas ou chaves de API no prompt: credenciais devem ser armazenadas e protegidas fora do modelo;
- Controlar permissões no código: o acesso a arquivos, sistemas e ferramentas deve depender de controles externos, não apenas das instruções dadas à IA;
- Limitar as informações disponíveis: fornecer ao modelo somente os dados necessários para executar cada tarefa;
- Testar antes do lançamento: simular tentativas de vazamento e manipulação para identificar vulnerabilidades e corrigir falhas.
Fonte ==> TecMundo
