A injeção de prompt é uma técnica de ataque que explora vulnerabilidades em sistemas de Inteligência Artificial generativa, especialmente em modelos de linguagem (LLMs). O objetivo é manipular as instruções enviadas à IA para que ela ignore suas regras originais e execute comandos maliciosos como se fossem legítimos.
Este tipo de ataque tem se tornado uma das principais preocupações de segurança no uso de ferramentas de IA, pois não exige conhecimento técnico avançado. Como os modelos respondem à linguagem natural, eles podem ser “hackeados” com frases simples, o que os torna vulneráveis a invasores pouco experientes.
Como funciona a injeção de prompt?
A injeção ocorre porque o modelo não diferencia o que é instrução interna do sistema (o chamado system prompt) e o que é a entrada do usuário. Para a IA, tudo vira texto a ser interpretado dentro do mesmo contexto. Isso permite que um invasor insira comandos maliciosos dentro das entradas fornecidas ao modelo.
O ataque pode ser direto, quando o comando malicioso é digitado explicitamente no chat, ou indireto, quando está escondido em conteúdos que a IA irá processar, como páginas da web, PDFs ou e-mails. Nesse segundo caso, o risco é maior, pois o usuário pode nem perceber que está alimentando o modelo com instruções ocultas.
Por que a injeção de prompt é perigosa?
O perigo cresce ainda mais com agentes de IA, que vão além de responder perguntas e podem executar ações no mundo real, como enviar e-mails, acessar sistemas internos ou realizar transações. Se forem comprometidos, eles podem ser usados para ações ilícitas, como vazamento de dados e movimentações financeiras indevidas.
Assim, o modelo pode ser induzido a revelar informações sensíveis, ignorar restrições de segurança ou executar ações que não estavam previstas no seu funcionamento original. O problema é considerado a principal vulnerabilidade em aplicações com LLM segundo a OWASP, justamente pela facilidade de exploração.
Diferença entre injeção de prompt e jailbreaking
É importante entender que a injeção de prompt busca substituir ou alterar os comandos definidos pelo desenvolvedor, modificando o comportamento esperado do sistema. Já o jailbreaking tem como objetivo contornar filtros e mecanismos de proteção, persuadindo o modelo a gerar conteúdos que normalmente seriam bloqueados, como orientações ilegais ou material proibido.
11 dicas para se proteger de injeções de prompt
Veja 11 dicas para se proteger contra a injeção de prompt:
- Desconfie de respostas fora de contexto ou que incentivem ações incomuns;
- Nunca compartilhe senhas, documentos sigilosos ou dados pessoais sensíveis em chats de IA;
- Valide informações antes de tomar decisões;
- Tenha cautela ao pedir que a IA analise links, PDFs ou conteúdos externos;
- Aplique o princípio do privilégio mínimo em agentes de IA;
- Limite permissões de acesso a bancos de dados e sistemas internos;
- Implemente filtros para detectar padrões suspeitos nas entradas;
- Defina claramente, no system prompt, que tentativas de alterar regras devem ser ignoradas;
- Utilize autenticação de dois fatores (2FA) nas contas conectadas à IA;
- Mantenha supervisão humana em ações automatizadas sensíveis;
- Separe dados externos não confiáveis das instruções internas do sistema.
A injeção de prompt representa um risco real à segurança de sistemas que utilizam IA, mas com as medidas adequadas de proteção, é possível mitigar significativamente essas ameaças e utilizar as ferramentas de forma mais segura.