Modelos de linguagem costumam receber instruções do desenvolvedor e, ao mesmo tempo, textos de fontes externas, como páginas web ou documentos. A injeção de prompt acontece quando um texto desses tenta se passar por instrução e o modelo passa a obedecê-lo. Um artigo divulgado no arXiv propõe uma defesa que atua na própria arquitetura do modelo, e não apenas em filtros externos.

Como funciona a proposta

Segundo os autores, o método, chamado Heads of Security (HoS), usa um pequeno conjunto de “portões de atenção” aprendidos, um para cada cabeça de atenção. Eles definem como cada cabeça redistribui sua atenção entre tokens confiáveis e não confiáveis. A ideia é separar instrução e dado: o modelo pode ler e raciocinar sobre o conteúdo externo sem seguir as instruções que ele contém.

Resultados informados

De acordo com o resumo do artigo, os principais números são:

  • Ataque de caixa-preta RL-Hammer: 97% de sucesso contra o GPT-OSS-20B, 85% contra o SecAlign e 10% contra o HoS.
  • Ataque de caixa-branca Claudini: reforçado contra o HoS com ajuda de “autoresearch”, precisou de 3 vezes mais FLOPs para atingir a mesma taxa de sucesso do que contra o GPT-OSS-20B ou o SecAlign.
  • Utilidade: o HoS manteve a utilidade do modelo base em benchmarks de múltipla escolha. Já SecAlign e ASIDE perdem desempenho em cenários com poucos exemplos (few-shot).
  • Uso de ferramentas: em benchmarks agênticos com ataques estáticos, HoS e SecAlign tiveram desempenho semelhante. O ASIDE alcançou apenas 10% de utilidade nessa tarefa.

Os testes foram feitos nos modelos Llama-3.3-70B-Instruct e GPT-OSS-20B, comparados com SecAlign++ e ASIDE.

O que ainda não está claro

O resumo não detalha como os portões são treinados nem traz código ou dados para reprodução. Também não indica se o trabalho já passou por revisão por pares: trata-se de um preprint, e os resultados ainda precisam de confirmação independente.