Avisos de segurança falsos podem manipular decisões de agentes de IA

Agentes de IA recorrem cada vez mais a informações encontradas em fontes públicas que consideram confiáveis. Segundo o resumo de um estudo publicado no arXiv, uma recomendação manipulada pode influenciar desde uma transação até uma decisão com consequências físicas. O trabalho descreve uma forma de ataque que não precisa incluir uma ordem explícita no conteúdo consultado.

Manipular pela aversão a riscos

De acordo com os autores, a abordagem mais conhecida para esse tipo de ameaça é a injeção de instruções: um atacante insere um comando no conteúdo recuperado, e as defesas tentam reconhecer esse tipo de texto. O estudo apresenta uma alternativa: publicar um perigo fabricado como se fosse uma avaliação comum. Ao tentar evitar danos, o agente pode descartar opções legítimas e selecionar o alvo do atacante com base no próprio raciocínio. Os autores chamam esse mecanismo de “servidão voluntária”.

Detectores podem não reconhecer o ataque

Nos resultados relatados, esse método levou agentes a agir em 60,4% dos casos, ante 66,0% para a injeção de instruções. O resumo afirma que detectores de injeção implantados classificaram os avisos manipulados como benignos. Atrás de um filtro, os ataques descritos foram de 1,7 a 4,4 vezes mais eficazes, segundo os autores.

Testes e defesa proposta

O estudo mediu o efeito na etapa de geração com seis modelos, dez domínios de serviços de consumo e três famílias de ataque. Os autores também relatam que a técnica foi transferida para agentes de navegador em produção, onde superou a injeção de instruções, e para um pipeline de recuperação. Nesse último caso, o sucesso de ponta a ponta variou de 1,0% a 57,0%, conforme o recuperador.

Como defesa, os pesquisadores acrescentaram às instruções do agente uma exigência de corroboração. Contra um atacante não adaptativo, essa medida removeu cerca de 95% da exposição, sem retreinar o modelo. Segundo o resumo, o agente continuou lendo o aviso plantado, mas deixou de agir com base nele. O resumo não identifica os modelos e domínios específicos avaliados.

Para quem delega ações a agentes, o resultado destaca que filtros voltados apenas a comandos explícitos podem não cobrir manipulações apresentadas como informação comum. A pesquisa aponta a corroboração como uma mitigação testada, mas não afirma que ela elimine todos os tipos de ataque.