Agentes de IA que podem pesquisar na web em tempo real parecem, à primeira vista, estar sempre atualizados. Segundo um estudo publicado no arXiv, essa suposição não se confirma na prática. Os autores afirmam que os agentes conseguem encontrar mudanças recentes com facilidade, mas a correção de suas respostas depende de eles decidirem pesquisar e de saberem o que procurar.
O que é a "cegueira à mudança"
Para os pesquisadores, muitos pedidos dos usuários informam apenas a necessidade final, como um roteiro de viagem, e deixam para o agente descobrir os fatos que mudaram. Um exemplo citado no texto é o fechamento temporário de um museu. Se o agente não verifica esse tipo de informação, a recomendação pode ficar errada, mesmo com acesso à internet.
O benchmark BlindToChange
Os autores criaram o BlindToChange, um teste que mede se os agentes descobrem por conta própria eventos recentes que afetam a resposta. Cada pedido de recomendação tem uma opção óbvia que deixou de valer por causa de um acontecimento real. Segundo a fonte, esses eventos são retirados automaticamente do Wikidata, o que permite atualizar o teste periodicamente.
Os principais números
- A diferença de desempenho chega a 27,5 pontos quando o evento não é mencionado no pedido, em comparação com o caso em que o usuário pergunta diretamente sobre ele.
- Essa lacuna aparece mesmo com alto esforço de raciocínio, segundo o artigo.
- Mais da metade das falhas analisadas se deve ao fato de o agente não pesquisar diretamente se um fato relevante mudou.
O que ainda não sabemos
O resumo não informa quais agentes ou sistemas foram testados nem o tamanho do conjunto de pedidos; esses detalhes devem estar no texto completo do artigo. Como se trata de uma versão preliminar (v1), os resultados ainda não foram confirmados por outros estudos.
Na prática, o trabalho sugere que a conexão com a internet não basta: um bom agente também precisa identificar quais informações deve verificar antes de responder.
