Memórias injetadas em agentes de IA também custam: o que o artigo mede sobre o gasto em tokens de entrada

Quando vários agentes de IA trabalham em sequência, cada etapa costuma buscar contexto em uma memória e colocá-lo no próprio prompt. Segundo o artigo Total Cost of Agency, publicado no arXiv, esses tokens injetados são cobrados como tokens de entrada, ao mesmo preço por token do prompt do sistema e da pergunta do usuário. Ou seja, a memória que ajuda o agente também entra na conta, e as ferramentas de observabilidade usadas em produção geralmente mostram só o total. Elas não separam os tokens que um nó gera dos tokens que ele recebe, o que deixa essa parte da fatura invisível para quem paga.

O que os autores propõem

Os autores introduzem o conceito de Total Cost of Agency (TCA), que decompõe o custo do fluxo em cinco componentes: prompt base, inferência, injeção de memória, penalidade por falha de busca (miss penalty) e acúmulo de contexto. O método de atribuição é de duas passagens e conta os tokens injetados diretamente, sem estimá-los por proxies de contagem de palavras.

Os números informados

• No benchmark de 200 tarefas empresariais, executado com APIs reais de modelos, a injeção de memória respondeu por 13,6% do custo variável que um otimizador de tempo de compilação consegue atuar.
• Em relação ao custo total faturado, a fatia ficou em cerca de 12%.
• A participação cresce com a profundidade do fluxo: é zero na profundidade 1 e chega a 27,6% na profundidade 6.
• Os tokens injetados crescem de forma linear entre as profundidades 2 e 6 (R² = 0,9974), segundo os autores.
• Reduzir a janela de recuperação de 32 para 2 entradas diminuiu os tokens injetados em 28,7%, com variação de acurácia dentro da variação entre sementes, de acordo com o texto.

O que muda para quem constrói esses fluxos

Para o leitor, a leitura prática é que o custo da memória cresce com o número de etapas encadeadas. Segundo o artigo, o componente pode ser controlado mantendo o mesmo nível de modelo, e a janela de recuperação aparece como uma das alavancas medidas. Os autores também dizem que a classe de modelo atribuída a cada nó domina o custo total, mas tratam essa escolha como trabalho anterior e a mantêm fixa nos experimentos.

Limitações informadas

Os autores relatam que as transformações de reescrita de grafo são aproximadamente neutras em custo quando isoladas e que dois dos cinco termos são zero por construção nesse ambiente de teste. O resumo também informa que o cache de prompts não foi avaliado, de modo que todos os números valem para o caso sem cache. Os preços por token não aparecem no resumo, então a conversão desses percentuais em valores em dinheiro depende do texto completo.