Agentes de IA que precisam trabalhar por longos períodos dependem de memória, e a pesquisa Harness the Memory, publicada no arXiv, tenta responder a uma pergunta prática: em que meio essa memória deve ser representada e armazenada? Segundo os autores, as avaliações existentes oferecem pouca orientação sobre isso. Eles propõem um conjunto unificado de 26 métricas de desempenho e eficiência e aplicam o mesmo método a 11 abordagens de memória, variando apenas o chamado substrato de memória.
O que foi comparado
De acordo com o resumo, os métodos cobrem índices densos e esparsos, registros de texto, estruturas em grafo, armazenamentos hierárquicos, memórias baseadas em refinamento, atualizações paramétricas e mecanismos de contexto compatíveis com ativação. Os testes usaram três modelos base e quatro conjuntos de benchmark, que avaliam tanto respostas a perguntas centradas no usuário quanto a tomada de decisão do agente. O estudo também contabiliza o custo de modelos auxiliares nas etapas de escrita, leitura e gestão da memória.
O que os resultados mostram
- Nenhum substrato domina de forma consistente.
- Recuperação ampla ajuda em perguntas factuais com contexto longo.
- Recuperação excessiva pode atrapalhar a tomada de decisão sequencial, porque desvia a atenção do contexto essencial para a ação.
- Substratos que vão bem com históricos de tamanho moderado podem ficar caros ou frágeis em horizontes mais longos.
A conclusão central é que a escolha do substrato deve ser feita como uma decisão de projeto. Segundo os autores, escolher um substrato por regime de operação observável supera o melhor substrato fixo nos benchmarks testados, embora a seleção por consulta individual deixe grande parte do potencial ideal sem aproveitar.
