Modelos de linguagem resolvem problemas difíceis melhor quando raciocinam antes de responder, mas esse raciocínio longo tem um custo, porque gera muitos tokens. Segundo o resumo de um estudo publicado no arXiv, os pesquisadores verificaram se modelos de pesos abertos (open-weight) conseguem gerar um raciocínio menos verboso ao mudar a forma de seus próprios pensamentos anteriores, sem precisar de novo treinamento.
Como funciona a intervenção
A proposta reescreve o raciocínio já feito em registros de estado compactos, antes que os resultados de ferramentas pendentes sejam revelados. Em seguida, compara-se a continuação gerada a partir do histórico original com a gerada a partir do histórico compactado. A meta, de acordo com o texto, é expressar a mesma análise útil em menos tokens, eliminando repetições e trechos que pouco ajudam a resolver o problema.
O que os autores observaram
- Nos modelos testados, históricos compactos aceitos costumam encurtar o raciocínio seguinte.
- Em um estudo de caso de programação, houve menos verificação repetida após uma solução candidata compartilhada.
- Em implantações de agentes de software, a compactação pode reduzir o gasto total.
Por que isso importa
Em agentes que executam várias etapas, o custo se acumula ao longo da tarefa. Como o histórico compactado tende a reduzir o raciocínio futuro, menos tokens são gerados a cada passo. O próprio resumo, porém, faz ressalvas: a qualidade da tarefa e o tempo total, incluindo o tempo da reescrita, dependem do modelo-alvo e do compressor. Por isso, os autores defendem políticas de compactação específicas para cada modelo, avaliadas tanto pela eficiência quanto pela capacidade preservada.
