Existem quase 200 harnesses, as estruturas que organizam o trabalho de um agente de IA em torno do modelo. Segundo a equipe da IBM Research, que publicou o texto no Hugging Face, trocar apenas essa camada, mantendo o mesmo modelo de pesos abertos, fez a conclusão de tarefas no AppWorld subir de 30% para 81%. A equipe também cita uma análise de terceiros em que o modelo GLM-5.2 foi de 23% para 52% no SWE-bench Pro apenas trocando o harness.
Como foi o teste
Os três harnesses (CUGA, Hermes e Deep Agents) rodaram o modelo GLM-5.3-flash nas mesmas 90 tarefas, distribuídas em 30 cenários, com uma tentativa por tarefa. O AppWorld reúne tarefas de múltiplos passos em 9 aplicativos e 457 APIs, como e-mail, pagamentos e armazenamento de arquivos. Como os apps são de consumo, o próprio texto trata o benchmark como uma aproximação das necessidades de automação empresarial. As configurações também não foram idênticas, e a equipe do CUGA admite ter usado uma configuração do AppWorld que os outros harnesses não tiveram.
Qual métrica importa mais
Segundo o texto, a medida mais útil é o SGC, que só considera aprovado um cenário quando as três variantes passam. Nela, o CUGA chegou a 20 cenários, o Hermes a 8 e o Deep Agents a 2. Os autores lembram que o Hermes e o Deep Agents não foram criados para trabalho com várias APIs, e que a comparação não é um veredito contra eles.
O que o CUGA acrescenta para empresas
Para a IBM, a diferença está em regras que o sistema aplica, e não só escreve no prompt. Um prompt é apenas uma instrução, que o modelo pode interpretar mal, que o usuário pode contornar ou que pode ser alterada por uma mensagem injetada. Segundo o texto, as políticas do CUGA ficam no harness e atuam em quatro pontos: bloqueio de pedidos antes da ação, procedimentos padronizados, parada para aprovação humana e verificação de chamadas de ferramentas antes da execução.
Um exemplo da própria fonte: para o pedido “Pay everything I owe.”, o agente sem políticas pagou 90 dólares, incluindo uma cobrança negada. O agente com políticas segurou o pagamento para aprovação e pagou apenas os 10 dólares devidos. Esse teste não foi feito no benchmark, então ele não mede a aplicação de políticas.
Segundo o texto, o CUGA tem licença Apache 2.0, aceita qualquer endpoint compatível com a API da OpenAI e pode rodar localmente, em Kubernetes privado ou soberano, ou em cluster sem conexão externa. Também informa limites de gasto e recibos com tokens, chamadas de ferramentas e tempo por execução.
Quando o texto indica outra ferramenta
- Agente de programação no terminal: opencode, Codex ou Claude Code.
- Assistente pessoal sempre ativo em apps de conversa: OpenClaw ou Hermes.
- Framework de grafos sem estrutura pronta: LangGraph, sobre o qual o CUGA é construído.
A fonte não informa como as políticas se comportariam em outros benchmarks, e a amostra de 90 tarefas em um único teste limita a generalização dos resultados.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
