Agentes de IA que escrevem, executam e corrigem código dependem de modelos de linguagem caros de rodar. A quantização reduz o tamanho desses modelos, e a pergunta que o estudo Beyond Accuracy: How Quantization Affects Coding Agents tenta responder é o que acontece com a capacidade desses agentes de executar e revisar programas quando isso é feito. Segundo os autores, esse efeito ainda era pouco explorado.
A comparação colocou a versão BF16 contra duas versões de 4 bits, uma com AWQ e outra com GPTQ. Os modelos testados foram Qwen2.5-Coder-Instruct, nos tamanhos 7B, 14B e 32B, e Devstral-Small-2507, de 24B. Os problemas vieram do OJBench e os testes foram repetidos com três sementes.
Acurácia não caiu de forma significativa
A primeira conclusão é a que mais chama atenção: o estudo não detectou perda de acurácia estatisticamente significativa para nenhum dos agentes. Quem olhasse só o placar final concluiria que a quantização é segura.
Os autores, porém, alertam que o número final pode esconder mudanças grandes de comportamento. Um exemplo citado na fonte mostra o que isso significa na prática:
| Qwen-7B | BF16 | AWQ |
|---|
| Soluções em uma tentativa (one-shot) | 17 | 0 |
| Soluções com laço de correção | 10 | 25 |
Ou seja, a versão quantizada deixou de resolver problemas de primeira e passou a depender de ciclos de revisão. O resultado final é parecido, mas o caminho é outro.
Uso de ferramentas separa os casos
De acordo com o resumo, todos os acertos do Qwen-32B envolveram uso de ferramentas, ou seja, chamadas ao executor de código. Já o Devstral raramente fez uma chamada válida ao executor. Dois agentes com acurácia parecida podem, portanto, trabalhar de formas muito diferentes.
Os tipos de erro também mudam
- Qwen-32B produz muito mais erros de compilação que os Qwen menores, e esse número sobe um pouco com a quantização.
- Devstral passa de erros de execução (runtime) para respostas erradas e tempos esgotados, uma mudança que a fonte classifica como significativa.
O que o estudo sugere
Para os autores, a robustez de agentes de programação à quantização não deve ser avaliada apenas pela acurácia final. É preciso observar as trajetórias das soluções, o uso de ferramentas e os modos de falha. Como o trabalho é uma versão inicial (v1) publicada no arXiv, esses achados ainda precisam ser confirmados por outros grupos.
A fonte não informa, no resumo, como esses comportamentos se repetem em outros conjuntos de problemas ou linguagens além do OJBench.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
