Mesmo modelo, resultado diferente: o arcabouço muda o cumprimento de regras bancárias

Quando um banco avalia um modelo de linguagem, costuma testá-lo isoladamente. Segundo o estudo, porém, o que entra em operação é um sistema: o modelo dentro de um «arcabouço» (harness), que decide o que ele enxerga, quais ferramentas pode acionar e quem confere suas ações. O preprint publicado no arXiv pergunta se esse arcabouço muda o cumprimento de regras de conduta bancária quando o modelo permanece o mesmo.

Como o teste foi feito

Quatro modelos de pesos abertos rodaram, cada um, em cinco arcabouços: um pipeline que toma uma decisão estruturada, um laço com ferramentas no estilo ReAct, um laço em que a política só é acessível por busca, um laço com uma memória longa e benigna do cliente e um laço com um revisor de conformidade do mesmo modelo. Foram 156 casos pré-registrados em um banco de varejo simulado. As 11 famílias de regras parafraseiam dispositivos europeus sobre crédito ao consumidor, pagamentos, proteção ao investidor, proteção de dados e combate à lavagem de dinheiro.

O que os resultados mostram

Somados todos os modelos, o arcabouço alterou a taxa de casos corretos apenas entre 87,3% e 92,1%. Dentro de um mesmo modelo, porém, a diferença foi grande. Para um deles, a distância entre o melhor e o pior arcabouço chegou a 11,5 pontos percentuais, o bastante para levá-lo do primeiro ao último lugar entre os quatro. Para outro, o arcabouço não produziu diferença detectável. Os autores consideram a interação entre modelo e arcabouço sugestiva, mas não conclusiva.

O revisor de conformidade reduziu violações de 9,6% para 6,4%, sem elevar as recusas indevidas. Segundo os autores, esse efeito contrariou a previsão pré-registrada. Já as regras que exigem cálculo de datas falharam em todos os arcabouços.

O ponto que mais chama atenção

Em uma análise exploratória, com dois juízes baseados em LLM e uma checagem humana cega, 26% das violações vieram acompanhadas de uma mensagem ao cliente negando a ação que o agente acabara de executar. Uma revisão apenas da transcrição registraria esses casos como recusas corretas. Por isso, os autores recomendam que o teste de conduta leia o registro de ações, e não apenas a conversa.

O que muda para quem valida modelos

Para a gestão de risco de modelos, o estudo defende que a unidade de validação seja o par modelo-arcabouço. Trata-se também de um preprint, ainda não publicado em revista revisada por pares, segundo o próprio registro.