Pedir a uma IA que confira e reescreva a própria resposta parece uma boa ideia, mas o resumo de um novo estudo publicado no arXiv mostra que isso pode dar errado em perguntas sobre finanças. A pesquisa parte de um problema específico: o modelo pode extrair de um documento um número plausível e, ainda assim, errar. Segundo os autores, a resposta pode associar o valor à entidade, ao período, à unidade ou ao conceito contábil errado.
O problema da revisão aberta
De acordo com o resumo, a revisão aberta, em que o modelo simplesmente reexamina o rascunho, tem dois riscos. Ela pode alterar partes que já estavam corretas. E pode checar a relação errada, reforçando o erro original. Por isso, os autores tratam a correção como uma decisão: é preciso equilibrar o que pode ser recuperado com o que pode ser estragado.
Como funciona a CAR
A proposta, segundo o resumo, segue quatro etapas:
- estimar se o rascunho provavelmente se beneficia de uma correção;
- escolher uma verificação direcionada;
- localizar a evidência relevante ou o trecho do rascunho em questão;
- limitar o tipo de edição permitido.
A ideia, em outras palavras, é evitar que o modelo reescreva tudo quando o problema está em um ponto específico.
Resultados informados
Os autores testaram a abordagem com três conjuntos de dados (FinRank, Fin-RATE e FinQA) e três modelos de pesos abertos. Segundo o resumo, a CAR superou a verificação genérica em todas as combinações de conjunto de dados e modelo. No conjunto geral, recuperou 14,6% das exigências de resposta inicialmente perdidas e prejudicou 2,1% das inicialmente corretas. O custo de tokens após o rascunho ficou mais de 30% abaixo das alternativas de revisão iterativa.
