Imagine perguntar a um assistente de IA quantos clientes compraram no último mês e receber um número sem qualquer ressalva. Esse número pode estar certo para uma leitura da pergunta e errado para outra. Um artigo publicado no arXiv, intitulado Text-to-SQL Models Make Choices Without Saying So, investiga exatamente esse caso: sistemas que transformam uma pergunta em linguagem natural em consulta a banco de dados, a chamada text-to-SQL, podem fazer uma escolha de cálculo sem informar o usuário.
O que é a escolha escondida
Segundo os autores, uma consulta pode rodar sem erro e devolver um valor plausível, mesmo calculando algo diferente do que o analista queria. Isso acontece quando o pedido deixa aberta uma decisão de cálculo, como contar todas as linhas ou contar entidades distintas. O modelo resolve a dúvida sozinho e não menciona a escolha. Os autores também afirmam que os benchmarks padrão não detectam isso, porque comparam cada pergunta com uma única interpretação de referência.
Como o teste foi feito
Os autores apresentam o SpecBridge, que isola a escolha: são feitos três pedidos idênticos, um deixando a escolha em aberto e um para cada interpretação. Cada resposta é avaliada executando a consulta. De acordo com o artigo, os bancos de dados são reais e as escolhas são as que já fizeram modelos falhar em benchmarks existentes. Foram 204 testes validados à mão, com quatro modelos de linguagem.
- Quando solicitados explicitamente, os modelos costumam calcular cada interpretação.
- No pedido em aberto, eles devolvem as duas interpretações em apenas 15% a 58% dos casos em que seria possível, muitas vezes sem citar a escolha.
- Em perguntas do BIRD em que a escolha muda a resposta, mais de dois em cada cinco respostas marcadas como erradas estavam certas sob a outra interpretação.
O que muda para quem usa
A conclusão central é que a lacuna está no relato, não no cálculo. Por isso, segundo o artigo, um sistema pode reduzi-la sem trocar de modelo: primeiro decide se o pedido deixa alguma escolha em aberto e depois responde cada interpretação em uma chamada separada. Nos testes dos autores e no AMBROSIA, um benchmark de perguntas ambíguas, essa abordagem aumentou em 29 a 63 pontos percentuais a fração de pedidos abertos que recebiam todas as interpretações, em comparação com a resposta única dada por assistentes de produção. Os autores afirmam ainda que ela não reduziu a precisão em pedidos claros e exige menos turnos do usuário do que fazer uma pergunta de esclarecimento.
