Quando uma pergunta chega incompleta, um assistente de IA pode responder logo, chutando o que o usuário quis dizer, ou perguntar antes. Segundo um preprint publicado no arXiv (versão v1), na prática a primeira opção costuma prevalecer. Ao avaliar consultas reais de usuários em sete LLMs, de 8B até modelos de fronteira, os autores encontraram que menos de 11% das consultas incompletas dispararam uma pergunta de acompanhamento.

O que os pesquisadores chamam de elicitação proativa

Os autores dão nome à capacidade desejada: a elicitação proativa, isto é, fazer perguntas direcionadas antes de se comprometer com uma resposta. Para estudá-la, criaram o VagueBench. Cada consulta-base recebe anotações de intenção e de unidades de detalhe e, depois, é degradada em duas versões, uma com intenção vaga e outra totalmente vaga, pela remoção controlada de pistas linguísticas. Como a informação escondida é conhecida de antemão, é possível avaliar tanto quando perguntar quanto o que perguntar.

O método DialogGRPO

A proposta de treino se chama DialogGRPO e é descrita como um método de aprendizado por reforço offline. A conversa é organizada como um grafo acíclico dirigido de estados de diálogo. Em cada nó, as perguntas candidatas recebem recompensas densas por turno, que combinam ganho imediato de informação com valor de lookahead, comparadas em grupo. De acordo com o resumo, isso permite atribuir crédito de forma fina sem simulação em tempo de execução.

Resultados informados

  • O método elicitou informação faltante em mais de 88% das consultas vagas.
  • Há ganhos em eficiência de recuperação e em cobertura das respostas.
  • Não há perguntas em excesso nas consultas completas.
  • Supera linhas de base de prompting e de escalonamento em tempo de teste.
  • Generaliza sem treino adicional (zero-shot) para os conjuntos MultiWOZ 2.4 e AmbigQA.

O que ainda não sabemos

O resumo mostra que o comportamento é medido, mas não explica por que os modelos preferem adivinhar. Também não detalha quais modelos foram testados além da faixa de tamanho. Por se tratar de uma versão inicial em preprint, o material disponível não indica revisão por pares.