Um resumo de pesquisa publicado no arXiv compara duas arquiteturas para um agente de viagens que trabalha com registros estruturados. Segundo os autores, quando esses dados são inseridos no contexto do modelo e reapresentados a cada interação, podem ocorrer erros em informações que a ferramenta havia calculado corretamente. O estudo destaca o tamanho da tabela como fator associado à queda de fidelidade.
As arquiteturas comparadas
De acordo com o resumo, as duas abordagens foram avaliadas com os mesmos conjuntos de dados congelados, prompts correspondentes e condições de amostragem. A diferença entre elas estava na forma de entregar os registros ao agente.
Na arquitetura SYNTHESIS, o conjunto completo de registros é enviado ao contexto do planejador, que responde às perguntas seguintes usando essas informações. Na BYPASS, descrita como a arquitetura do sistema implantado, os registros permanecem no estado da sessão. As perguntas subsequentes são convertidas em argumentos para um filtro determinístico, e as linhas são entregues por um canal lateral tipado, segundo os autores.
Resultados nos diálogos avaliados
O estudo avaliou 24 diálogos, com 339 turnos pontuados em cada condição. Segundo os resultados apresentados no arXiv, 92,3% dos turnos da BYPASS estavam totalmente corretos, ante 45,7% na SYNTHESIS. A diferença pareada informada foi de 46,6 pontos percentuais, com intervalo de 35,7 a 57,1 pontos.
O efeito do tamanho das tabelas
Ao variar o tamanho das tabelas entregues, os autores observaram que a SYNTHESIS tinha desempenho quase perfeito com 10 linhas ou menos. Acima de cerca de 74 linhas, a proporção de respostas corretas caiu para 8% ou menos, segundo o resumo.
Em um teste controlado com prefixos de conteúdo, o limiar de queda também variou entre modelos. O resumo informa que ficou abaixo de 10 linhas para o GPT-4o-mini e em cerca de 198 linhas ou mais para o Gemini 2.5 Pro. A BYPASS, por sua vez, manteve desempenho estável conforme o tamanho para os quatro modelos avaliados.
Custo e implicações
Segundo os autores, acima de 100 linhas quase nenhuma resposta da SYNTHESIS estava correta. Nessa faixa, cada resposta correta custava aproximadamente 200 vezes o valor estável de US$ 0,012 informado para a BYPASS.
O estudo também observa que profissionais adotavam a entrega por canal lateral tipado principalmente para facilitar a apresentação dos dados, não como uma medida de correção. Os resultados sugerem que essa escolha de arquitetura também pode influenciar a fidelidade das respostas. As conclusões apresentadas dizem respeito ao agente e às condições avaliadas no estudo.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
