Antes de um agente de inteligência artificial aceitar um trabalho pago, é preciso avaliar se ele tem condições de concluí-lo. O estudo PAYWORTHY, apresentado no arXiv, investigou se modelos de linguagem conseguem prever esse resultado antes de o agente tentar executar a tarefa. Segundo os autores, o desempenho das previsões muda conforme as informações dadas sobre o agente.
Como o benchmark foi organizado
494 anúncios reais de trabalhos freelance, selecionados de um conjunto de 18,8 milhões de publicações feitas entre 2020 e 2026 em uma plataforma de freelancing. Para cada anúncio, um agente recebeu apenas o texto da vaga e tentou realizar o trabalho em uma única execução. Um modelo de linguagem atuando como cliente avaliou a entrega e decidiu se a aceitaria.
Antes das tentativas, 18 modelos estimaram a probabilidade de sucesso do agente. O estudo comparou essas previsões com as decisões de aceitação usando a AUC: a métrica indica se os modelos conseguem ordenar os trabalhos aceitos acima dos rejeitados. Na escala usada pelos autores, 0,5 corresponde a uma ordenação aleatória.
O efeito das informações sobre o agente
Quando os modelos souberam o que o agente não conseguia fazer, todos tiveram AUC entre 0,66 e 0,86. Já com a descrição de um agente genérico equipado com navegador e execução de código, os resultados ficaram entre 0,45 e 0,56 — próximo do nível aleatório, segundo os autores.
Para quem trabalha como freelancer, o resultado destaca uma condição importante para avaliar tarefas delegadas a agentes: conhecer suas limitações pode tornar a previsão de sucesso mais útil do que uma descrição genérica das ferramentas disponíveis. O estudo não demonstra que as mesmas faixas de desempenho se aplicam ao mercado brasileiro; seus dados vieram de uma plataforma de freelancing, sem resultados específicos para o Brasil.
Verificações adicionais
Os autores relatam que o padrão também apareceu quando a avaliação foi feita por juízes de quatro outras famílias de modelos: Claude, GLM, Kimi e Qwen. Além disso, as previsões feitas com informações sobre as limitações do agente ordenaram os veredictos de dois avaliadores humanos. O código do benchmark está disponível no GitHub.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
