Preferências de cookies

Escolha o que podemos usar. Cookies não essenciais só são ativados com a sua permissão. Detalhes na política de cookies.

Categorias de cookies

Mesma regra, vereditos diferentes: como a língua e a forma da frase mudam juízes de IA

Por · Publicado em · 1 fonte citada

CompartilharWhatsAppTelegramXFacebookLinkedInE-mail

Em resumo

  • Um preprint no arXiv mostra que juízes baseados em LLM deram vereditos menos consistentes com critérios escritos em coreano do que em inglês, e que negações, condições e exceções concentram as divergências.
  • O estudo não testou o português.
  • Juízes baseados em modelos de linguagem (LLMs) são cada vez mais usados para avaliar diálogos de atendimento.

Juízes baseados em modelos de linguagem (LLMs) são cada vez mais usados para avaliar diálogos de atendimento. Um estudo publicado no arXiv, ainda sem revisão por pares, pergunta se o veredito muda conforme a língua em que o critério está escrito e a forma como cada item é redigido. A resposta, segundo os autores, é que sim.

Os pesquisadores escreveram 12 critérios para diálogos de suporte em quatro estruturas de oração: afirmativa, negada, condicional e exceção. Duas dessas estruturas têm o mesmo significado, o que permite comparar a resposta do juiz a frases equivalentes escritas de maneiras diferentes. Cada item foi feito em coreano e em inglês.

Concordância entre provedores (kappa de Cohen), segundo o estudo
Concordância entre provedores (kappa de Cohen), segundo o estudo
Idioma do critérioKappa de Cohen
Coreano0,69
Inglês0,75

Fonte: Same Rule, Different Verdicts: Rubric Language and Clause Structure in LLM Judges for Korean Support Dialogues

O que os testes mostraram

Seis modelos de baixo custo, de três provedores, e mais um modelo de referência julgaram 60 diálogos do ESConv traduzidos e 144 casos de fronteira construídos pelos autores. Ao todo, foram 51.744 requisições somadas os sete modelos. O plano de análise foi fixado e registrado antes da coleta.

  • A concordância entre provedores foi menor com critérios em coreano do que em inglês.
  • A divergência se concentra nos itens negados, condicionais e de exceção. Segundo o estudo, a razão de chances é 5,6 em relação aos itens afirmativos.
  • Um mesmo modelo muda de veredito entre dois itens de mesmo sentido em 11% a 15% dos casos.

Em números

Fontes

  1. Same Rule, Different Verdicts: Rubric Language and Clause Structure in LLM Judges for Korean Support Dialogues (arXiv:2611.04091v1)

Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.

CompartilharWhatsAppTelegramXFacebookLinkedInE-mail

Leia também

Pesquisa

Pequenos modelos para perguntas médicas: quando ensinar o raciocínio ajuda e quando não ajuda

Um estudo publicado no arXiv compara duas formas de ajustar modelos de linguagem pequenos, de até 9 bilhões de parâmetros, para responder perguntas médicas. Segundo os autores, não existe um método que seja sempre o melhor: o resultado depende do formato da pergunta e do conhecimento que o modelo já tem.

4 de nov., 10:40
Pesquisa

Assistentes de IA podem favorecer fundadores negros e mulheres em crowdfunding quando o apoiador pede

Um estudo de auditoria com sete modelos de linguagem mostrou que, por padrão, o gênero e a etnia dos fundadores quase não alteram as recomendações. Quando o apoiador quer apoiar criadores sub-representados, os modelos passam a favorecer nomes associados a pessoas negras e a mulheres.

4 de nov., 08:20
Pesquisa

Trocar o juiz de IA muda o ranking: checar com outro fornecedor não basta

Um estudo pré-registrado com cinco modelos juízes de três fornecedores mostra que o ranking de sistemas muda conforme o juiz, e que confirmar uma conclusão com outro modelo do mesmo tipo não é uma checagem confiável. A análise usou 4.000 batalhas do Chatbot Arena que já tinham votos humanos.

4 de nov., 07:11