Quanto um chatbot pode variar nas respostas? Estudo propõe medir isso com entropia

Por que um chatbot responde a mesma pergunta de maneiras diferentes? Segundo o resumo do estudo A Conditional Mutual Information Analysis of Response Variety in Language Models, a variedade das respostas geradas por modelos de linguagem depende, convencionalmente, de um parâmetro chamado temperatura. O resumo não detalha como esse parâmetro atua internamente. Ele apenas registra essa dependência como ponto de partida.

Uma medida baseada em entropia

A proposta dos autores é analisar a variedade de respostas de forma quantitativa, usando uma abordagem de informação mútua condicional, que se apoia em entropia. Em termos simples, a ideia é transformar uma impressão vaga ("essa IA varia muito" ou "essa IA repete tudo") em uma medição.

Três comportamentos-limite

Os autores definem três comportamentos-limite, que cobrem desde nenhuma informação mútua até a máxima:

• arbiter
• independent (condicionalmente)
• neutral, descrito como determinístico

O resumo dá exemplos de cada comportamento, mas não os detalha aqui.

Para que serviriam

Segundo o resumo, a abordagem poderia ser aplicada a quatro frentes: análise de temperatura, análise de linguagem, compressão de prompts e grafos de conhecimento.

O que ainda não sabemos

O resumo não traz resultados numéricos nem diz como esses comportamentos se relacionam com respostas que se repetem ou que fogem da realidade. Essa ligação, portanto, não está estabelecida pela fonte. Também se trata de uma versão inicial (v1) publicada no arXiv, que ainda não passou por revisão por pares, pelo que o próprio texto indica.