Cada vez mais pessoas usam modelos de linguagem (LLMs) como companhia emocional, e isso coloca uma pergunta prática: como saber se esses sistemas se comportam bem em conversas íntimas e sensíveis? Segundo o resumo de um estudo publicado no arXiv, as avaliações existentes costumam medir traços gerais de personalidade, o que dá pouca informação sobre o comportamento dos modelos nesses contextos.
A proposta dos autores é usar a teoria do apego adulto, da psicologia, como referência. Eles aplicam a escala ECR-R (Experiences in Close Relationships-Revised), que mede a ansiedade e a evitação no apego, para caracterizar a tendência de cada modelo.
O que o estudo fez
De acordo com o resumo, a equipe criou o ECBench, um benchmark de companhia emocional com quatro cenários: apoio emocional, tarefas colaborativas, resolução de conflitos e orientação social. Os cenários envolvem tanto amizades quanto relações românticas.
- Avaliação com 11 métricas de qualidade de diálogo;
- Três métodos de avaliação;
- Análise de 32 LLMs quanto às tendências de apego;
- Seleção de modelos representativos para estudar essas tendências em conversas com várias trocas de mensagens.
O resumo também diz que o grupo investiga se essas tendências podem ser moldadas por meio de prompts.
O que muda para o leitor
Para quem escolhe ou usa um assistente com função de companhia, o trabalho sugere que a avaliação pode ir além de perguntar sobre personalidade geral. Os autores descrevem o resultado como uma lente teórica da psicologia e um conjunto de ferramentas práticas para entender e selecionar LLMs para esse fim.
