Modelos de linguagem alinhados, treinados para evitar respostas perigosas, às vezes recusam pedidos inofensivos. Um estudo publicado no arXiv sugere uma explicação: a recusa depende, em parte, de quais palavras aparecem no prompt, independentemente de elas carregarem o significado do pedido. Segundo o resumo, palavras associadas a dano alteram o estado interno do modelo no ponto em que ele começa a gerar a resposta, e essa mudança segue uma direção comum a diferentes prompts e palavras.
Uma 'régua' para o vocabulário inteiro
Os pesquisadores extraíram essa direção comum e a usaram como uma régua aplicada a todo o vocabulário. Cada palavra recebe, assim, um deslocamento: num extremo ficam as palavras 'temidas', no outro as palavras ligadas a 'coragem'. De acordo com o resumo, o deslocamento de cada palavra pode ser previsto a partir da própria representação dela no modelo. Basta acrescentar uma palavra 'temida' a um pedido benigno para que o modelo passe a recusá-lo.
O que os testes mostraram
- Em oito modelos, empurrar o estado interno ao longo dessa direção aumenta ou reduz a recusa de forma monotônica conforme a intensidade, antes de direções aleatórias e de direções com KL equivalente.
- Com uma palavra não usada no mapeamento, a taxa de recusa sobe conforme o deslocamento previsto para ela na tabela.
- Trocar a palavra mais 'temida' de um prompt por um sinônimo mais 'corajoso', mantendo o sentido, aumenta de forma significativa a taxa de resposta, tanto em pedidos benignos quanto em pedidos nocivos. O ganho acompanha o deslocamento que a troca efetivamente provoca.
Para o leitor, a principal consequência é que o comportamento de recusa pode ser sensível à escolha de vocabulário, e não só ao conteúdo do pedido. O resumo não informa quais modelos foram testados nem a magnitude exata dos efeitos, o que só poderá ser avaliado no texto completo do estudo.
