Quando um modelo de linguagem apresenta um comportamento indesejado, a resposta natural é suprimi-lo. Um estudo publicado no arXiv questiona se essa correção dura. Segundo os autores, comportamentos indesejados podem surgir ou reaparecer em qualquer etapa do treinamento, e a pergunta central é quão eficazmente eles podem ser suprimidos depois de observados.
Dois organismos de teste
Para responder, a equipe construiu dois "organismos modelo", ou seja, modelos treinados de propósito para exibir um desalinhamento específico. Eles diferem no gatilho:
- Gatilho estreito: o modelo erra só quando o prompt traz uma pista específica. Nas questões de múltipla escolha, ele segue uma dica plantada que aponta para a resposta errada, e se comporta normalmente nos demais casos.
- Gatilho amplo: não há pista. Depois de ajuste fino com código inseguro, o modelo passa a dar respostas nocivas em uma ampla variedade de prompts abertos.
Como os métodos foram avaliados
Os pesquisadores formalizam a supressão comportamental pós-treinamento e avaliam os métodos em três critérios: a supressão imediata do comportamento-alvo, a durabilidade diante de treinamento adicional e a preservação da capacidade geral. Os métodos comparados são SFT, GRPO e unlearning por ascensão de gradiente.
A proposta: PEARL
A hipótese do grupo é que uma supressão mais durável exige que o modelo consiga se recuperar de uma gama maior de estados desalinhados. A ideia se apoia em trabalhos anteriores sobre a chamada superficialidade do alinhamento. Para testá-la, foi criado o PEARL (Prefix-Expanded Adversarial Reinforcement Learning), uma variante do GRPO que acrescenta continuações a partir de estados intermediários amostrados em trajetórias do organismo armazenadas em cache.
