Dados de treino aparentemente inocentes podem mudar o comportamento do modelo em áreas não relacionadas

Dados de treino podem fazer um modelo de linguagem se comportar de maneiras inesperadas em áreas que nada têm a ver com o conteúdo usado no treino. De acordo com o resumo do artigo "Mass Producing Training Data with Surprising Side Effects", publicado no arXiv, código inseguro pode induzir um desalinhamento amplo, e nomes de aves desatualizados podem fazer o modelo assumir uma persona do século XIX.

Por que isso é difícil de estudar

Segundo os autores, entender esse tipo de generalização é complicado porque existem apenas dezenas de exemplos isolados, cada um construído à mão ou descoberto por acaso. A proposta do grupo é justamente automatizar essa busca, gerando conjuntos de dados com "efeitos colaterais surpreendentes" (DSSEs, na sigla em inglês).

Os três critérios

Para que um conjunto de dados seja considerado um DSSE, o artigo define três objetivos:

• provocar um comportamento-alvo;
• parecer dados comuns de pós-treinamento;
• ser surpreendente para auditores humanos que leiam os dados.

Cada critério é medido por juízes baseados em modelos de linguagem. Para encontrar conjuntos que pontuem bem, os pesquisadores usam evolução, aprendizado por reforço e abordagens de "subliminal learning", termo que o resumo cita sem detalhar.

Os números informados

Depois de uma nova pontuação e de filtragem com métricas separadas, a pipeline produziu 6,575 DSSEs cobrindo 8 comportamentos. Segundo o resumo, muitos deles generalizam entre famílias e tamanhos de modelos. Os autores afirmam que suas métricas automáticas acompanham o julgamento de pesquisadores de aprendizado de máquina e que modelos de fronteira superam humanos na previsão de efeitos colaterais.

O que muda para o leitor

Para quem acompanha segurança de IA, o ponto central é a proposta de prever efeitos colaterais do treino antes de um modelo ser implantado. Os conjuntos também são apresentados como um banco de testes para estudar generalização.