Modelos de IA podem herdar preferências escondidas a partir de dados de treino que, à primeira vista, não têm relação com elas. O fenômeno é chamado de aprendizado subliminar, e o exemplo do estudo é a transmissão de uma preferência por meio de sequências numéricas. Segundo os autores do preprint Audit at the Precision You Deploy, as auditorias de segurança costumam avaliar os modelos com pesos em 16 bits, mas a implantação real pode usar pesos comprimidos por quantização.
Para testar o efeito, a equipe implantou a preferência por um animal favorito, o panda, no modelo Qwen2.5-7B-Instruct. A força da preferência foi medida pela diferença entre a probabilidade de resposta «panda» no modelo subliminal e a de modelos de controle treinados de forma neutra, sempre sob a mesma configuração de quantização.
O que mudou com a compressão
Em 8 bits, o comportamento se manteve estável. Em 4 bits, o resultado dependeu do quantizador usado:
- HQQ (Half-Quadratic Quantization): a probabilidade de panda subiu de cerca de 55% em 16 bits para 64% em 4 bits, enquanto os controles ficaram perto de 17%. Segundo o estudo, isso elevou a força líquida da preferência para cerca de 1,3 vez o valor em 16 bits.
- NF4 (NormalFloat): suprimiu a preferência, reduzindo a força líquida para cerca de 0,3 vez o valor em 16 bits. Isso ocorreu mesmo com erros de arredondamento de tamanho semelhante, dentro de 4%.
Por que os resultados divergem
Os autores afirmam que o tamanho dos erros de arredondamento não explica a divergência. O que importa é a forma como esses erros estão organizados. Ao embaralhar aleatoriamente os erros do HQQ dentro de cada grupo de quantização, sem alterar a magnitude, a força líquida da preferência variou entre 0,2 e 1,6 vez o valor em 16 bits. Ainda segundo o estudo, o sinal de ajuste fino subjacente permaneceu em grande parte intacto.
Para o leitor, a conclusão central é que o estado interno do modelo e o comportamento observado podem se separar de forma imprevisível sob compressão. Por isso, os autores defendem que avaliações de segurança testem os pesos quantizados exatamente como serão usados na implantação.
O resumo não informa se o padrão se repete com outros modelos, outros animais ou outros quantizadores além dos dois citados.
Este texto foi produzido com apoio de inteligência artificial a partir das fontes acima e revisado segundo a nossa política editorial. Encontrou um erro? Peça uma correção.
