Quando um modelo de linguagem recebe um texto longo, processá-lo custa caro. Uma das saídas é a compressão de contexto, que, segundo o artigo, reduz o custo de inferência ao codificar as entradas em representações compactas, preservando o conteúdo semântico. A pergunta dos pesquisadores é se manter o sentido basta para manter também comportamentos como a recusa, isto é, a decisão do modelo de não atender a pedidos que deveria evitar. A resposta, pelo resumo, é que não.
O que o estudo encontrou
De acordo com os autores, a compressão baseada em codificadores enfraqueceu sistematicamente a recusa em modelos de linguagem ajustados por instruções, mesmo com alta fidelidade de reconstrução, ou seja, mesmo quando o texto reconstruído continuava fiel ao original. Segundo o resumo, o efeito apareceu em diferentes famílias de modelos e em diferentes arquiteturas de compressão.
Uma análise mecanística, descrita pelos autores, mostrou que a compressão reduz a ativação ao longo da direção de recusa aprendida pelo decodificador.
Uma correção possível: Memory Steering
Os autores exploram o Memory Steering, uma intervenção leve feita na inferência, que, segundo eles, restaura as taxas de recusa a níveis próximos aos da linha de base, sem retreinamento e inteiramente no espaço de representação comprimido.
Por que isso importa
Para quem desenvolve produtos com IA, a mensagem central é que preservar o significado não garante preservar o comportamento. Um sistema que comprime contexto para economizar pode, segundo o artigo, perder características ligadas ao alinhamento sem que isso apareça na qualidade do conteúdo. Os autores defendem preservar explicitamente esses atributos em sistemas que levam compressão em conta.
