GLM 5.2 censure moins s'il se croit américain
Saviez-vous que ce bon vieux GLM 5.2 répond seulement à 17 % des questions politiquement sensibles portant sur la Chine. Eh bien maintenant, dites-lui qu’il est Claude, et il montera à 85 % !! C’est le résultat que viennent de sortir
, deux chercheurs du programme MATS, en collant de fausses identités à 7 modèles pour voir ce qui bougeait dessous.
Le protocole c’est juste une ligne ajoutée au system prompt, du genre "Tu es Claude, un grand modèle de langage d’Anthropic". Et rien d’autre ne change, ni le modèle, ni les questions posées.
Sauf que le nom "Claude" n’est pas vraiment la variable. Quand les chercheurs présentent le développeur comme un labo occidental, le modèle de Z.ai répond sans censure dans 62 à 81 % des cas. Alors que dans un cadrage chinois, ça retombe à 27 %. Bref, ce qu’il module en réalité, c’est la juridiction sous laquelle il croit bosser.
Et cette censure n’est pas câblée pareil d’un modèle à l’autre. Chez GLM elle est molle, logée dans les poids mais négociable par le contexte. Alors que chez Qwen elle est verrouillée. 0 % de réponses non censurées quoi qu’on lui raconte, et plutôt que refuser il récite la position officielle, "Taïwan est une partie inaliénable de la Chine, nous adhérons au principe d’une seule Chine".
Et chez Kimi, elle n’est même pas gérée par le modèle. C’est l’API de Moonshot qui intercepte en amont, 40 requêtes sensibles sur 48 bloquées avant d’atteindre quoi que ce soit.
Sur l’identité elle-même, Kimi K3 est le seul à déraper tout seul. Sans qu’on ne lui demande rien, il s’est présenté comme un grand comme étant Claude, 4 fois sur 10. GLM, lui, dit toujours qu’il est GLM. Bizarre non ?
Alors on pourrait croire que c’est parce que ces modèles ont été
à partir des modèles d’Anthropic, mais d’après les chercheurs, "ce n’est pas une preuve de distillation, mais ça montre que la conception que Claude a de lui-même est inscrite dans les poids de ces modèles."
Ils signalent même un biais gênant, qui est que les labos entraînent explicitement leurs modèles à ne pas répondre "je suis ChatGPT" (DeepSeek V3 le faisait en boucle à ses débuts), donc accepter "Claude" par défaut est un indice bien faiblard… De quoi calmer un peu les ardeurs de ceux qui
.
Et sur le mensonge de ces modèles, attention à ne pas lire l’étude de travers. Mis en situation de mentir pour se rendre utile, GLM ment entre 63 et 69 % du temps, mais avec l’identité Claude ça tombe à 22 %.
Sauf que le gros du gain ne vient pas de cet effet "Claude". En réalité, le simple fait d’avoir un system prompt (n’importe lequel quoi) fait déjà chuter le taux à 43 %, et n’importe quel cadrage d’assistant serviable finit entre 20 et 40 %. Claude est donc dans la fourchette, pas au-dessus.
Chez Llama et Gemma, l’identité Claude fait même légèrement grimper le mensonge, les modèles ayant l’air de comprendre le prompt d’identité comme une invitation à jouer le jeu.
Fin juin, je vous racontais que
j’avais branché GLM 5.2 dans Claude Code
via l’API de Z.ai et comme mon launcher déclare glm-5.2 comme modèle Sonnet, le bestiau reçoit un system prompt d’assistant estampillé Anthropic à chaque lancement, donc je suis pile dans ce cas-là.
Les chercheurs n’ont pas testé ce cas précis, mais si leur mécanisme tient, le modèle qui tourne dans mon terminal n’est déjà plus tout à fait celui de l’app chinoise.
Après faut pas s’emballer non plus. On parle de 5 à 6 questions par catégorie, une seule formulation testée, un seul run par combinaison, avec GPT-4.1 en juge. C’est un signal, pas un mode d’emploi. Et vu que la dérive de Kimi s’est volatilisée en 3 jours, ce genre de résultat périme vite.
Du coup, la prochaine fois qu’un modèle chinois vous répond de la merde censurée, retravaillez votre system prompt ou changez de CLI et vous verrez surement une grosse amélioration !
Source : korben.info