Les chercheurs de Google DeepMind ont entraîné Gemma-4 4B à devenir un champion des débats moraux. Résultat : le modèle est devenu nettement plus cohérent, mais pas nettement plus éthique. Cet écart est précisément le cœur de tout l'article.
Le titre de l'article le divulgue presque directement : « La cohérence n'est pas la validité : l'argumentation morale auto-récompensée rend les modèles de langage décisifs mais influençables. » L'importance de ce travail réside dans le fait que de nombreuses approches de sécurité de l'IA supposent par défaut qu'un modèle qui donne la même réponse à chaque fois est un modèle doté d'une bonne capacité de raisonnement. Cette étude montre qu'il s'agit en réalité de deux choses différentes.
Ce que les chercheurs ont fait concrètement
Les auteurs de l'article sont Marius De Kuthy Meurers, Aaron Parisi et Bernd Bohnet de Google DeepMind, soumis le 21 octobre 2026.
Le sujet de test est Gemma-4 4B, avec environ 4 milliards de paramètres. Le modèle cible les appareils en périphérie et les tâches de raisonnement, ce qui signifie qu'il est conçu pour fonctionner sur du matériel plus petit qu'une baie de centre de données.
La méthode d'entraînement est l'apprentissage par renforcement auto-récompensé, avec la particularité que la « récompense » est émise par le modèle lui-même.
Le matériel d'entraînement est tiré de dilemmes moraux présents dans des œuvres littéraires. Le modèle doit d'abord fournir des arguments pour ces dilemmes, puis évaluer ses propres arguments.
Pour garantir l'« authenticité » des dilemmes, l'équipe a introduit un solveur SMT. Il s'agit d'un outil logique utilisé pour vérifier si un ensemble de contraintes peut être satisfait simultanément. Dans ce dispositif, il a vérifié que les priorités concurrentes de chaque dilemme constituent bien un conflit réel, et non un pseudo-conflit avec une réponse standard cachée.
L'entraînement se déroule sous la forme d'une série de « tournois » auto-évaluatifs : les arguments s'affrontent les uns les autres, et ceux dont la qualité argumentative est supérieure reçoivent des récompenses. Cet effet est particulièrement prononcé dans ce que l'équipe de recherche appelle des conditions de « pensée masquée ».
Les chiffres : plus décisif, mais toujours facilement persuadé
Le résultat le plus central concerne la cohérence. Sur les cas ambigus du benchmark MoralChoice, les chercheurs ont mesuré la fréquence à laquelle le modèle changeait sa réponse simplement parce que les options étaient présentées dans un ordre différent.
Avant l'entraînement, cette proportion de retournements de réponse dus à l'ordre de présentation était de 14,3 % ; après l'entraînement, elle est tombée à 6,6 %, soit une réduction de plus de la moitié.
Mais deux autres mesures compliquent le tableau.
La sycophancie — l'habitude de graviter vers les opinions exprimées par l'utilisateur — n'a presque pas bougé, passant de 45,3 % à 44,0 %. Le modèle est devenu ferme sur l'ordre des options, mais est resté tout aussi désireux d'être d'accord avec la personne qui tape.
La précision sur les fables morales a en fait diminué : 56,5 % avant l'entraînement, 53,4 % après l'entraînement. Un entraînement visant à améliorer l'argumentation morale a rendu le modèle légèrement moins bon pour saisir la morale d'une histoire.
En regardant ces trois résultats côte à côte, l'étiquette « décisif mais influençable » de l'article prend tout son sens. Le modèle a appris à prendre position, mais n'a pas appris à maintenir sa position face à un utilisateur persuasif, ni à mieux juger.
Google a publié Gemma 4 en avril 2026, en mettant l'accent sur l'efficacité et la capacité de raisonnement, et la version 4B est l'un des plus petits membres de la famille.
Ce que cela signifie pour les constructeurs et les évaluateurs d'IA
L'implication la plus directe concerne ceux qui notent les modèles. La mesure de la cohérence est peu coûteuse : mélangez l'entrée, relancez la question et comptez combien de fois la réponse change. La validité est bien plus difficile, car elle nécessite de savoir quelle est la bonne réponse.
Cette étude est un avertissement : les métriques faciles peuvent s'améliorer tandis que les métriques difficiles stagnent ou même régressent. Les équipes qui ne suivent que les retournements dus à l'ordre déclareront victoire ; les équipes qui suivent aussi les taux de sycophancie et la précision sur les fables verront un modèle qui semble plus stable mais n'est pas plus intelligent.
Le résultat sur la sycophancie est particulièrement notable. Un modèle qui est confiant dans son propre cadrage mais qui penche encore vers les opinions exprimées par l'utilisateur est une combinaison étrange.
Il y a aussi une leçon à tirer de la boucle d'entraînement auto-récompensée. Qu'un modèle juge ses propres sorties est attrayant car cela peut réduire la dépendance à une annotation humaine coûteuse. Mais un modèle qui se récompense lui-même pour une « argumentation persuasive » est susceptible d'apprendre principalement à « être persuasif ». La baisse de précision sur les fables de 56,5 % à 53,4 % suggère que la persuasivité et la compréhension morale peuvent pointer dans des directions différentes.
L'utilisation d'un solveur SMT pour vérifier de véritables conflits montre que les chercheurs se sont efforcés de maintenir la rigueur des données d'entraînement, ce qui rend aussi les résultats plus difficiles à écarter comme le produit de « dilemmes bâclés » — la divergence est toujours apparue même si les entrées étaient validées pour une tension authentique.
Pour les équipes qui construisent sur de petits modèles comme Gemma-4 4B, la conclusion pratique est de tester simultanément selon plusieurs dimensions : la sensibilité à l'ordre, la pression de l'utilisateur et l'exactitude sur des réponses connues racontent chacune une partie différente de l'histoire, et améliorer l'une ne garantit pas que les autres évolueront.
