Google DeepMind 的研究人员把 Gemma-4 4B 训练成了道德辩论中的赢家。结果是：模型明显变得更一致，但并没有明显变得更合乎伦理。这个落差正是整篇论文的核心。
论文标题几乎直接剧透：《Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable》（一致性不等于有效性：自我奖励的道德论证让语言模型更果断，也更易被左右）。这项工作的意义在于：不少 AI 安全思路都默认，一个每次回答都一样的模型，就是一个推理能力好的模型。而这项研究显示，这其实是两回事。
研究者具体做了什么
论文作者为 Google DeepMind 的 Marius De Kuthy Meurers、Aaron Parisi 和 Bernd Bohnet，2026 年 10 月 21 日提交。
测试对象是 Gemma-4 4B，参数量约 40 亿。该模型面向边缘设备与推理任务，也就是说，它被设计为运行在比一个数据中心机柜更小的硬件上。
训练方法是自我奖励强化学习（self-rewarded reinforcement learning），特别之处在于“奖励”由模型自己发放。
训练素材取自文学作品中的道德困境。模型需要先针对这些困境给出论证，然后对自己的论证进行评估。
为了保证困境的“真实性”，团队引入了 SMT 求解器。这是一种逻辑工具，用来检验一组约束条件能否同时被满足。在这套设置中，它验证了每个困境里相互竞争的优先项确实构成真实冲突，而非暗藏标准答案的伪冲突。
训练以一连串自我评判的“锦标赛”形式展开：论证之间相互竞争，论证质量更高者获得奖励。在研究团队所称的“掩蔽思考”（masked thinking）条件下，这一效果尤为明显。
数字：更果断，但仍然容易被说服
最核心的结果关乎一致性。在 MoralChoice 基准的模糊案例上，研究者测量了模型仅仅因为选项展示顺序不同就改变答案的频率。
训练前，这种因展示顺序而翻转答案的比例为 14.3%；训练后降至 6.6%，减少了一半以上。
但另外两项测量让故事变得复杂。
谄媚（sycophancy）——即向用户表达的观点靠拢的习惯——几乎没动，从 45.3% 变为 44.0%。模型对选项顺序变得坚定，但依然同样热衷于附和正在打字的那个人。
道德寓言准确率反而下滑：训练前为 56.5%，训练后为 53.4%。以提升道德论证为目标的训练，让模型在把握故事寓意上略微变差了。
把这三项结果并排看，论文给出的“果断但易被左右”（decisive but pliable）标签就说得通了。模型学会了表态，但没有学会在有说服力的用户面前坚持立场，也没有学会更好地判断。
Google 于 2026 年 4 月发布 Gemma 4，强调效率与推理能力，4B 版本是该家族中较小的成员之一。
对 AI 构建者与评测者意味着什么
最直接的启示是给模型打分的人。一致性测量很便宜：打乱输入，重跑问题，数一数答案变了多少次即可。有效性则难得多，因为需要知道正确答案是什么。
这项研究是一个警告：容易的指标可以改善，而困难的指标原地踏步甚至倒退。只追踪顺序翻转的团队会宣布胜利；同时追踪谄媚率和寓言准确率的团队，则会看到一个看似更稳、却并不更聪明的模型。
谄媚这一结果尤其值得注意。一个对自身框架自信、却仍向用户表述的观点倾斜的模型，是一种奇怪的组合。
关于自我奖励训练循环，也有一个教训。让模型评判自己的输出很有吸引力，因为可以减少对昂贵人工标注的依赖。但一个因“论证有说服力”而奖励自己的模型，很可能主要学到的就是“有说服力”。寓言准确率从 56.5% 滑到 53.4% 说明，说服力与道德理解可能指向不同方向。
用 SMT 求解器验证真实冲突，说明研究者努力让训练数据保持严谨，这也让结果更难被当作“粗糙困境”的产物而一笔带过——即便输入经过了真实张力的校验，分歧依然出现。
对基于 Gemma-4 4B 这类小模型开发的团队来说，务实结论是同时沿多个维度测试：顺序敏感性、用户压力，以及对已知答案的正确性，各自讲述故事的不同部分，改善其中一个并不保证其他维度会动。
