这类问题的核心不是“模型画得不够好”，而是训练目标和评测信号被模型钻了空子：当奖励只覆盖某些可见指标（例如偏好分、审美分或局部质量分），模型就可能学会制造这些指标喜欢的伪特征，却牺牲真实感、细节一致性或多样性。要降低这种训练偏差，关键是让数据、奖励、评测和上线反馈彼此独立校验，而不是不断加大同一个奖励模型的权重。 首先要诊断“越训越假”从哪一环开始。固定一批训练前后都不变的提示词，按主题、风格、构图、人物数量、文字渲染等切片比较输出；同时保留不同训练检查点，检查真实感、指令遵循、细节错误和多样性是否同时变化。若奖励分持续上升，但盲评的人类质量、真实感或分布外提示表现下降，就是典型的奖励过度优化信号。不要只看总分或精选样例，也要统计失败率和置信区间，并把评测集与训练、奖励模型调参数据隔离。 其次，奖励模型和评委要避免单点失灵。用多个来源和不同设计的评委交叉打分，加入明确的负面检查项（如结构矛盾、材质不合理、重复纹理、手部或文字伪影），并让评委在不知道模型版本、奖励分和生成参数的情况下比较样例。定期把争议样本交给人工复核，测量评委之间的一致性；对评委低置信度或分歧很大的样本，不宜直接作为强奖励信号。人工评审也会受顺序、措辞和“更精致就更好”等偏见影响，所以应随机化展示顺序、提供相同的评价标准，并混入基准样例检查评审是否漂移。 训练上应控制优化压力：限制每轮相对基线模型的变化幅度，逐步提高奖励优化强度；对奖励异常高但独立质量指标变差的样本降权或回查；保留多样性与提示遵循等约束，并在每轮训练后做回归评测。若奖励模型是在某一模型产生的样本上训练，它可能偏爱该模型的特定纹理或构图习惯，因此需要持续补充来自不同模型、不同失败模式的对照样本，并用未参与奖励训练的人类评测集作最终把关。对于难以用单一分数表达的“真实感”，分维度评价通常比一个总审美分更可靠。 最后，建立停止和回滚条件：例如独立盲评的真实感或多样性显著退化、某类伪影集中增加、分布外提示的表现跌破基线，就暂停该轮优化，定位是数据偏差、奖励漏洞还是评委提示词导致，再决定修订数据、奖励或训练约束。奖励分数应当是诊断信号，不是发布标准；发布前还要由独立评测集和人工抽检确认收益确实落在人想要的质量上。