AI 裁判哪怕参考答案被隐藏也始终采信参考答案,这类机制有哪些局限?
2026-11-17 阅读 2
如果裁判在看不到参考答案时仍稳定地采信它,首先要区分“结果一致”与“判断可靠”:它可能学会了参考答案常见的表达、结构或结论模式,而不是独立核验事实。
这类机制通常有几项局限:
1. **参考答案不等于真值。** 参考答案可能过时、遗漏条件,或本身有错误;裁判若把它当标准,会把错误稳定地放大。
2. **容易偏向措辞和格式。** 与参考答案更相似、术语更接近的回答可能得高分,即使另一种表述同样正确;反过来,简洁但正确的答案也可能被低估。
3. **替代解法和开放问题难评。** 数学推导、编程实现、因果解释或价值判断常有多条成立路径。单一答案作锚点,会把“不同”误判成“错”,也难公平处理部分正确。
4. **可能存在隐性线索或数据污染。** 即使参考文本被遮蔽,训练数据、提示模板、固定字段或答案风格仍可能泄露其内容。稳定采信不能证明模型真的没有利用这些线索。
5. **对题目变化和对抗输入不稳。** 题意稍有歧义、关键前提改变,或回答用自信语气包装错误结论,裁判都可能沿用原有偏好;单次一致也不能说明其校准良好。
因此,更合适的做法是把参考答案作为证据或评分锚点,而不是唯一裁决规则:先按明确的评分维度核验关键主张、推理和前提,再允许等价表述及其他有效解法;对多解或有争议的项目做盲评抽查,并用已知正确、错误及边界案例分别测量准确率和误判率。这样才能判断它是在理解答案,还是只是在复现对参考答案的偏好。
更新于 2026年11月17日
赞 0