有趣的事

给 AI 出的测试题 AI 自行批阅能拿满分,这类自评结果可信度有多高?

这类“满分”结果有参考价值,但单独看并不能证明 AI 的能力有多强,可信度取决于题目、评分标准和批阅过程是否独立、严格。

首先要区分“答案符合预设标准”和“答案真正正确”。如果出题者同时设计了题目、参考答案和评分规则,模型又熟悉这些规则,测试可能只是在测它能否迎合评分口径;题目若来自公开题库或与训练数据相似,还可能存在记忆、提示泄漏等因素。对开放题而言,评分标准不完整时,模型也可能把表达流畅、结构像标准答案误当成实质正确。

其次,自评不是独立验证。生成答案和批阅答案若由同一模型、同一轮上下文或同一家族模型完成,二者可能共享盲点;即使评分理由看起来详细,也不等于判断经过了外部核验。反过来,如果评分规则事先固定、答案匿名打乱、评审看不到模型身份,并有不同系统或人工抽样复核,结果才更有说服力。

因此,满分最多说明“在这组题和这套评分规则下,系统给出的答案被判为满分”。要判断能否推广,应看题目是否覆盖目标能力、是否有未见过的保留题、是否允许多种合理解法、评分者之间的一致性,以及错误案例和置信区间,而不是只展示一个总分。高风险用途还应由独立评审核对关键事实与推理。若没有这些信息,把自评满分当成能力证明就过于乐观;把它当作初步线索则合理。

相关阅读