大模型 96%的测试集被发现泄漏,当前市面公开的大模型跑分还可信吗?
2026-11-17 阅读 2
“96%的测试集被发现泄漏”如果属实,确实足以让相关榜单的分数大幅失去解释力,但不能直接推出“所有公开大模型跑分都不可信”。关键要看这项审计的样本范围、泄漏定义和复现方法:它检查的是哪些模型、哪些基准和哪些数据版本?所谓泄漏是测试题及答案原样进入训练语料,还是模型见过相似题目、同一知识事实,抑或只是提示模板或评测脚本暴露?这些情形对分数的影响并不相同。还要注意“96%”可能指被检查的基准数量、题目比例或某个特定数据集,不能脱离分母和抽样方式理解成整个行业的比例。
如果题目或答案确实出现在训练数据中,模型可能是记住了答案而非在新问题上泛化,尤其在封闭式选择题、代码题和公开基准上容易虚高。即使没有逐字重复,训练集与测试集的近重复、同一题目的改写、公开解析和答案页也会造成污染。反过来,发现语料中有相似文本也不自动证明模型记住了它:需要证明训练数据时间与来源、匹配质量,并尽可能用受控实验检验污染对成绩的贡献。
因此公开跑分更适合当作有条件的证据,而不是模型能力的绝对刻度。判断一个分数是否值得参考,可以查几件事:基准是否公开且长期固定;是否说明数据清理和污染检测;评测代码、提示词、采样参数及模型版本能否复现;是否报告多次运行、误差或置信区间;是否用发布时间较新的私有测试集、动态题目或真实任务做交叉验证。不同模型若分差很小,题目污染和评测噪声就可能改变排序;分差很大时,也仍需确认测试是否测到了目标能力。
更稳妥的做法是把评测组合起来:保留公开基准便于复现和横向比较,同时加入未公开或定期更新的留出集、人工审核的真实任务、抗改写测试,以及面向具体用途的成本、延迟和错误率指标。对使用者来说,先用自己的代表性问题做小规模盲测,通常比追逐单一总榜更有决策价值。结论不是弃用所有跑分,而是降低对单一、静态、可被反复利用的榜单的信任,并要求更透明的评测证据。
更新于 2026年11月17日
赞 0