机器学习中验证集和测试集为什么不能混用?
2026-11-17 阅读 0
验证集和测试集都用于评估模型,但承担的角色不同,混用会让评估结果失去可信度。
训练集用于拟合模型参数;验证集用于开发阶段做选择,例如比较模型、调整超参数、选特征、设定分类阈值和决定何时停止训练。反复根据验证集结果作选择,模型和开发流程实际上会逐渐适应验证集。测试集则应留作最后一次独立检查,用来估计整套建模流程在未参与选择的数据上的泛化表现。
如果把测试集也拿来调参、挑模型或反复查看结果,测试集信息就间接进入了决策过程,评估会产生选择偏差,通常显得过于乐观。若把验证集和测试集合并后共同用于选择,再把其中的分数当作最终测试成绩,同样没有独立的最终检验。数据量较小时,可在训练数据内部用交叉验证进行模型选择,但仍应保留一份从未用于任何选择的测试集;若数据有时间顺序或用户/患者分组,还要按时间或组划分,避免相邻或同源样本泄漏到不同集合。
常见流程是:先划分训练、验证、测试集;只用训练集拟合候选模型,以验证集选定方案;确定方案后,可按预先约定用训练集与验证集合并重训一次,最后在测试集上评估一次并报告。若根据测试结果又修改模型,测试集便不再是独立测试集,需要新的未触碰数据才能得到可信的最终评估。
更新于 2026年11月17日
赞 13