为什么训练集准确率很高,测试集却很差?
训练集准确率高、测试集准确率低,通常说明模型学到的东西没有很好地泛化到未见数据。最常见的原因是过拟合:模型容量相对数据量过大,训练太久,或特征、参数过多,导致它记住了训练样本中的偶然细节和噪声。可以观察训练与验证曲线:训练指标持续变好而验证指标变差,通常是过拟合信号。可尝试增加或清理数据、数据增强、正则化(如权重衰减、Dropout)、减小模型或用早停;每次只调整一类因素,并在独立验证集上比较。
也要排查数据与评估问题:训练集和测试集是否来自不同时间、设备或人群,标签规则是否一致;测试集是否太小、类别比例失衡,或指标不适合任务。若存在分布偏移,单纯加强正则化未必解决问题,应按真实使用场景构造验证集,并检查各子群体表现。
另外,预处理和特征选择必须只在训练数据上拟合。例如先对全量数据做标准化、筛特征或调参,再切分数据,会把测试集信息泄漏到训练流程里,造成评估偏差(泄漏有时会让测试分数虚高,但也可能让结果不稳定)。应先划分数据,再在训练集拟合预处理步骤,并用验证集选模型;最终测试集只用于一次性评估。若样本有时间或用户关联,还应按时间或用户分组切分,避免近重复样本跨集合。