有趣的事

机器学习模型在训练集表现很好,为何实际使用时不准?

训练集表现好、实际使用不准,通常是模型学到的规律没有迁移到真实数据,或训练评估方式高估了效果。可以从几类原因排查:

  1. 过拟合或数据泄漏:模型记住了训练样本细节;或者训练与验证数据存在重复、同一用户/设备跨集合、预处理时使用了验证信息等泄漏。应按真实部署的独立单位划分数据(例如按用户、时间或设备分组),并用未参与调参的测试集做最终评估。
  2. 训练数据与线上分布不同:真实输入可能在人群、设备、时间、语言、图像质量或业务流程上发生变化,即分布偏移。比较训练集与线上样本的关键特征及错误案例,按时间和重要场景分层评估;必要时补充有代表性的标注数据并重新训练。
  3. 标签或目标不匹配:标签噪声、标注标准不一致,或者离线指标与实际目标不同,会让模型优化了“容易测量但不重要”的东西。检查高频错误和边界案例,并选择能反映业务代价的指标。
  4. 部署链路不一致:线上特征计算、归一化、分词、版本、缺失值处理或阈值与训练时不同,也会造成性能骤降。对同一批样本逐项比对训练与线上输入、模型输出和后处理结果。

建议先建立可靠的时间/分组留出集,再按场景查看混淆矩阵和错误样本,区分数据问题、目标问题与部署问题。若只是阈值或类别比例变化,重新校准阈值可能足够;若输入规律本身改变,则通常需要补充新分布数据,并持续监控线上指标。

相关阅读