有趣的事

训练集指标很好,模型上线后为什么表现变差?

训练集指标好、上线后表现变差,通常不是模型“突然失效”,而是训练评估和真实使用之间存在落差。可以从几类原因排查:

  1. 过拟合或数据泄漏:模型记住了训练样本的细节,或者训练/验证数据中混入了本不该在预测时获知的信息(例如用到了事后字段)。离线指标因此虚高。应按真实预测场景划分数据;有时间因素时按时间切分,并检查特征的生成时点。
  2. 分布发生变化:线上用户、设备、业务流程、流量来源或数据采集方式与训练期不同。即使字段名相同,取值范围、缺失率和特征关系也可能变了。对比训练与线上特征分布、分群指标和输入质量,必要时补充近期且有代表性的标注数据再训练。
  3. 训练与服务链路不一致:预处理、特征计算、单位、类别编码、默认值、模型版本或阈值在离线和线上不一致。可抽取同一批样本分别走训练评估和线上推理链路,逐项比对特征及预测结果。
  4. 指标与实际目标不匹配:总体准确率可能掩盖少数关键人群的退化;类别比例变化也会使精确率、召回率等发生变化。应选与业务代价相符的指标,按重要人群、时间段和流量来源分层查看,并核对阈值及校准情况。
  5. 反馈和运行条件影响:线上标签可能延迟或有偏,服务超时、降级、缓存及下游规则也会改变最终效果。区分“模型预测变差”和“端到端业务结果变差”,同时监控数据质量、延迟、错误率与模型效果。

比较稳妥的做法是先确认线上指标和标签定义一致,再做训练/验证切分审计、离线与线上特征对账、分群及时间切片分析。上线初期可用影子流量或小流量灰度与旧版本对照,并设置回滚条件;若确认是数据漂移,再判断是修复采集/特征问题,还是用新数据重训。

相关阅读