有趣的事

AI 用于金融风控时,为什么不能只看预测准确率?

在金融风控中,预测准确率只回答“总体上猜对了多少”,并不能说明模型是否把风险控制在合适的位置,更不能直接说明业务收益或损失。尤其当违约、欺诈等事件占比很低时,一个把所有客户都判为“正常”的模型,准确率可能很高,却完全识别不出高风险个体。

实际决策通常要看错误的类型和代价。把高风险客户误判为低风险,可能带来坏账或欺诈损失;把低风险客户误判为高风险,则可能拒绝优质客户、损失利息收入并伤害客户体验。两类错误的成本往往不对称,因此需要结合召回率、精确率、特定阈值下的混淆矩阵,以及预期损失、收益等业务指标来评估,而不是只比较一个总体准确率。阈值也应由风险偏好、资金成本和处置能力决定;提高拦截率通常会增加误伤,不能脱离代价谈“更好”。

还要检查模型在不同客群、地区和时间段上的表现。总体指标可能掩盖某些群体的错误率偏高;经济环境、欺诈手法或产品策略变化,也会造成数据分布漂移,使历史测试结果失效。评估应使用符合真实业务时间顺序的数据,并持续监控校准度、分群表现和漂移,必要时复核或重训。

最后,模型分数不是完整的风控机制。还需考虑可解释性、合规与公平要求、数据质量、人工复核和申诉流程,以及线上延迟和误报处置能力。稳妥做法是先明确风险与业务目标,再在独立的时间外样本上评估多种指标和阈值,结合损失测算与受控上线监测;准确率可以作为参考,但不能单独作为是否可用的依据。

相关阅读