有趣的事

如何判断一个大模型的 API 服务是否稳定?

判断大模型 API 是否稳定,不能只看“能不能调通”,最好按真实业务流量连续观察一段时间,并把服务端问题和客户端问题区分开。

先看可用性:记录请求总数、成功数、超时数和各类 HTTP/业务错误码,计算成功率;429 通常意味着限流或配额约束,5xx 更可能是服务端故障,但也要结合响应体判断。再看延迟分布,重点关注 P95、P99,而不只是平均值:平均值正常时,少量特别慢的请求仍可能拖垮交互体验。

其次检查输出与能力是否稳定。固定一组覆盖常见输入、长上下文、结构化输出、工具调用等场景的回归样例,比较格式是否合规、是否频繁截断、是否出现空响应,以及模型或版本变更后结果是否明显漂移。生成内容本身有随机性,因此应评估任务指标和约束满足情况,不要求每次措辞完全一致。

测试要贴近生产:使用实际的并发、输入长度和输出上限,覆盖高峰时段;区分冷启动与持续请求,并分别测试流式和非流式调用。还应验证超时、重试、退避、幂等处理和备用方案。重试不能无限进行,尤其要考虑限流响应及重复提交可能造成的成本或副作用。

最后把结果按时间、模型版本、区域和错误类型分组,并设置告警阈值。单次成功或短时间压测只能说明当时可用;更可靠的判断来自长期监控、版本回归和故障时的恢复表现。若服务商没有公开 SLA,可用自己的历史数据制定可接受的成功率和 P95/P99 延迟目标。

相关阅读