有趣的事

调用大模型 API 时如何控制成本和响应延迟?

调用大模型 API 时,成本和延迟通常都受输入/输出 token 数、模型档位、请求次数及服务端排队影响,可以从这几处入手:

  1. 先控制 token 用量。 精简系统提示词和重复上下文;对长对话只保留必要历史,或先做摘要再带入;检索增强时限制召回条数、切块长度,并去掉低相关内容。给输出设置合理的上限(如 max_tokens),避免模型生成过长答案。注意:上限只是边界,具体计费仍以实际输入和输出 token 为准。
  2. 按任务选模型。 分类、抽取、改写等简单任务可先用成本较低、响应较快的模型;复杂推理再路由到更强模型。用代表性样本评估质量,设置置信度或规则阈值,低把握时升级模型,而不是所有请求都默认走最贵的档位。
  3. 减少不必要的调用。 对完全相同或可复用的请求做缓存;把可独立处理的小任务合并成批处理(前提是接口支持且不影响时效);能用确定性代码完成的校验、格式转换,不必交给模型。缓存键应包含模型版本、提示词版本及关键参数,避免配置变更后误用旧结果。
  4. 降低感知延迟并控制并发。 交互场景可使用流式输出,让首段内容先返回;控制输入长度和输出长度,并在应用侧监测排队时间、首 token 时间和总耗时。并发不要无限增大:过高会触发限流、排队和重试,反而增加延迟与成本。
  5. 设计稳健的超时和重试。 设置与业务相符的超时,只对限流或暂时性服务错误做有限次数的指数退避,并加入随机抖动;不要对无幂等保障的请求盲目重试。记录模型、token 数、缓存命中、状态码和耗时,按请求类型比较质量、成本及 p95 延迟,再逐项调整。

建议先建立基线,再一次只改一个因素做对比。若业务对答案质量要求高,成本优化不应只看单次价格,还要把失败率、重试次数和人工返工一起计入。

相关阅读