AI 落地的最后一道门槛,是模型不够强,智能体工程不够完善、还是推理成本太高?
通常不是三选一,而是要看应用走到哪一阶段;但对多数已经能做出原型的业务,最后一道门槛往往是智能体工程与成本共同构成的“可运营性”,而非单纯再换一个更强的模型。
模型能力是入场门槛:如果任务需要的准确率、上下文理解或工具调用能力达不到业务下限,工程优化只能减少故障,无法补出模型不会的能力。这时应先缩小任务范围、加入检索或规则校验,必要时再选更强模型。反过来,若模型在真实样本上已能稳定完成核心步骤,继续追求基准分数未必带来可感知的业务收益。
智能体工程决定这种能力能否稳定落地。真实系统要处理权限边界、工具调用失败、超时与重试、状态保存、幂等、人工接管、结果校验和可观测性。多步智能体尤其容易把单步的小错误累积成最终错误;因此应尽量缩短自主链路,在关键动作前做确定性检查,并记录每一步的输入、工具结果和失败原因。许多场景用“模型负责理解和建议、普通程序负责流程与约束”比完全自主的智能体更可靠。
推理成本则决定规模化后是否划算。不能只看单次调用价格,还要计入多轮调用、长上下文、失败重试、延迟带来的人工等待,以及审核和运维成本。可用模型分层、缓存、压缩上下文、限制迭代次数和把简单步骤交给小模型来控制成本,但必须以任务成功率和用户体验为约束,不能为了省 token 让错误率上升。
更实用的判断方法是拿真实任务做端到端试点,同时看成功率、需要人工介入的比例、单个成功任务的总成本和响应时间。如果模型本身经常无法完成核心任务,瓶颈在能力;如果演示效果好而线上结果不稳,瓶颈在工程;如果结果可靠但每次都不经济,瓶颈在成本或任务设计。先找出最影响业务指标的那一项,才知道该投模型、工程还是基础设施。