有趣的事

智能体催生千倍 token 需求、跨设备交互等变化,芯片行业该做出哪些针对性调整?

智能体带来的变化,不只是“模型调用次数变多”,而是工作负载从一次性、短上下文的问答,转向多轮规划、工具调用、检索、代码执行和结果校验。一次用户请求可能拆成多次模型推理;同时,长上下文、并发会话和持续运行会把 KV Cache、显存容量、内存带宽、互联带宽以及服务调度推到更重要的位置。所谓 token 需求增长多少倍,取决于任务长度、智能体循环次数、模型大小、缓存命中率和产品使用率,不能直接当作所有芯片都同比例增长的确定预测。

芯片厂商首先应按真实工作负载优化系统,而不是只追峰值算力。推理侧要兼顾低批量时延和高并发吞吐:提升低精度计算效率,同时保证精度与稳定性;扩大高带宽内存容量和带宽,优化 KV Cache 管理、分页与复用;改善芯片间互联和节点间通信,避免多卡扩展时通信成为瓶颈。对频繁出现的短提示、工具调用和小模型任务,低启动开销、快速上下文切换和更好的能效可能比单纯增加峰值 FLOPS 更有价值。

其次,产品形态会更分层。可把大模型用于复杂规划和难例,把较小模型或专用加速单元用于分类、路由、摘要、语音唤醒等高频环节;在合适的任务上采用投机解码、批处理和缓存,但需衡量额外显存占用、尾延迟和输出质量。芯片、编译器、运行时、推理框架及云端调度需要协同设计,并提供可迁移的软件栈和稳定工具链,减少开发者针对单一硬件反复适配的成本。

跨设备交互则要求重新平衡云端与终端。手机、电脑、汽车和可穿戴设备上的本地 NPU 适合低时延、离线、隐私敏感或网络不稳定的任务;需要大模型、复杂工具链或集中更新的部分仍可放在云端。实际方案应依据模型规模、功耗与散热、内存容量、网络条件、隐私要求和响应时延决定切分位置,并让任务能在断网或端云切换时降级运行。终端芯片还要重视常开低功耗、内存与传感器数据通路、安全隔离及本地模型更新,而不只是标称 TOPS。

最后,产业投资宜以可验证的需求信号迭代:跟踪每类任务的 token/请求、上下文长度、缓存命中率、并发与尾延迟、每 token 能耗和总拥有成本,再据此调整内存、封装、互联和产能布局。智能体确实可能扩大推理市场,但软件效率提升、模型压缩、缓存和任务路由也会降低单位任务的算力消耗;因此更稳妥的方向是打造灵活、能效高、软硬件协同且可覆盖云边端的产品组合,而不是押注单一的“千倍”预测。

相关阅读