英伟达称智能体吞吐量最高提升 30 倍,其破局内存瓶颈的技术原理是什么?
“吞吐量最高提升 30 倍”通常不是说单个智能体的推理延迟必然缩短到原来的三十分之一,而是指在特定模型、上下文长度、并发量和硬件配置下,系统每秒能处理的请求或生成 token 数显著增加。关键在于让 GPU 少等数据、少做重复计算,并让更多请求共享昂贵的模型状态。
智能体工作流尤其容易撞上内存瓶颈:模型权重常驻显存之外,每个进行中的对话还要保存注意力的键值缓存(KV cache)。上下文越长、并发会话越多,KV cache 占用近似随“层数 × 序列长度 × KV 头维度 × 会话数”增长。显存容量限制了可同时服务的会话数;显存带宽不足时,解码每生成一个 token 都要反复读取大量权重和缓存,计算单元反而可能闲置。智能体还会调用工具、等待结果并继续生成,调度不佳会留下更多低效的驻留状态。
这类优化一般从几方面入手: - 更紧凑地存 KV cache:对缓存做低精度量化或压缩,在可接受的精度损失下减少每个会话的显存占用和读写流量,从而提高并发度。 - 避免重复保存与计算:对共享的系统提示词或相同前缀复用缓存;采用分页式 KV 管理,按需分配和回收块,减少连续大块预留造成的碎片与浪费。前缀复用对许多请求共享相同前缀的场景更有效。 - 提高批处理和调度效率:把不同请求的解码步骤动态合批,并及时纳入新请求;对智能体的暂停、工具调用和恢复进行调度,避免某个请求等待时长期占住资源。批次变大通常能提高吞吐,但也可能增加排队时间和单请求延迟。 - 针对模型结构与硬件优化:例如减少 KV 头、使用分组查询注意力等方式降低缓存需求,或改进内存访问和算子融合。若模型结构已固定,这类手段可能需要重新训练或模型版本支持,不能只靠运行时开关获得。
因此,提升来自“单位显存可容纳更多有效会话”与“单位时间内存搬运和 GPU 计算更有效”的叠加。30 倍应理解为特定基准下相对某个基线的峰值,不是所有模型、上下文长度和真实工作负载都能达到的保证;比较时还应看相同质量要求下的吞吐、首 token 延迟、每 token 延迟、并发数及显存占用。