有趣的事

DeepSeek 模型可以运行在哪些推理框架上?

DeepSeek 模型能运行在哪些推理框架上,主要取决于具体模型版本和部署硬件。常见选择包括:

  • Transformers:适合验证模型、做微调或使用其原生支持的模型实现;需要确认所用版本已支持对应架构和权重格式。
  • vLLM、SGLang、LMDeploy:常用于 GPU 在线推理,支持批处理、并发请求和显存管理。DeepSeek-V3、R1 这类大规模 MoE 模型通常还需要多卡、多机部署,并核对框架版本、并行策略及模型配置。
  • TensorRT-LLM:适合 NVIDIA GPU 上追求吞吐或延迟优化的部署,但模型结构、量化方式和硬件支持需逐项确认。
  • llama.cpp:适用于其支持的 GGUF 等转换格式,可在 CPU、Apple Silicon 或部分 GPU 环境运行;Ollama 等工具也常以此类本地推理后端提供便捷部署。实际可用性取决于具体权重是否已转换、量化以及该版本对模型结构的支持。

如果是 DeepSeek-R1-Distill 等较小的蒸馏模型,通常更容易用 Transformers、vLLM 或 llama.cpp 部署;若是完整的 V3/R1 模型,则应优先查看框架当前的官方模型支持表和显存、并行要求。选型时不要只看“能加载”,还要比较目标硬件上的上下文长度、量化精度、吞吐量和部署复杂度。

相关阅读