跳到正文

DeepSeek DeepInfer：生产级推理引擎正式开源

DeepSeek DeepInfer 是驱动 V4.1 Flash 的推理引擎，现以 Apache 2.0 开源。里面有什么、还缺什么、谁真正跑得起来。

Piotr Sobolewski1 分钟阅读

本文的其他语言版本：العربيةDeutschEnglishEspañolFrançaisItaliano日本語Polski

本文内容
  1. DeepSeek DeepInfer 推理引擎是什么？
  2. 为什么这么受关注？
  3. 有什么坑吗？
  4. 怎么试用 DeepInfer？
  5. FAQ

DeepSeek 于 10 月 20 日在 X 上宣布开源其内部推理框架 DeepInfer。生产环境中的 DeepSeek-V4.1-Flash 服务就跑在这个推理引擎上。代码已发布在 GitHub，采用 Apache 2.0 许可证，相关讨论帖还冲上了 Hacker News 第一名。

DeepSeek DeepInfer 推理引擎是什么？

它负责把模型权重变成一个能跑起来的服务：把工作分配到各个加速器上，把请求组成 batch，并尽可能快、尽可能便宜地生成 token。README 称它是“the high-performance inference framework that powers DeepSeek’s large-scale production services”，而这次发布的版本提供离线推理，以及大规模服务所需的关键功能。

里面包括：

  1. DeepSeek 自研 kernel：FlashMLA、DeepGEMM、DeepEP、TileKernels 和 DeepSelect，都是公司此前发布过的库，另外还有用 TileLang 写的 kernel。
  2. 针对 MoE（mixture-of-experts）模型的并行：注意力部分用 data parallelism，专家部分用带专家负载均衡（EPLB）的 expert parallelism。
  3. DSpark，即使用草稿 token 的投机解码，由模型自己判断其中有多少值得验证。
  4. SWA bounded replay，把 prefill 的重新计算限制在末尾一小段。
  5. 确定性采样（相同输入得到相同结果，目前仅支持 NVIDIA）以及支持正则、JSON Schema 或 EBNF 语法的 structured outputs。

有意思的是，致谢部分写道 DeepInfer“originally built primarily on vLLM”，同时借鉴了 SGLang 和 TensorRT-LLM。

为什么这么受关注？

第一，这是 180 度的转变。2025 年春天，DeepSeek 在 open-infra-index 仓库中说明，他们曾考虑开源整个引擎，但最终放弃：代码是大幅改动过的 vLLM 分支，与内部基础设施深度耦合，团队也没有精力维护一个大型项目。作为替代，他们承诺逐步拆出独立的库。现在，我们拿到了完整的引擎。

第二，规模。根据 Zhihu Frontier 的总结（概述了 DeepSeek 在知乎上的技术文章），单个集群每天处理 155 万亿 token，输入缓存命中率 96%，首 token 平均延迟约 400 毫秒，生成速度每秒 230 个 token（编程场景最高 300）。这些是公司自己给出的生产数据，我们姑且谨慎看待。

第三，硬件灵活性。目前支持两个平台：SM100（Blackwell）架构的 NVIDIA GPU 和华为昇腾 Ascend 950。最受瞩目的实验室之一在生产引擎里用上中国加速器，这本身就是个话题，HN 上的评论也能看出来（从“a nuclear bomb”到对动机的质疑）。

此外，DeepSeek 还发布了 deepseek-recipe 库。据 Zhihu Frontier 介绍，它支持 Chat Completions、Responses 和 Messages 三种 API，分词方式与官方 API 保持一致。

有什么坑吗？

有几个，README 也坦率地列了出来：

  1. 离完整服务还缺几块：KV cache 系统、把 prefill 和解码拆到不同节点上（不过大部分所需逻辑已经在引擎里了），以及副本之间的负载均衡。
  2. 只支持一个模型：目前只支持 DeepSeek-V4.1-Flash。
  3. 顶级硬件：README 里的基准测试用了 4 块 SM100 GPU 做 prefill、64 块做解码。家用显卡是跑不起来的（这也不是它的目标 ;)）。

所以，它更像是给托管 DeepSeek 模型的公司和云厂商的一份“配方”，而不是给只有一块 GPU 的爱好者的工具。不过既然生产级优化已经公开，其他项目就可以拿来用：LightSeek 团队在 X 上表示，他们的 TokenSpeed 引擎“will learn from and adopt these optimizations”。

怎么试用 DeepInfer？

如果我们能用上 SM100 GPU 或 Ascend 950，只需要 Linux、Python 3.12、GCC 13+ 和 CUDA 13（Ascend 则用 CANN 9.2）。先用 ./build.sh 构建项目，再运行 python examples/offline_inference.py。首次运行时，脚本会从 Hugging Face 下载 DeepSeek-V4.1-Flash-1017 检查点。

没有这种硬件的话，最简单的是直接体验模型本身，比如在 OpenCode 中免费使用 DeepSeek V4.1 Flash。如果对其他开放模型感兴趣，也可以看看关于 Reflection Beam 的文章。

FAQ

DeepInfer 免费吗？

免费。代码采用 Apache 2.0 许可证，也可以商用。

DeepInfer 支持 DeepSeek 以外的模型吗？

暂时不支持。README 里只列出了 DeepSeek-V4.1-Flash。

DeepInfer 能取代 vLLM 吗？

不完全能。它源自 vLLM，但专门针对 DeepSeek 模型和两个硬件平台，而且要做成完整服务还缺少 KV cache 系统等组件。