DeepSeek DeepInfer：本番用の推論エンジンがオープンソースに

DeepSeekは10月20日、社内の推論フレームワークDeepInferをオープンソース化するとXで発表しました。本番サービスのDeepSeek-V4.1-Flashを動かしている推論エンジンです。コードはGitHubで公開されており、ライセンスはApache 2.0。関連スレッドはHacker Newsで1位になりました。

DeepSeek DeepInfer 推論エンジンとは？

モデルの重みを受け取り、動くサービスに変えるエンジンです。処理をアクセラレータに分散し、リクエストをバッチにまとめ、できるだけ速く安くトークンを生成します。READMEによれば「the high-performance inference framework that powers DeepSeek’s large-scale production services」で、公開版は大規模運用に必要な主要機能を備えたオフライン推論を提供します。

中身の主なものは次のとおりです。

1. DeepSeek独自のカーネル：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect。いずれも同社が以前に公開したライブラリで、これにTileLangで書かれたカーネルが加わります。
2. MoE（mixture-of-experts）モデル向けの並列化：アテンションのdata parallelismと、エキスパートの負荷分散（EPLB）付きexpert parallelism。
3. DSpark：ドラフトトークンを使う投機的デコーディングで、どれだけ検証する価値があるかをモデル自身が判断します。
4. SWA bounded replay：prefillの再計算を末尾の短い区間だけに抑えます。
5. 決定的サンプリング（同じ入力なら同じ結果。現時点ではNVIDIAのみ）と、正規表現・JSON Schema・EBNF文法によるstructured outputs。

面白いことに、謝辞にはDeepInferが「originally built primarily on vLLM」とあり、SGLangとTensorRT-LLMからも着想を得たと書かれています。

なぜこれほど話題なのか？

まず、180度の方針転換です。2025年春、DeepSeekはopen-infra-indexリポジトリでエンジン全体の公開を検討したものの見送ったと説明していました。コードはvLLMを大きく改造したフォークで社内インフラと密結合しており、大規模プロジェクトを保守する余裕がチームになかったためです。代わりに個別のライブラリを切り出すと約束していました。それが今回、エンジン丸ごとの公開になりました。

次にスケールです。DeepSeekのZhihu上の技術記事をまとめたZhihu Frontierの要約によれば、1つのクラスターで1日155兆トークンを処理し、入力キャッシュのヒット率は96%、最初のトークンまでの平均時間は約400ms、生成速度は毎秒230トークン（コーディングでは最大300）です。会社自身が出している本番の数字なので、話半分で受け止めておきましょう。

そしてハードウェアの柔軟性です。対応プラットフォームは、SM100（Blackwell）アーキテクチャのNVIDIA GPUとHuawei Ascend 950の2つ。最も注目されるラボのひとつが本番エンジンで中国製アクセラレータを使っていること自体が大きな話題で、HNのコメントにもそれが表れています（「a nuclear bomb」から動機を問う声まで）。

さらにDeepSeekはdeepseek-recipeというライブラリも公開しました。Zhihu Frontierによると、Chat Completions、Responses、MessagesのAPIに対応し、公式APIと同じトークン化を行います。

何か落とし穴はある？

いくつかあり、READMEにも率直に書かれています。

1. 本格的なサービスには部品が足りない：KVキャッシュのシステム、prefillとデコードの別ノードへの分離（必要なロジックの大半はすでにエンジン内にあります）、レプリカ間のロードバランシング。
2. 対応モデルはひとつ：現時点ではDeepSeek-V4.1-Flashのみです。
3. 最上位クラスのハードウェア：READMEのベンチマークは、prefillにSM100 GPU 4基、デコードに64基で計測されています。家庭のグラフィックカードでは動かせません（そもそもそういう目的ではありません ;)）。

つまり、GPU1枚の愛好家向けのツールというより、DeepSeekのモデルをホストする企業やクラウド向けのレシピです。とはいえ本番の最適化が公開された以上、ほかのプロジェクトも取り込めます。LightSeekのチームは、自分たちのエンジンTokenSpeedが「will learn from and adopt these optimizations」とXに書いています。

DeepInferを試すには？

SM100 GPUかAscend 950が使えるなら、必要なのはLinux、Python 3.12、GCC 13以上、CUDA 13（AscendならCANN 9.2）だけです。./build.shでプロジェクトをビルドし、python examples/offline_inference.pyを実行します。初回実行時に、スクリプトがHugging FaceからDeepSeek-V4.1-Flash-1017のチェックポイントをダウンロードします。

そうしたハードウェアがなければ、モデルそのものを試すのが一番手軽です。たとえばOpenCodeで無料のDeepSeek V4.1 Flash。ほかのオープンモデルに興味があれば、Reflection Beamの記事もどうぞ。

FAQ

DeepInferは無料？

はい。コードはApache 2.0ライセンスなので、商用利用も可能です。

DeepInferはDeepSeek以外のモデルでも動く？

今のところ動きません。READMEに記載されているのはDeepSeek-V4.1-Flashだけです。

DeepInferはvLLMの代わりになる？

完全にはなりません。vLLMから生まれたものの、DeepSeekのモデルと2つのハードウェアプラットフォームに特化しており、本格的なサービスにはKVキャッシュのシステムなどが欠けています。