DeepSeek DeepInfer: produktive Inferenz-Engine als Open Source

DeepSeek hat am 20. Oktober auf X angekündigt, DeepInfer als Open Source freizugeben, sein internes Framework für Inferenz. Darauf läuft der Produktivdienst DeepSeek-V4.1-Flash. Der Code liegt auf GitHub unter der Lizenz Apache 2.0, und der Thread dazu landete auf Platz eins bei Hacker News.

Was ist DeepSeek DeepInfer?

Eine Engine, die aus Modellgewichten einen laufenden Dienst macht: Sie verteilt die Arbeit auf die Beschleuniger, fasst Anfragen zu Batches zusammen und erzeugt Tokens so schnell und günstig wie möglich. Laut README ist es „the high-performance inference framework that powers DeepSeek’s large-scale production services“, und die veröffentlichte Version bietet Offline-Inferenz mit den wichtigsten Funktionen für den Betrieb im großen Maßstab.

Drin steckt unter anderem:

1. Eigene Kernel von DeepSeek: FlashMLA, DeepGEMM, DeepEP, TileKernels und DeepSelect, also Bibliotheken, die das Unternehmen schon früher veröffentlicht hat, plus Kernel in TileLang.
2. Parallelisierung für ein MoE-Modell (mixture-of-experts): Data Parallelism für die Attention und Expert Parallelism mit Lastverteilung zwischen den Experten (EPLB).
3. DSpark, also spekulatives Decoding mit Entwurfs-Tokens, bei dem das Modell selbst einschätzt, wie viele davon sich zu prüfen lohnen.
4. SWA bounded replay, das die erneute Berechnung des Prefills auf ein kurzes Endstück begrenzt.
5. Deterministisches Sampling (gleiche Eingabe, gleiches Ergebnis; vorerst nur auf NVIDIA) und Structured Outputs mit Regex, JSON Schema oder EBNF-Grammatik.

Interessant: In den Danksagungen heißt es, DeepInfer sei „originally built primarily on vLLM“, mit Anleihen bei SGLang und TensorRT-LLM.

Warum sorgt das für so viel Aufsehen?

Erstens ist es eine Kehrtwende um 180 Grad. Im Frühjahr 2025 hat DeepSeek im Repository open-infra-index beschrieben, dass man die Freigabe der ganzen Engine erwogen, dann aber verworfen hatte: Der Code war ein stark veränderter Fork von vLLM, eng mit der internen Infrastruktur verzahnt, und dem Team fehlte die Zeit, ein großes Projekt zu pflegen. Stattdessen versprach DeepSeek, einzelne Bibliotheken auszugliedern. Jetzt bekommen wir die komplette Engine.

Zweitens die Skalierung. Laut einer Zusammenfassung von Zhihu Frontier, die einen technischen Beitrag von DeepSeek auf Zhihu wiedergibt, verarbeitet ein einziger Cluster 155 Billionen Tokens pro Tag, bei 96 % Cache-Treffern auf der Eingabeseite, einer durchschnittlichen Zeit bis zum ersten Token von etwa 400 ms und 230 generierten Tokens pro Sekunde (bis zu 300 beim Programmieren). Das sind Produktionszahlen vom Unternehmen selbst, also nehmen wir sie mit Vorsicht.

Drittens die Flexibilität bei der Hardware. Unterstützt werden zwei Plattformen: NVIDIA-GPUs mit SM100-Architektur (Blackwell) und Huawei Ascend 950. Ein chinesischer Beschleuniger in der produktiven Engine eines der meistbeachteten Labs ist ein Thema für sich, wie auch die Kommentare auf HN zeigen (von „a nuclear bomb“ bis zu Fragen nach den Motiven).

Dazu hat DeepSeek die Bibliothek deepseek-recipe veröffentlicht, die laut Zhihu Frontier die APIs Chat Completions, Responses und Messages unterstützt, samt Tokenisierung wie in der offiziellen API.

Gibt es einen Haken?

Ein paar, und das README nennt sie offen:

1. Es fehlen Teile für einen vollständigen Dienst: ein KV-Cache-System, die Aufteilung von Prefill und Decoding auf getrennte Knoten (wobei der Großteil der Logik schon in der Engine steckt) und Load Balancing zwischen Replikas.
2. Ein einziges Modell: Vorerst wird nur DeepSeek-V4.1-Flash unterstützt.
3. Hardware aus dem obersten Regal: Die Benchmarks im README wurden auf 4 SM100-GPUs für den Prefill und 64 für das Decoding gemessen. Auf der Grafikkarte zu Hause bringen wir das nicht zum Laufen (und darum geht es auch nicht ;)).

Es ist also eher ein Rezept für Unternehmen und Clouds, die DeepSeek-Modelle hosten, als ein Werkzeug für Enthusiasten mit einer GPU. Aber weil die Produktionsoptimierungen jetzt offenliegen, können andere Projekte sie übernehmen: Das Team von LightSeek schrieb auf X, dass ihre Engine TokenSpeed „will learn from and adopt these optimizations“.

Wie lässt sich DeepInfer ausprobieren?

Wenn wir Zugang zu SM100-GPUs oder Ascend 950 haben, brauchen wir nur Linux, Python 3.12, GCC 13+ und CUDA 13 (bzw. CANN 9.2 für Ascend). Wir bauen das Projekt mit ./build.sh und starten dann python examples/offline_inference.py. Beim ersten Start lädt das Skript den Checkpoint DeepSeek-V4.1-Flash-1017 von Hugging Face herunter.

Ohne solche Hardware testen wir am einfachsten das Modell selbst, etwa DeepSeek V4.1 Flash kostenlos in OpenCode. Und wer sich für andere offene Modelle interessiert, sollte einen Blick in den Beitrag über Reflection Beam werfen.

FAQ

Ist DeepInfer kostenlos?

Ja. Der Code steht unter Apache 2.0, er darf also auch kommerziell genutzt werden.

Funktioniert DeepInfer auch mit anderen Modellen als denen von DeepSeek?

Vorerst nicht. Das README nennt nur DeepSeek-V4.1-Flash.

Ersetzt DeepInfer vLLM?

Nicht ganz. Es ist aus vLLM hervorgegangen, aber auf DeepSeek-Modelle und zwei Hardwareplattformen spezialisiert, und für einen vollständigen Dienst fehlt ihm unter anderem ein KV-Cache-System.