DeepSeek DeepInfer: produkcyjny silnik inferencji jako open source

DeepSeek 20 października ogłosił na X, że udostępnia jako open source DeepInfer, czyli swój wewnętrzny framework do inferencji. To na nim działa produkcyjna usługa DeepSeek-V4.1-Flash. Kod jest na GitHubie na licencji Apache 2.0, a wątek o nim trafił na pierwsze miejsce Hacker News.

Czym jest DeepSeek DeepInfer?

To silnik, który bierze wagi modelu i zamienia je w działającą usługę: dzieli pracę między akceleratory, układa zapytania w batche i generuje tokeny możliwie szybko i tanio. Według README to „the high-performance inference framework that powers DeepSeek’s large-scale production services”, a opublikowana wersja daje inferencję offline z kluczowymi funkcjami potrzebnymi do obsługi na dużą skalę.

W środku m.in.:

1. Własne kernele DeepSeeka: FlashMLA, DeepGEMM, DeepEP, TileKernels i DeepSelect, czyli biblioteki publikowane przez firmę wcześniej, plus kernele w TileLang.
2. Równoległość pod model MoE (mixture-of-experts): data parallelism dla atencji i expert parallelism z balansowaniem ekspertów (EPLB).
3. DSpark, czyli spekulacyjne dekodowanie z tokenami-szkicami, w którym model ocenia, ile z nich warto weryfikować.
4. SWA bounded replay, który ogranicza ponowne liczenie prefillu do krótkiego końcowego fragmentu.
5. Deterministyczne próbkowanie (ten sam wynik dla tego samego wejścia, na razie tylko na NVIDIA) i structured outputs z regexem, JSON Schema albo gramatyką EBNF.

Co ciekawe, w podziękowaniach czytamy, że DeepInfer powstał „originally built primarily on vLLM”, z inspiracjami z SGLang i TensorRT-LLM.

Dlaczego jest o tym głośno?

Po pierwsze, to zmiana o 180 stopni. Wiosną 2025 roku DeepSeek opisał w repozytorium open-infra-index, że rozważał udostępnienie całego silnika, ale zrezygnował: kod był mocno zmienionym forkiem vLLM, związanym z wewnętrzną infrastrukturą, a zespół nie miał czasu na utrzymanie dużego projektu. Zamiast tego obiecał wydzielać pojedyncze biblioteki. Teraz dostajemy cały silnik.

Po drugie, skalowanie. Według podsumowania Zhihu Frontier, które streszcza techniczny wpis DeepSeeka na Zhihu, jeden klaster obsługuje 155 bilionów tokenów dziennie, przy 96% trafień w cache wejścia, średnim czasie do pierwszego tokena ok. 400 ms i generowaniu 230 tokenów na sekundę (do 300 przy kodowaniu). To dane z produkcji podawane przez samą firmę, więc traktujmy je z dystansem.

Po trzecie, elastyczność sprzętowa. Obsługiwane są dwie platformy: GPU NVIDIA z architekturą SM100 (Blackwell) i Huawei Ascend 950. Chiński akcelerator w produkcyjnym silniku jednego z najgłośniejszych laboratoriów to temat sam w sobie, co widać też po komentarzach na HN (od „a nuclear bomb” po pytania o motywy).

Do tego DeepSeek opublikował bibliotekę deepseek-recipe, która według Zhihu Frontier obsługuje API Chat Completions, Responses i Messages oraz tokenizację zgodną z oficjalnym API.

Czy jest jakiś haczyk?

Jest kilka, i README wymienia je otwarcie:

1. Brakuje części do pełnej usługi: systemu KV cache, rozdzielenia prefillu i dekodowania na osobne węzły (choć większość potrzebnej logiki jest już w silniku) oraz load balancingu między replikami.
2. Jeden model: na razie obsługiwany jest tylko DeepSeek-V4.1-Flash.
3. Sprzęt z najwyższej półki: benchmarki w README zmierzono na 4 GPU SM100 dla prefillu i 64 dla dekodowania. Na domowej karcie graficznej tego nie uruchomimy (i nie o to chodzi ;)).

Czyli to raczej przepis dla firm i chmur, które hostują modele DeepSeeka, niż narzędzie dla entuzjasty z jednym GPU. Ale skoro produkcyjne optymalizacje są jawne, mogą je przejąć inne projekty: zespół LightSeek napisał na X, że ich silnik TokenSpeed „will learn from and adopt these optimizations”.

Jak wypróbować DeepInfer?

Jeśli mamy dostęp do GPU SM100 albo Ascend 950, wystarczy Linux, Python 3.12, GCC 13+ i CUDA 13 (lub CANN 9.2 dla Ascend). Budujemy projekt skryptem ./build.sh, a potem uruchamiamy python examples/offline_inference.py. Przy pierwszym uruchomieniu skrypt pobierze z Hugging Face checkpoint DeepSeek-V4.1-Flash-1017.

Bez takiego sprzętu najprościej sprawdzić sam model, np. DeepSeek V4.1 Flash za darmo w OpenCode. A jeśli interesują nas inne otwarte modele, warto zajrzeć do tekstu o Reflection Beam.

FAQ

Czy DeepInfer jest darmowy?

Tak. Kod jest na licencji Apache 2.0, więc można go używać także komercyjnie.

Czy DeepInfer działa z innymi modelami niż DeepSeek?

Na razie nie. README wymienia tylko DeepSeek-V4.1-Flash.

Czy DeepInfer zastępuje vLLM?

Nie do końca. Wyrósł z vLLM, ale jest wyspecjalizowany pod modele DeepSeeka i dwie platformy sprzętowe, a do pełnej usługi brakuje mu m.in. systemu KV cache.