DeepSeek DeepInfer: il motore di inferenza di produzione diventa open source

Il 20 ottobre DeepSeek ha annunciato su X di rilasciare come open source DeepInfer, il suo framework interno per l’inferenza. È il motore su cui gira il servizio di produzione DeepSeek-V4.1-Flash. Il codice è su GitHub con licenza Apache 2.0, e il thread dedicato è arrivato al primo posto su Hacker News.

Che cos’è DeepSeek DeepInfer?

È il motore che prende i pesi di un modello e li trasforma in un servizio funzionante: divide il lavoro tra gli acceleratori, raggruppa le richieste in batch e genera token il più velocemente ed economicamente possibile. Secondo il README è «the high-performance inference framework that powers DeepSeek’s large-scale production services», e la versione pubblicata offre l’inferenza offline con le funzioni chiave per servire su larga scala.

Dentro ci sono, tra l’altro:

1. I kernel proprietari di DeepSeek: FlashMLA, DeepGEMM, DeepEP, TileKernels e DeepSelect, cioè librerie che l’azienda aveva già pubblicato, più kernel scritti in TileLang.
2. Parallelismo per un modello MoE (mixture-of-experts): data parallelism per l’attention ed expert parallelism con bilanciamento degli esperti (EPLB).
3. DSpark, cioè decodifica speculativa con token bozza, in cui il modello valuta quanti di questi vale la pena verificare.
4. SWA bounded replay, che limita il ricalcolo del prefill a un breve frammento finale.
5. Campionamento deterministico (stesso input, stesso risultato; per ora solo su NVIDIA) e structured outputs con regex, JSON Schema o grammatica EBNF.

Curiosamente, nei ringraziamenti si legge che DeepInfer è stato «originally built primarily on vLLM», con ispirazioni da SGLang e TensorRT-LLM.

Perché se ne parla così tanto?

Primo, è un’inversione a 180 gradi. Nella primavera del 2025 DeepSeek aveva spiegato nel repository open-infra-index di aver valutato il rilascio dell’intero motore, per poi rinunciare: il codice era un fork di vLLM pesantemente modificato, legato all’infrastruttura interna, e il team non aveva tempo per mantenere un progetto grande. Al suo posto aveva promesso di estrarre singole librerie. Ora abbiamo il motore completo.

Secondo, la scalabilità. Secondo un riassunto di Zhihu Frontier di un post tecnico di DeepSeek su Zhihu, un singolo cluster gestisce 155 bilioni di token al giorno, con il 96% di hit nella cache di input, un tempo medio al primo token di circa 400 ms e una generazione di 230 token al secondo (fino a 300 per il codice). Sono dati di produzione forniti dall’azienda stessa, quindi prendiamoli con le pinze.

Terzo, la flessibilità hardware. Le piattaforme supportate sono due: GPU NVIDIA con architettura SM100 (Blackwell) e Huawei Ascend 950. Un acceleratore cinese nel motore di produzione di uno dei laboratori più chiacchierati è una notizia a sé, come mostrano anche i commenti su HN (da «a nuclear bomb» alle domande sulle motivazioni).

In più, DeepSeek ha pubblicato la libreria deepseek-recipe che, secondo Zhihu Frontier, supporta le API Chat Completions, Responses e Messages, con una tokenizzazione identica a quella dell’API ufficiale.

C’è qualche fregatura?

Qualcuna sì, e il README le elenca apertamente:

1. Mancano pezzi per un servizio completo: un sistema di KV cache, la separazione di prefill e decodifica su nodi distinti (anche se gran parte della logica è già nel motore) e il load balancing tra le repliche.
2. Un solo modello: per ora è supportato solo DeepSeek-V4.1-Flash.
3. Hardware di fascia altissima: i benchmark del README sono stati misurati su 4 GPU SM100 per il prefill e 64 per la decodifica. Sulla scheda grafica di casa non lo faremo girare (e non è quello lo scopo ;)).

Insomma, è più una ricetta per aziende e cloud che ospitano i modelli DeepSeek che uno strumento per un appassionato con una sola GPU. Ma visto che le ottimizzazioni di produzione sono ora pubbliche, altri progetti possono adottarle: il team di LightSeek ha scritto su X che il loro motore TokenSpeed «will learn from and adopt these optimizations».

Come provare DeepInfer?

Se abbiamo accesso a GPU SM100 o ad Ascend 950, bastano Linux, Python 3.12, GCC 13+ e CUDA 13 (oppure CANN 9.2 per Ascend). Compiliamo il progetto con ./build.sh e poi lanciamo python examples/offline_inference.py. Al primo avvio lo script scarica da Hugging Face il checkpoint DeepSeek-V4.1-Flash-1017.

Senza un hardware del genere, la cosa più semplice è provare il modello stesso, per esempio DeepSeek V4.1 Flash gratis in OpenCode. E se ci interessano altri modelli aperti, vale la pena dare un’occhiata all’articolo su Reflection Beam.

FAQ

DeepInfer è gratuito?

Sì. Il codice è sotto licenza Apache 2.0, quindi si può usare anche a fini commerciali.

DeepInfer funziona con modelli diversi da quelli di DeepSeek?

Per ora no. Il README cita solo DeepSeek-V4.1-Flash.

DeepInfer sostituisce vLLM?

Non proprio. È nato da vLLM, ma è specializzato per i modelli DeepSeek e due piattaforme hardware, e per un servizio completo gli manca, tra l’altro, un sistema di KV cache.