DeepSeek DeepInfer: su motor de inferencia de producción, en código abierto

El 20 de octubre DeepSeek anunció en X que libera como código abierto DeepInfer, su framework interno de inferencia. Es el motor sobre el que funciona el servicio de producción DeepSeek-V4.1-Flash. El código está en GitHub con licencia Apache 2.0, y el hilo sobre el lanzamiento llegó al primer puesto de Hacker News.

¿Qué es DeepSeek DeepInfer?

Es el motor que toma los pesos de un modelo y los convierte en un servicio funcionando: reparte el trabajo entre aceleradores, agrupa las peticiones en batches y genera tokens lo más rápido y barato posible. Según el README, es «the high-performance inference framework that powers DeepSeek’s large-scale production services», y la versión publicada ofrece inferencia offline con las funciones clave para servir a gran escala.

Dentro hay, entre otras cosas:

1. Kernels propios de DeepSeek: FlashMLA, DeepGEMM, DeepEP, TileKernels y DeepSelect, bibliotecas que la empresa ya había publicado, además de kernels escritos en TileLang.
2. Paralelismo para un modelo MoE (mixture-of-experts): data parallelism para la atención y expert parallelism con balanceo de expertos (EPLB).
3. DSpark, decodificación especulativa con tokens borrador en la que el modelo decide cuántos merece la pena verificar.
4. SWA bounded replay, que limita el recálculo del prefill a un fragmento final corto.
5. Muestreo determinista (misma entrada, mismo resultado; de momento solo en NVIDIA) y structured outputs con regex, JSON Schema o gramática EBNF.

Como curiosidad, en los agradecimientos se lee que DeepInfer fue «originally built primarily on vLLM», con inspiración de SGLang y TensorRT-LLM.

¿Por qué está dando tanto que hablar?

Primero, es un giro de 180 grados. En la primavera de 2025, DeepSeek explicó en el repositorio open-infra-index que había pensado en liberar el motor completo, pero lo descartó: el código era un fork de vLLM muy modificado, atado a su infraestructura interna, y el equipo no tenía tiempo para mantener un proyecto grande. A cambio prometió ir separando bibliotecas sueltas. Ahora tenemos el motor entero.

Segundo, la escala. Según un resumen de Zhihu Frontier de una publicación técnica de DeepSeek en Zhihu, un solo clúster atiende 155 billones de tokens al día, con un 96 % de aciertos en la caché de entrada, un tiempo medio hasta el primer token de unos 400 ms y una generación de 230 tokens por segundo (hasta 300 en programación). Son cifras de producción que da la propia empresa, así que tomémoslas con cautela.

Tercero, la flexibilidad de hardware. Hay dos plataformas compatibles: GPU NVIDIA con arquitectura SM100 (Blackwell) y Huawei Ascend 950. Un acelerador chino en el motor de producción de uno de los laboratorios más comentados es noticia por sí mismo, como se ve en los comentarios de HN (desde «a nuclear bomb» hasta preguntas sobre los motivos).

Además, DeepSeek publicó la biblioteca deepseek-recipe, que según Zhihu Frontier es compatible con las API Chat Completions, Responses y Messages, con una tokenización igual a la de la API oficial.

¿Hay alguna pega?

Unas cuantas, y el README las enumera abiertamente:

1. Faltan piezas para un servicio completo: un sistema de KV cache, la separación de prefill y decodificación en nodos distintos (aunque la mayor parte de esa lógica ya está en el motor) y el balanceo de carga entre réplicas.
2. Un solo modelo: por ahora solo es compatible DeepSeek-V4.1-Flash.
3. Hardware de gama altísima: los benchmarks del README se midieron con 4 GPU SM100 para el prefill y 64 para la decodificación. En la tarjeta gráfica de casa no lo vamos a ejecutar (y tampoco es la idea ;)).

O sea, es más bien una receta para empresas y nubes que alojan modelos de DeepSeek que una herramienta para un entusiasta con una sola GPU. Pero como las optimizaciones de producción ya son públicas, otros proyectos pueden adoptarlas: el equipo de LightSeek escribió en X que su motor TokenSpeed «will learn from and adopt these optimizations».

¿Cómo probar DeepInfer?

Si tenemos acceso a GPU SM100 o a Ascend 950, basta con Linux, Python 3.12, GCC 13+ y CUDA 13 (o CANN 9.2 para Ascend). Compilamos el proyecto con ./build.sh y luego ejecutamos python examples/offline_inference.py. En la primera ejecución, el script descarga de Hugging Face el checkpoint DeepSeek-V4.1-Flash-1017.

Sin ese hardware, lo más sencillo es probar el propio modelo, por ejemplo DeepSeek V4.1 Flash gratis en OpenCode. Y si nos interesan otros modelos abiertos, vale la pena echar un vistazo al artículo sobre Reflection Beam.

FAQ

¿DeepInfer es gratis?

Sí. El código tiene licencia Apache 2.0, así que también se puede usar con fines comerciales.

¿DeepInfer funciona con modelos que no sean de DeepSeek?

De momento, no. El README solo menciona DeepSeek-V4.1-Flash.

¿DeepInfer sustituye a vLLM?

No del todo. Nació a partir de vLLM, pero está especializado en los modelos de DeepSeek y en dos plataformas de hardware, y para un servicio completo le falta, entre otras cosas, un sistema de KV cache.