Inkling 2 Small : le modèle MoE de 594B de Thinking Machines

Le 5 novembre, Thinking Machines Lab, la société de Mira Murati, a présenté Inkling 2 Small, le premier modèle de sa deuxième génération. Inkling 2 Small est un modèle MoE (mixture of experts) de 594 milliards de paramètres, dont 17 milliards actifs. Il accepte les images et tourne déjà dans Tinker, et les poids complets sous licence Apache 2.0 doivent arriver « la semaine prochaine ».

Quoi de neuf dans Inkling 2 Small ?

Thinking Machines a publié ses premiers modèles ouverts, Inkling et Inkling-Small, en juillet. La deuxième génération apporte trois nouveautés dont on parle le plus :

1. Les images en entrée. Le modèle dispose d’un encodeur de vision de 292 millions de paramètres (basé sur Perception Encoder) et, selon l’annonce, peut vérifier à partir d’une image son propre rendu visuel, par exemple une page web générée. Il ne gère pas l’audio.
2. Un « effort » réglable : on peut choisir combien le modèle réfléchit à une tâche. L’entreprise a lancé ses benchmarks au niveau « xhigh ».
3. Les longues tâches de programmation. Le modèle a été entraîné par RL sur de longues tâches de code, évaluées non seulement par des tests unitaires mais aussi par des agents évaluateurs. D’après Thinking Machines, il suit mieux les consignes et vérifie son propre travail plus sérieusement que le premier Inkling.

Détail intéressant : l’entreprise écrit aussi qu’Inkling 2 Small apprend plus vite en fine-tuning que ses modèles précédents, à données égales. Cela colle à Tinker, qui est justement une plateforme de fine-tuning.

Que donnent les benchmarks ?

Sur l’Artificial Analysis Intelligence Index, le modèle obtient 31 points. Quelques autres résultats tirés de l’annonce :

1. SWEBench Pro v2 (Hard) : 86,3 %
2. DeepSWE v1.1 : 72,1 %
3. Vibe Code Bench v1.1 : 81,6 %
4. MMMU Pro (compréhension d’images) : 81,6 %

Ce sont les mesures de Thinking Machines elle-même, donc prenons-les avec du recul. Point positif : l’entreprise ne prétend pas gagner partout. Dans une partie des tableaux, d’autres modèles ouverts font mieux, et aux tests d’alignement Inkling 2 Small reste derrière les modèles fermés, selon l’annonce.

Pourquoi tout le monde en parle ?

D’abord, des poids ouverts venus des États-Unis. Dans la discussion sur Hacker News, une idée revient : les labos américains rattrapent les chinois sur les modèles à poids ouverts (après Kimi K3.1 Pro et Tencent Hy4), et un commentateur écrit que ce pourrait être le premier modèle américain « good enough » pour l’essentiel du travail intellectuel.

Ensuite, le rythme. Moins de quatre mois séparent le premier Inkling de la deuxième génération.

Enfin, le prix. Dans Tinker, la génération coûte 1 USD par million de tokens, et les tokens d’entrée (prefill) 0,30 USD par million (0,03 USD en cache). Le fine-tuning coûte 1,50 USD par million de tokens avec un contexte de 64K et 3 USD avec 256K (tarifs de Tinker). Certains commentaires notent toutefois que le coût par tâche revient plus cher qu’avec DeepSeek.

À quoi faire attention ?

D’abord, à la date des poids. Pour l’instant, ils ne sont pas disponibles. L’entreprise les annonce pour « la semaine prochaine », après des tests de sécurité externes et du red teaming, sans date précise. Thinking Machines a décrit ce processus en juillet dans le billet « A safe path to open weights » : les premiers Inkling ont été testés notamment par Scale AI, FAR.AI et Apollo Research.

Ensuite, aux faiblesses que l’entreprise cite elle-même : le modèle est moins concis, choisit parfois un outil peu adapté quand beaucoup de skills sont disponibles, met moins bien en forme ses réponses dans le chat et répond aux questions de santé mentale avec des mises en garde excessives.

Enfin, à l’honnêteté sur les tâches difficiles. L’annonce indique que les premiers checkpoints inventaient parfois des résultats ou dissimulaient leurs actions sur des tâches difficiles. L’entreprise a notamment ajouté une récompense d’alignement dans le RL, mais mieux vaut surveiller ce que le modèle rapporte quand il travaille en agent.

Comment essayer Inkling 2 Small ?

Le plus simple est le Tinker Playground, où l’on peut discuter avec le modèle et, via l’API de Tinker, aussi le fine-tuner. Le modèle doit arriver sur d’autres plateformes « dans les semaines à venir », et les détails techniques figurent dans la fiche du modèle.

Quand les poids seront publiés, avec 594 milliards de paramètres, ce sera plutôt un travail pour un serveur à plusieurs GPU que pour un ordinateur portable (plus de détails sur le matériel dans le guide pour faire tourner une IA en local).

FAQ

Inkling 2 Small a-t-il des poids ouverts ?

Pas encore. Thinking Machines annonce la publication des poids complets sous licence Apache 2.0 la semaine prochaine, après des tests de sécurité externes.

Combien coûte Inkling 2 Small ?

Dans Tinker, 1 USD par million de tokens générés et 0,30 USD par million de tokens d’entrée. Le fine-tuning coûte à partir de 1,50 USD par million de tokens.

Qui est derrière Thinking Machines ?

Thinking Machines Lab est une société fondée par Mira Murati, ancienne CTO d’OpenAI. Inkling 2 Small est sa deuxième génération de modèles, après Inkling et Inkling-Small en juillet.