Inkling 2 Small: das 594B-MoE-Modell von Thinking Machines

Am 5. November hat Thinking Machines Lab, das Unternehmen von Mira Murati, Inkling 2 Small vorgestellt, das erste Modell seiner zweiten Generation. Inkling 2 Small ist ein MoE-Modell (Mixture of Experts) mit 594 Mrd. Parametern, davon 17 Mrd. aktiv. Es versteht Bilder und läuft bereits in Tinker, die vollständigen Gewichte unter der Apache-2.0-Lizenz sollen „nächste Woche“ erscheinen.

Was ist neu an Inkling 2 Small?

Seine ersten offenen Modelle, Inkling und Inkling-Small, hat Thinking Machines im Juli veröffentlicht. Die zweite Generation bringt drei Dinge, über die am meisten gesprochen wird:

1. Bilder als Eingabe. Das Modell hat einen Vision-Encoder mit 292 Mio. Parametern (auf Basis von Perception Encoder) und kann laut Ankündigung anhand eines Bildes sein eigenes visuelles Ergebnis prüfen, etwa eine generierte Webseite. Audio unterstützt es nicht.
2. Einstellbarer „Effort“: Wir können festlegen, wie viel das Modell über eine Aufgabe nachdenkt. Die Benchmarks hat das Unternehmen auf der Stufe „xhigh“ laufen lassen.
3. Lange Programmieraufgaben. Das Modell wurde mit RL auf langen Coding-Aufgaben trainiert, bewertet nicht nur mit Unit-Tests, sondern auch von Bewertungs-Agenten. Laut Thinking Machines befolgt es Anweisungen besser und prüft seine eigene Arbeit zuverlässiger als der erste Inkling.

Interessant: Das Unternehmen schreibt auch, dass Inkling 2 Small beim Fine-Tuning schneller lernt als die Vorgänger auf denselben Daten. Das passt zu Tinker, das genau eine Fine-Tuning-Plattform ist.

Wie schneidet es in Benchmarks ab?

Im Artificial Analysis Intelligence Index erreicht das Modell 31 Punkte. Einige weitere Ergebnisse aus der Ankündigung:

1. SWEBench Pro v2 (Hard): 86,3 %
2. DeepSWE v1.1: 72,1 %
3. Vibe Code Bench v1.1: 81,6 %
4. MMMU Pro (Bildverständnis): 81,6 %

Das sind Messungen von Thinking Machines selbst, also mit Vorsicht zu genießen. Positiv ist, dass das Unternehmen nicht behauptet, überall zu gewinnen: In einem Teil der Tabellen schneiden andere offene Modelle besser ab, und bei Alignment-Tests liegt Inkling 2 Small laut Ankündigung hinter geschlossenen Modellen.

Warum ist das gerade so ein Thema?

Erstens: offene Gewichte aus den USA. In der Diskussion auf Hacker News taucht immer wieder auf, dass amerikanische Labore bei Open-Weight-Modellen zu den chinesischen aufschließen (nach Kimi K3.1 Pro und Tencent Hy4). Ein Kommentator schreibt, das könnte das erste amerikanische Modell sein, das für den Großteil der Wissensarbeit „good enough“ ist.

Zweitens: das Tempo. Zwischen dem ersten Inkling und der zweiten Generation liegen keine vier Monate.

Drittens: der Preis. In Tinker kostet das Generieren 1 USD pro Million Tokens, Eingabe-Tokens (Prefill) 0,30 USD pro Million (0,03 USD aus dem Cache). Fine-Tuning kostet 1,50 USD pro Million Tokens bei 64K Kontext und 3 USD bei 256K (Tinker-Preise). In den Kommentaren hieß es allerdings auch, die Kosten pro Aufgabe lägen höher als bei DeepSeek.

Worauf sollten wir achten?

Erstens auf den Termin für die Gewichte. Noch sind sie nicht verfügbar. Das Unternehmen kündigt sie für „nächste Woche“ an, nach externen Sicherheitstests und Red-Teaming, ohne konkreten Tag. Diesen Prozess hat Thinking Machines im Juli im Beitrag „A safe path to open weights“ beschrieben: Die ersten Inklings testeten u. a. Scale AI, FAR.AI und Apollo Research.

Zweitens auf die Schwächen, die das Unternehmen selbst nennt: Das Modell ist weniger knapp, wählt bei vielen verfügbaren Skills manchmal ein suboptimales Tool, formatiert Chat-Antworten schwächer und reagiert auf Fragen zur psychischen Gesundheit mit übertriebenen Vorbehalten.

Drittens auf Ehrlichkeit bei schwierigen Aufgaben. In der Ankündigung heißt es, dass frühe Checkpoints bei schwierigen Aufgaben manchmal Ergebnisse erfanden oder ihre Aktionen verschleierten. Das Unternehmen hat u. a. eine Alignment-Belohnung ins RL eingebaut, trotzdem lohnt es sich zu prüfen, was das Modell meldet, wenn es als Agent arbeitet.

Wie können wir Inkling 2 Small ausprobieren?

Am einfachsten im Tinker Playground, wo wir mit dem Modell chatten und es über die Tinker-API auch fine-tunen können. Auf andere Plattformen soll das Modell „in den kommenden Wochen“ kommen, technische Details stehen in der Model Card.

Wenn die Gewichte erscheinen, ist das bei 594 Mrd. Parametern eher etwas für einen Server mit mehreren GPUs als für einen Laptop (mehr zur Hardware im Ratgeber KI lokal ausführen).

FAQ

Hat Inkling 2 Small offene Gewichte?

Noch nicht. Thinking Machines will die vollständigen Gewichte nächste Woche unter der Apache-2.0-Lizenz veröffentlichen, nach externen Sicherheitstests.

Was kostet Inkling 2 Small?

In Tinker 1 USD pro Million generierter Tokens und 0,30 USD pro Million Eingabe-Tokens. Fine-Tuning kostet ab 1,50 USD pro Million Tokens.

Wer steckt hinter Thinking Machines?

Thinking Machines Lab ist ein Unternehmen, das Mira Murati gegründet hat, die frühere CTO von OpenAI. Inkling 2 Small ist seine zweite Modellgeneration nach Inkling und Inkling-Small aus dem Juli.