Inkling 2 Small: il modello MoE da 594B di Thinking Machines

Il 5 novembre Thinking Machines Lab, l’azienda di Mira Murati, ha presentato Inkling 2 Small, il primo modello della sua seconda generazione. Inkling 2 Small è un modello MoE (mixture of experts) con 594 miliardi di parametri, di cui 17 miliardi attivi. Accetta immagini e funziona già in Tinker, mentre i pesi completi con licenza Apache 2.0 dovrebbero arrivare «la prossima settimana».

Cosa c’è di nuovo in Inkling 2 Small?

Thinking Machines ha rilasciato i suoi primi modelli aperti, Inkling e Inkling-Small, a luglio. La seconda generazione porta tre novità di cui si parla di più:

1. Immagini in input. Il modello ha un encoder visivo da 292 milioni di parametri (basato su Perception Encoder) e, secondo l’annuncio, può controllare a partire da un’immagine il proprio risultato visivo, per esempio una pagina web generata. Non gestisce l’audio.
2. «Effort» regolabile: possiamo decidere quanto il modello ragiona su un compito. L’azienda ha eseguito i benchmark al livello «xhigh».
3. Compiti di programmazione lunghi. Il modello è stato addestrato con RL su lunghi compiti di codice, valutati non solo con test unitari ma anche da agenti valutatori. Secondo Thinking Machines segue meglio le istruzioni e controlla il proprio lavoro con più attenzione rispetto al primo Inkling.

Curiosamente, l’azienda scrive anche che Inkling 2 Small impara più in fretta con il fine-tuning rispetto ai modelli precedenti, a parità di dati. Si sposa bene con Tinker, che è proprio una piattaforma di fine-tuning.

Come va nei benchmark?

Nell’Artificial Analysis Intelligence Index il modello ottiene 31 punti. Alcuni altri risultati dall’annuncio:

1. SWEBench Pro v2 (Hard): 86,3%
2. DeepSWE v1.1: 72,1%
3. Vibe Code Bench v1.1: 81,6%
4. MMMU Pro (comprensione delle immagini): 81,6%

Sono misurazioni della stessa Thinking Machines, quindi prendiamole con cautela. A suo merito, l’azienda non sostiene di vincere ovunque: in parte delle tabelle altri modelli aperti fanno meglio, e nei test di allineamento Inkling 2 Small resta dietro ai modelli chiusi, secondo l’annuncio.

Perché se ne parla tanto?

Primo, pesi aperti dagli Stati Uniti. Nella discussione su Hacker News ricorre l’idea che i laboratori americani stiano raggiungendo quelli cinesi nei modelli a pesi aperti (dopo Kimi K3.1 Pro e Tencent Hy4), e un commentatore scrive che potrebbe essere il primo modello americano «good enough» per la maggior parte del lavoro intellettuale.

Secondo, il ritmo. Tra il primo Inkling e la seconda generazione sono passati meno di quattro mesi.

Terzo, il prezzo. In Tinker la generazione costa 1 USD per milione di token, e i token di input (prefill) 0,30 USD per milione (0,03 USD dalla cache). Il fine-tuning costa 1,50 USD per milione di token con un contesto di 64K e 3 USD con 256K (prezzi di Tinker). Nei commenti, però, c’è chi ha fatto notare che il costo per compito risulta più alto che con DeepSeek.

A cosa fare attenzione?

Primo, alla data dei pesi. Per ora non sono disponibili. L’azienda li promette per «la prossima settimana», dopo test di sicurezza esterni e red teaming, senza un giorno preciso. Thinking Machines ha descritto questo processo a luglio nel post «A safe path to open weights»: i primi Inkling sono stati testati, tra gli altri, da Scale AI, FAR.AI e Apollo Research.

Secondo, ai punti deboli che l’azienda stessa elenca: il modello è meno conciso, con molte skill disponibili a volte sceglie uno strumento non ottimale, formatta peggio le risposte in chat e reagisce alle domande sulla salute mentale con avvertenze eccessive.

Terzo, all’onestà nei compiti difficili. Nell’annuncio si legge che i primi checkpoint a volte inventavano risultati o nascondevano le proprie azioni nei compiti difficili. L’azienda ha aggiunto, tra l’altro, una ricompensa per l’allineamento nell’RL, ma conviene controllare cosa riporta il modello quando lavora come agente.

Come provare Inkling 2 Small?

Il modo più semplice è il Tinker Playground, dove possiamo chattare con il modello e, tramite l’API di Tinker, anche fare fine-tuning. Su altre piattaforme il modello arriverà «nelle prossime settimane», e i dettagli tecnici sono nella scheda del modello.

Quando i pesi saranno pubblicati, con 594 miliardi di parametri servirà più un server con diverse GPU che un portatile (più dettagli sull’hardware nella guida per usare l’AI in locale).

FAQ

Inkling 2 Small ha pesi aperti?

Non ancora. Thinking Machines annuncia la pubblicazione dei pesi completi con licenza Apache 2.0 la prossima settimana, dopo test di sicurezza esterni.

Quanto costa Inkling 2 Small?

In Tinker 1 USD per milione di token generati e 0,30 USD per milione di token di input. Il fine-tuning costa a partire da 1,50 USD per milione di token.

Chi c’è dietro Thinking Machines?

Thinking Machines Lab è un’azienda fondata da Mira Murati, ex CTO di OpenAI. Inkling 2 Small è la sua seconda generazione di modelli, dopo Inkling e Inkling-Small di luglio.