Il modello a diffusione Mercury 3 genera 1000 token al secondo

Il 19 ottobre Inception ha pubblicato Mercury 3, il suo nuovo modello di punta per il linguaggio. Secondo l’annuncio il modello a diffusione Mercury 3 genera circa 1068 token al secondo su GPU NVIDIA, ha una finestra di contesto di 1 milione di token ed è oltre 40 volte più grande (per numero di parametri) del primo Mercury.

Cosa c’è di nuovo in Mercury 3?

Prima i numeri dal post di Inception:

1. Velocità: circa 1068 token al secondo su GPU NVIDIA.
2. Contesto: 1 milione di token, contro i 260 mila di Mercury 2.5.
3. Prezzo: 0,20 USD per milione di token in input e 0,70 USD per milione in output, e i token in cache costano il 90% in meno. Al lancio c’è uno sconto del 50%, quindi 0,10 e 0,35 USD.
4. Compatibilità con l’API di OpenAI, quindi il modello si può collegare agli strumenti esistenti senza riscrivere il codice.

Nello stesso post Inception presenta anche Mercury Voice (un modello per app vocali, pensato per dare la prima risposta il più in fretta possibile) e Mercury Decide per la classificazione.

Inception confronta la qualità di Mercury 3 con i modelli piccoli dei grandi laboratori, ma non riporta i risultati dei singoli benchmark. Per ora sono solo misurazioni dell’azienda stessa, quindi lascio questi confronti a dopo, quando arriveranno test indipendenti.

Cos’è un modello linguistico a diffusione?

Ed è proprio per questo che si parla di Mercury. I LLM classici (GPT, Claude, Gemini) sono autoregressivi: scrivono la risposta token dopo token, e ogni nuovo token dipende dai precedenti.

I modelli a diffusione funzionano un po’ come i generatori di immagini. Secondo il report tecnico del primo Mercury, il modello è addestrato a prevedere molti token in parallelo, cioè genera e corregge più parti della risposta contemporaneamente. Da qui la velocità: il modello non deve aspettare ogni parola successiva.

Curiosamente, Inception sostiene che le leggi di scaling che hanno spinto i progressi dei modelli classici valgono anche per la diffusione. Mercury 3 dovrebbe esserne la prova: secondo l’azienda, i suoi risultati sui benchmark standard sono 3 volte migliori di quelli del primo Mercury.

Mercury 3 è davvero così bravo?

La prima review indipendente c’è già. Corey Noles di The Neuron ha testato Mercury 3 con otto prompt tramite OpenRouter, per un totale di 0,04 USD. Il risultato migliore è arrivato nella programmazione: il modello ha scritto in un unico file HTML un gioco completo in stile dungeon crawler, e 2000 test casuali sulla generazione della mappa non hanno trovato nessun errore.

Anche i punti deboli sono emersi subito:

1. Un racconto doveva essere di 250 parole, ma ne aveva circa 274 e si è allontanato dall’ambientazione richiesta.
2. In un test sulle allucinazioni il modello ha respinto una missione NASA inventata, ma ha aggiunto un errore fattuale non collegato.
3. Una parte delle spiegazioni era troppo sicura di sé.

Noles non ha misurato di persona i 1068 token al secondo dichiarati (scrive che l’API «felt fast») e riassume il modello come un «genuinely exciting model at a startling price». Prendiamo quindi velocità e qualità con cautela, finché non vedremo test più ampi.

Come provare Mercury 3?

Abbiamo diverse strade:

1. Chat nel browser: chat.inceptionlabs.ai.
2. API di Inception: platform.inceptionlabs.ai, secondo l’annuncio con 100 milioni di token gratuiti per iniziare.
3. OpenRouter, Baseten e Vercel, dove il modello è disponibile come inception/mercury-3 (su OpenRouter).

Con questi prezzi e questa velocità è un candidato interessante per un harness per agenti, dove il tempo di risposta conta nei loop lunghi (un po’ come DeepSeek gratis in OpenCode). Per ora i pesi non ci sono, quindi non potremo eseguirlo in locale come Reflection Beam.

FAQ

Mercury 3 è gratis?

In parte. La chat nel browser è disponibile subito e, secondo l’annuncio, un nuovo account sull’API di Inception riceve 100 milioni di token gratuiti. Dopo paghiamo 0,20 USD per milione di token in input e 0,70 USD per milione in output (con uno sconto del 50% al lancio).

In cosa un LLM a diffusione è diverso da uno normale?

Un modello normale scrive la risposta token dopo token. Un modello a diffusione genera e corregge molti token insieme, per questo può essere molto più veloce.

Chi ha creato Mercury 3?

Inception (Inception Labs), la startup dietro l’intera famiglia Mercury. Il primo è stato Mercury Coder, un modello per la programmazione descritto in un report di giugno 2025 (tra gli autori c’è anche Stefano Ermon).