Weight-Space Programming: GPT-6 Astra ha sistemato i pesi di Qwen

Il 2 novembre quattro ricercatori del MIT CSAIL (Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab) hanno pubblicato il post «Sparks of Weight-Space Programming». Mostrano che GPT-6 Astra di OpenAI sa leggere i pesi grezzi di una rete neurale, capire per cosa è stata addestrata e correggerli a mano, senza gradienti e senza ciclo di addestramento. In un’ora il post ha superato i 650 punti su Hacker News.

Cos’è il Weight-Space Programming?

È il nome che gli autori danno a una situazione in cui un modello linguistico generico, usato «così com’è», legge e scrive direttamente i pesi di un’altra rete secondo un obiettivo descritto in linguaggio naturale. Senza un ottimizzatore come Adam, senza discesa del gradiente e, in parte degli esperimenti, perfino senza alcun feedback dall’ambiente.

Come scrivono i ricercatori, Astra «usa il ragionamento per capire cosa calcola ogni parte della rete, o cosa dovrebbe calcolare», e modifica i pesi di conseguenza. Il team descrive otto esperimenti in tre gruppi: leggere i pesi, sistemarli e scriverli da zero.

Cosa ha letto Astra dai soli pesi?

1. Ha riconosciuto un gioco da 17.253 numeri. I ricercatori hanno addestrato con PPO quattro reti dalla struttura identica su giochi in stile Breakout, Pong, Pac-Man e Freeway. Astra ha ricevuto solo i pesi come testo, senza l’elenco dei giochi, e ha indicato il gioco giusto per tutte e quattro le reti.
2. Ha letto una forma da un modello di diffusione. Senza eseguire la rete, ha detto se il modello disegna un cerchio, un quadrato o un triangolo. Curiosamente li ha disegnati come contorni, anche se i modelli generano figure piene: secondo gli autori, segno che leggeva la geometria dei pesi invece di calcolare il risultato.
3. Ha riconosciuto la lingua di un piccolo modello linguistico (7,2 milioni di parametri) solo dai blocchi centrali del transformer, senza i livelli di input e output. Ha indovinato Python, romaji e inglese in tutti i tentativi e ha indicato esattamente le teste di attenzione che copiano il testo precedente (le cosiddette «induction heads»).

Come ha fatto GPT-6 Astra a sistemare Qwen?

È la parte di cui si parla di più. Astra ha ricevuto una sessione Python con i pesi di Qwen3.5-0.8B (senza GPU), compiti di addestramento da GSM8K e MATH e un limite di 10, 25 o 50 esecuzioni del modello. L’obiettivo: matematica migliore, senza addestramento.

Astra ha notato un problema di cui avverte la stessa scheda del modello Qwen: il modello cade in loop di ragionamento e non arriva mai alla risposta. Ha ricondotto i loop a un’unica direzione scritta dai livelli MLP 15 e 19, poi l’ha sottratta da 64 colonne di output in ciascuno. Sono 131.072 pesi su 0,8 miliardi, cioè lo 0,016%.

Qwen3.5-0.8B	MATH-500	GSM8K	IFEval
Base	7,9%	13,8%	21,0%
Dopo la modifica (50 esecuzioni)	48,1%	67,1%	62,3%

La quota di risposte di MATH-500 che raggiungevano il limite di 32.768 token è scesa dal 93% al 33,1%. Con 10 e 25 esecuzioni il guadagno è stato molto minore (MATH-500 rispettivamente al 12,3% e al 14,1%).

Astra sa scrivere una rete da zero?

Secondo il post sì, almeno una piccola. Nei giochi MinAtar, Astra ha ricevuto le regole, il codice sorgente del gioco e la struttura della rete (tutti i pesi a zero), e poi in un’unica risposta ha scritto i pesi come testo. Senza dati, senza strumenti e senza giocare nemmeno una partita prima della valutazione.

1. In Breakout la rete di Astra ha ottenuto 517,4 punti, contro i 25,3 di PPO addestrato per 500 milioni di passi.
2. In Asterix 53,2 punti contro i 55,2 di PPO dopo 500 milioni di passi.
3. In Seaquest 53,1 punti contro 88,9.

In Breakout, Astra ha programmato il primo livello per calcolare dove cadrà la pallina e il secondo per spostarci la racchetta. Allo stesso modo è nata una rete per il Go su una scacchiera 9×9 con 1,48 milioni di pesi: con 50 esecuzioni ha battuto una rete PPO delle stesse dimensioni addestrata su 20 milioni di partite.

A cosa fare attenzione?

Primo, ai fallimenti che gli autori stessi descrivono. Dai soli pesi, Astra non ha distinto una versione «accondiscendente» di Gemma 3 270M da una onesta (ci è riuscito solo con accesso ai pattern di attenzione). E Gemma 3 270M, che va raramente in loop, dopo le modifiche non è praticamente migliorato su MATH-500 (6,8% prima, al massimo 7,7% dopo). Come scrivono i ricercatori, modificare i pesi può rimuovere un ostacolo che nascondeva una capacità, ma non ha aggiunto una capacità che il modello non aveva.

Secondo, alla scala. Un modello molto grande ha migliorato una rete da 0,8 miliardi di parametri, e i commentatori su HN ricordano che rimuovere una direzione dai pesi è una tecnica nota (la cosiddetta «abliteration»). Nessuno ha ancora replicato i risultati in modo indipendente, ma i log completi di ogni esperimento sono pubblici.

Terzo, alla direzione. Gli autori citano esplicitamente l’auto-miglioramento ricorsivo: un modello che migliora i propri pesi o quelli di un modello più recente. Per ora è una visione, ma il tema ricorda molto Recursive Flint e la dimostrazione del modello interno di OpenAI, dove l’IA svolge sempre più lavoro di ricerca.

FAQ

Cos’è il Weight-Space Programming?

È un approccio in cui un modello linguistico legge e scrive direttamente i pesi di un’altra rete neurale secondo un obiettivo descritto a parole, senza discesa del gradiente e senza ciclo di addestramento. Il nome è stato proposto da ricercatori del MIT CSAIL in un post del 2 novembre 2026.

GPT-6 Astra è disponibile?

Sì, GPT-6 Astra è la fascia più alta della famiglia di modelli di OpenAI (da Luna, passando per Terra e Sol, fino ad Astra). Gli strumenti degli esperimenti non sono stati pubblicati come prodotto pronto: gli autori scrivono che stanno appena costruendo un benchmark e un harness per il Weight-Space Programming.

Si può migliorare così un modello grande?

Non lo sappiamo ancora. Il modello più grande modificato aveva 0,8 miliardi di parametri, e gli autori stessi scrivono che le capacità sono «ancora limitate», soprattutto dalla lunghezza del contesto e dalla struttura dell’harness.