Weight-Space Programming: GPT-6 Astra repariert die Gewichte von Qwen

Am 2. November haben vier Forscher vom MIT CSAIL (Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab) den Beitrag „Sparks of Weight-Space Programming“ veröffentlicht. Darin zeigen sie, dass GPT-6 Astra von OpenAI die rohen Gewichte eines neuronalen Netzes lesen, erkennen kann, wofür es trainiert wurde, und sie von Hand korrigiert, ohne Gradienten und ohne Trainingsschleife. Innerhalb einer Stunde sammelte der Beitrag auf Hacker News über 650 Punkte.

Was ist Weight-Space Programming?

So nennen die Autoren eine Situation, in der ein allgemeines Sprachmodell, „so wie es ist“ eingesetzt, die Gewichte eines anderen Netzes direkt liest und schreibt, nach einem in normaler Sprache beschriebenen Ziel. Ohne Optimierer wie Adam, ohne Gradientenabstieg und in einem Teil der Experimente sogar ohne jede Rückmeldung aus der Umgebung.

Wie die Forscher schreiben, „nutzt Astra Reasoning, um herauszufinden, was jeder Teil des Netzes berechnet oder berechnen sollte“, und ändert die Gewichte entsprechend. Das Team beschreibt acht Experimente in drei Gruppen: Gewichte lesen, Gewichte reparieren und Gewichte von Grund auf schreiben.

Was hat Astra allein aus den Gewichten herausgelesen?

1. Es erkannte ein Spiel aus 17.253 Zahlen. Die Forscher trainierten mit PPO vier Netze mit identischem Aufbau auf Spiele im Stil von Breakout, Pong, Pac-Man und Freeway. Astra bekam nur die Gewichte als Text, ohne Liste der Spiele, und nannte für alle vier Netze das richtige Spiel.
2. Es las eine Form aus einem Diffusionsmodell ab. Ohne das Netz auszuführen, gab es an, ob das Modell einen Kreis, ein Quadrat oder ein Dreieck zeichnet. Interessanterweise zeichnete es sie als Umrisse, obwohl die Modelle gefüllte Formen erzeugen. Laut den Autoren zeigt das, dass es die Geometrie der Gewichte gelesen und nicht das Ergebnis berechnet hat.
3. Es erkannte die Sprache eines kleinen Sprachmodells (7,2 Mio. Parameter) allein aus den mittleren Transformer-Blöcken, ohne Eingabe- und Ausgabeschicht. Python, Romaji und Englisch traf es in allen Versuchen und zeigte genau die Attention-Heads, die früheren Text kopieren (sogenannte „Induction Heads“).

Wie hat GPT-6 Astra Qwen repariert?

Das ist der Teil, über den am meisten gesprochen wird. Astra bekam eine Python-Sitzung mit den Gewichten von Qwen3.5-0.8B (ohne GPU), Trainingsaufgaben aus GSM8K und MATH sowie ein Limit von 10, 25 oder 50 Modelldurchläufen. Das Ziel: bessere Mathematik, ohne Training.

Astra bemerkte ein Problem, vor dem schon die Modellkarte von Qwen warnt: Das Modell verfängt sich in Denkschleifen und kommt nie zu einer Antwort. Die Schleifen führte es auf eine einzige Richtung zurück, die von den MLP-Schichten 15 und 19 geschrieben wird, und zog sie dann aus 64 Ausgabespalten in jeder dieser Schichten ab. Das sind 131.072 von 0,8 Mrd. Gewichten, also 0,016 %.

Qwen3.5-0.8B	MATH-500	GSM8K	IFEval
Basis	7,9 %	13,8 %	21,0 %
Nach der Bearbeitung (50 Durchläufe)	48,1 %	67,1 %	62,3 %

Der Anteil der MATH-500-Antworten, die das Limit von 32.768 Tokens erreichten, sank von 93 % auf 33,1 %. Mit 10 und 25 Durchläufen war der Gewinn deutlich kleiner (MATH-500 bei 12,3 % bzw. 14,1 %).

Kann Astra ein Netz von Grund auf schreiben?

Laut dem Beitrag ja, zumindest ein kleines. Bei den MinAtar-Spielen bekam Astra die Regeln, den Quellcode des Spiels und den Aufbau des Netzes (alle Gewichte gleich null) und schrieb dann in einer einzigen Antwort die Gewichte als Text aus. Ohne Daten, ohne Werkzeuge und ohne eine einzige Partie vor der Bewertung.

1. In Breakout erreichte Astras Netz 517,4 Punkte, PPO nach 500 Mio. Trainingsschritten 25,3 Punkte.
2. In Asterix 53,2 Punkte gegenüber 55,2 Punkten bei PPO nach 500 Mio. Schritten.
3. In Seaquest 53,1 Punkte gegenüber 88,9 Punkten.

In Breakout programmierte Astra die erste Schicht so, dass sie berechnet, wo der Ball landet, und die zweite so, dass sie den Schläger dorthin bewegt. Auf dieselbe Weise entstand ein Netz für Go auf einem 9×9-Brett mit 1,48 Mio. Gewichten: Mit 50 Durchläufen schlug es ein gleich großes PPO-Netz, das auf 20 Mio. Partien trainiert wurde.

Worauf sollte man achten?

Erstens auf die Fehlschläge, die die Autoren selbst beschreiben. Allein aus den Gewichten konnte Astra eine „zustimmende“ Version von Gemma 3 270M nicht von einer ehrlichen unterscheiden (das gelang erst mit Zugriff auf die Attention-Muster). Und Gemma 3 270M, das sich selten in Schleifen verfängt, verbesserte sich nach den Bearbeitungen auf MATH-500 praktisch nicht (6,8 % vorher, höchstens 7,7 % danach). Wie die Forscher schreiben, kann eine Bearbeitung der Gewichte ein Hindernis entfernen, das eine Fähigkeit verdeckt hat, aber sie fügte keine Fähigkeit hinzu, die das Modell nicht hatte.

Zweitens auf die Größenordnung. Ein sehr großes Modell hat ein Netz mit 0,8 Mrd. Parametern verbessert, und Kommentatoren auf HN erinnern daran, dass das Entfernen einer Richtung aus den Gewichten eine bekannte Technik ist (sogenannte „Abliteration“). Unabhängig reproduziert hat die Ergebnisse noch niemand, aber die vollständigen Logs aller Experimente sind öffentlich.

Drittens auf die Richtung. Die Autoren nennen ausdrücklich rekursive Selbstverbesserung: ein Modell, das seine eigenen Gewichte oder die Gewichte eines neueren Modells verbessert. Vorerst ist das eine Vision, aber das Thema erinnert stark an Recursive Flint und den Beweis des internen OpenAI-Modells, bei denen KI immer öfter Forschungsarbeit übernimmt.

FAQ

Was ist Weight-Space Programming?

Ein Ansatz, bei dem ein Sprachmodell die Gewichte eines anderen neuronalen Netzes direkt liest und schreibt, nach einem in Worten beschriebenen Ziel, ohne Gradientenabstieg und ohne Trainingsschleife. Den Namen haben Forscher vom MIT CSAIL in einem Beitrag vom 2. November 2026 vorgeschlagen.

Ist GPT-6 Astra verfügbar?

Ja, GPT-6 Astra ist die höchste Stufe in der Modellfamilie von OpenAI (von Luna über Terra und Sol bis Astra). Die Werkzeuge aus den Experimenten wurden nicht als fertiges Produkt veröffentlicht: Die Autoren schreiben, dass sie erst einen Benchmark und einen Harness für Weight-Space Programming aufbauen.

Lässt sich so auch ein großes Modell verbessern?

Das wissen wir noch nicht. Das größte bearbeitete Modell hatte 0,8 Mrd. Parameter, und die Autoren schreiben selbst, dass die Möglichkeiten „noch begrenzt“ sind, vor allem durch die Kontextlänge und den Aufbau des Harness.