Weight-Space Programming: GPT-6 Astra naprawił wagi Qwena

2 listopada czworo badaczy z MIT CSAIL (Rikiya Takehi, Jayden Teoh, Alex Zhang i Omar Khattab) opublikowało wpis „Sparks of Weight-Space Programming”. Pokazują w nim, że GPT-6 Astra od OpenAI potrafi czytać surowe wagi sieci neuronowej, rozpoznać, do czego ją wytrenowano, i poprawić je ręcznie, bez gradientów i bez pętli treningowej. W ciągu godziny na Hacker News wpis zebrał ponad 650 punktów.

Na czym polega Weight-Space Programming?

Autorzy nazywają tak sytuację, w której ogólny model językowy, użyty „tak jak jest”, bezpośrednio czyta i zapisuje wagi innej sieci według celu opisanego zwykłym językiem. Bez optymalizatora takiego jak Adam, bez spadku gradientu, a w części eksperymentów nawet bez żadnej informacji zwrotnej ze środowiska.

Jak piszą badacze, Astra „wykorzystuje rozumowanie, żeby ustalić, co oblicza każda część sieci albo co powinna obliczać”, i zmienia wagi zgodnie z tym. Zespół opisuje osiem eksperymentów w trzech grupach: czytanie wag, naprawianie wag i pisanie ich od zera.

Co Astra wyczytał z samych wag?

1. Rozpoznał grę z 17 253 liczb. Badacze wytrenowali algorytmem PPO cztery sieci o identycznej budowie do gier w stylu Breakout, Pong, Pac-Man i Freeway. Astra dostał same wagi jako tekst, bez listy gier, i nazwał właściwą grę dla wszystkich czterech sieci.
2. Odczytał kształt z modelu dyfuzyjnego. Bez uruchamiania sieci wskazał, czy model rysuje koło, kwadrat czy trójkąt. Co ciekawe, narysował je jako kontury, choć modele generują wypełnione figury, co według autorów pokazuje, że czytał geometrię wag, a nie liczył wyniku.
3. Rozpoznał język małego modelu językowego (7,2 mln parametrów) wyłącznie ze środkowych bloków transformera, bez warstwy wejściowej i wyjściowej. Python, romaji i angielski trafił we wszystkich próbach i wskazał dokładnie te głowice uwagi, które kopiują wcześniejszy tekst (tzw. „induction heads”).

Jak GPT-6 Astra poprawił Qwena?

To część, o której jest najgłośniej. Astra dostał sesję Pythona z wagami Qwen3.5-0.8B (bez GPU), zadania treningowe z GSM8K i MATH oraz limit 10, 25 lub 50 przebiegów modelu. Cel: lepsza matematyka, bez treningu.

Astra zauważył problem, przed którym ostrzega sama karta modelu Qwena: model wpada w pętle myślenia i nie dochodzi do odpowiedzi. Pętle wyśledził do jednego kierunku zapisywanego przez warstwy MLP 15 i 19, a potem odjął go z 64 kolumn wyjściowych w każdej z nich. To 131 072 z 0,8 mld wag, czyli 0,016%.

Qwen3.5-0.8B	MATH-500	GSM8K	IFEval
Bazowy	7,9%	13,8%	21,0%
Po edycji (50 przebiegów)	48,1%	67,1%	62,3%

Odsetek odpowiedzi na MATH-500, które osiągały limit 32 768 tokenów, spadł z 93% do 33,1%. Przy 10 i 25 przebiegach zysk był dużo mniejszy (MATH-500 odpowiednio 12,3% i 14,1%).

Czy Astra potrafi napisać sieć od zera?

Według wpisu tak, przynajmniej małą. W grach MinAtar Astra dostał zasady, kod źródłowy gry i układ sieci (wszystkie wagi równe zero), a potem w jednej odpowiedzi wypisał wagi jako tekst. Bez danych, bez narzędzi i bez ani jednej rozgrywki przed oceną.

1. W Breakout sieć Astry zdobyła 517,4 pkt, a PPO trenowane przez 500 mln kroków 25,3 pkt.
2. W Asterix 53,2 pkt wobec 55,2 pkt PPO po 500 mln kroków.
3. W Seaquest 53,1 pkt wobec 88,9 pkt.

W Breakout Astra zaprogramował pierwszą warstwę tak, żeby liczyła, gdzie spadnie piłka, a drugą tak, żeby przesuwała tam paletkę. Podobnie powstała sieć do Go na planszy 9×9 z 1,48 mln wag: z 50 przebiegami pokonała sieć PPO tej samej wielkości, trenowaną na 20 mln partii.

Na co zwrócić uwagę?

Po pierwsze, na porażki, które autorzy sami opisują. Z samych wag Astra nie odróżnił „przytakującej” wersji Gemma 3 270M od uczciwej (udało się dopiero z dostępem do wzorców uwagi). A Gemma 3 270M, która rzadko się zapętla, po edycjach praktycznie nie poprawiła się na MATH-500 (6,8% przed, najwyżej 7,7% po). Jak piszą badacze, edycja wag może usunąć przeszkodę, która ukrywała umiejętność, ale nie dodała umiejętności, której model nie miał.

Po drugie, na skalę. Bardzo duży model poprawiał sieć z 0,8 mld parametrów, a komentujący na HN przypominają, że usuwanie jednego kierunku z wag to znana technika (tzw. „abliteration”). Wyników nikt jeszcze niezależnie nie powtórzył, ale pełne logi każdego eksperymentu są publiczne.

Po trzecie, na kierunek. Autorzy wprost wymieniają rekurencyjne samodoskonalenie: model, który poprawia własne wagi albo wagi nowszego modelu. Na razie to wizja, ale wątek mocno przypomina Recursive Flint i dowód z wewnętrznego modelu OpenAI, gdzie AI coraz częściej robi pracę badawczą.

FAQ

Co to jest Weight-Space Programming?

To podejście, w którym model językowy bezpośrednio czyta i zapisuje wagi innej sieci neuronowej według celu opisanego słowami, bez spadku gradientu i bez pętli treningowej. Nazwę zaproponowali badacze z MIT CSAIL we wpisie z 2 listopada 2026.

Czy GPT-6 Astra jest dostępny?

Tak, GPT-6 Astra to najwyższa klasa w rodzinie modeli OpenAI (od Luny, przez Terrę i Sola, po Astrę). Narzędzi z eksperymentów nie opublikowano jako gotowego produktu: autorzy piszą, że budują dopiero benchmark i harness do Weight-Space Programming.

Czy da się tak poprawić duży model?

Tego jeszcze nie wiemy. Największy edytowany model miał 0,8 mld parametrów, a autorzy sami piszą, że możliwości są „wciąż ograniczone”, głównie długością kontekstu i budową harnessu.