Weight-Space Programming : GPT-6 Astra a réparé les poids de Qwen

Le 2 novembre, quatre chercheurs du MIT CSAIL (Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab) ont publié l’article « Sparks of Weight-Space Programming ». Ils y montrent que GPT-6 Astra, d’OpenAI, sait lire les poids bruts d’un réseau de neurones, reconnaître pour quoi il a été entraîné et les corriger à la main, sans gradients ni boucle d’entraînement. En une heure, l’article a dépassé les 650 points sur Hacker News.

En quoi consiste le Weight-Space Programming ?

C’est le nom que les auteurs donnent à une situation où un modèle de langage généraliste, utilisé « tel quel », lit et écrit directement les poids d’un autre réseau selon un objectif décrit en langage courant. Sans optimiseur comme Adam, sans descente de gradient et, dans une partie des expériences, sans même aucun retour de l’environnement.

Comme l’écrivent les chercheurs, Astra « utilise le raisonnement pour déterminer ce que calcule chaque partie du réseau, ou ce qu’elle devrait calculer », et modifie les poids en conséquence. L’équipe décrit huit expériences réparties en trois groupes : lire les poids, les réparer et les écrire à partir de zéro.

Qu’est-ce qu’Astra a lu dans les seuls poids ?

1. Il a reconnu un jeu à partir de 17 253 nombres. Les chercheurs ont entraîné avec PPO quatre réseaux d’architecture identique sur des jeux de type Breakout, Pong, Pac-Man et Freeway. Astra n’a reçu que les poids sous forme de texte, sans liste de jeux, et a nommé le bon jeu pour les quatre réseaux.
2. Il a lu une forme dans un modèle de diffusion. Sans exécuter le réseau, il a indiqué si le modèle dessine un cercle, un carré ou un triangle. Fait intéressant, il les a dessinés sous forme de contours, alors que les modèles génèrent des formes pleines, ce qui selon les auteurs montre qu’il lisait la géométrie des poids au lieu de calculer le résultat.
3. Il a reconnu la langue d’un petit modèle de langage (7,2 millions de paramètres) uniquement à partir des blocs centraux du transformer, sans les couches d’entrée et de sortie. Il a identifié Python, le romaji et l’anglais à chaque essai et désigné précisément les têtes d’attention qui recopient le texte précédent (les « induction heads »).

Comment GPT-6 Astra a-t-il réparé Qwen ?

C’est la partie dont on parle le plus. Astra a reçu une session Python avec les poids de Qwen3.5-0.8B (sans GPU), des tâches d’entraînement issues de GSM8K et de MATH, et une limite de 10, 25 ou 50 exécutions du modèle. L’objectif : de meilleures maths, sans entraînement.

Astra a repéré un problème dont avertit la fiche du modèle Qwen elle-même : le modèle tombe dans des boucles de réflexion et n’arrive jamais à la réponse. Il a remonté ces boucles jusqu’à une seule direction écrite par les couches MLP 15 et 19, puis l’a soustraite de 64 colonnes de sortie dans chacune d’elles. Cela fait 131 072 poids sur 0,8 milliard, soit 0,016 %.

Qwen3.5-0.8B	MATH-500	GSM8K	IFEval
Modèle de base	7,9 %	13,8 %	21,0 %
Après modification (50 exécutions)	48,1 %	67,1 %	62,3 %

La part des réponses MATH-500 qui atteignaient la limite de 32 768 tokens est passée de 93 % à 33,1 %. Avec 10 et 25 exécutions, le gain était bien plus faible (MATH-500 à 12,3 % et 14,1 % respectivement).

Astra peut-il écrire un réseau à partir de zéro ?

D’après l’article, oui, du moins un petit. Pour les jeux MinAtar, Astra a reçu les règles, le code source du jeu et l’architecture du réseau (tous les poids à zéro), puis a écrit les poids sous forme de texte en une seule réponse. Sans données, sans outils et sans jouer une seule partie avant l’évaluation.

1. À Breakout, le réseau d’Astra a obtenu 517,4 points, contre 25,3 pour PPO entraîné sur 500 millions de pas.
2. À Asterix, 53,2 points contre 55,2 pour PPO après 500 millions de pas.
3. À Seaquest, 53,1 points contre 88,9.

À Breakout, Astra a programmé la première couche pour calculer où la balle allait tomber, et la seconde pour y déplacer la raquette. Un réseau de Go sur un plateau 9×9 avec 1,48 million de poids a été créé de la même manière : avec 50 exécutions, il a battu un réseau PPO de même taille entraîné sur 20 millions de parties.

À quoi faut-il faire attention ?

D’abord, aux échecs que les auteurs décrivent eux-mêmes. À partir des seuls poids, Astra n’a pas su distinguer une version « complaisante » de Gemma 3 270M d’une version honnête (il n’y est parvenu qu’avec accès aux motifs d’attention). Et Gemma 3 270M, qui boucle rarement, ne s’est pratiquement pas amélioré sur MATH-500 après les modifications (6,8 % avant, 7,7 % au mieux après). Comme l’écrivent les chercheurs, modifier les poids peut lever un obstacle qui masquait une compétence, mais cela n’a pas ajouté une compétence que le modèle n’avait pas.

Ensuite, à l’échelle. Un très grand modèle améliorait un réseau de 0,8 milliard de paramètres, et des commentateurs sur HN rappellent que retirer une direction des poids est une technique connue (l’« abliteration »). Personne n’a encore reproduit les résultats de manière indépendante, mais les journaux complets de chaque expérience sont publics.

Enfin, à la direction prise. Les auteurs évoquent explicitement l’auto-amélioration récursive : un modèle qui améliore ses propres poids ou ceux d’un modèle plus récent. Pour l’instant, c’est une vision, mais le sujet rappelle fortement Recursive Flint et la démonstration du modèle interne d’OpenAI, où l’IA fait de plus en plus de travail de recherche.

FAQ

Qu’est-ce que le Weight-Space Programming ?

C’est une approche dans laquelle un modèle de langage lit et écrit directement les poids d’un autre réseau de neurones selon un objectif décrit avec des mots, sans descente de gradient ni boucle d’entraînement. Le nom a été proposé par des chercheurs du MIT CSAIL dans un article du 2 novembre 2026.

GPT-6 Astra est-il disponible ?

Oui, GPT-6 Astra est le haut de gamme de la famille de modèles d’OpenAI (de Luna à Astra, en passant par Terra et Sol). Les outils des expériences n’ont pas été publiés comme produit fini : les auteurs disent qu’ils commencent tout juste à construire un benchmark et un harness pour le Weight-Space Programming.

Peut-on améliorer ainsi un grand modèle ?

On ne le sait pas encore. Le plus grand modèle modifié comptait 0,8 milliard de paramètres, et les auteurs écrivent eux-mêmes que les capacités sont « encore limitées », surtout par la longueur du contexte et la conception du harness.