Weight-Space Programming: GPT-6 Astra arregló los pesos de Qwen

El 2 de noviembre, cuatro investigadores del MIT CSAIL (Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab) publicaron el artículo «Sparks of Weight-Space Programming». En él muestran que GPT-6 Astra, de OpenAI, es capaz de leer los pesos en bruto de una red neuronal, reconocer para qué se entrenó y corregirlos a mano, sin gradientes y sin bucle de entrenamiento. En menos de una hora, el artículo superó los 650 puntos en Hacker News.

¿En qué consiste Weight-Space Programming?

Así llaman los autores a una situación en la que un modelo de lenguaje general, usado «tal cual», lee y escribe directamente los pesos de otra red según un objetivo descrito en lenguaje natural. Sin un optimizador como Adam, sin descenso de gradiente y, en parte de los experimentos, incluso sin ninguna retroalimentación del entorno.

Como escriben los investigadores, Astra «usa el razonamiento para averiguar qué calcula cada parte de la red o qué debería calcular» y modifica los pesos en consecuencia. El equipo describe ocho experimentos en tres grupos: leer pesos, arreglar pesos y escribirlos desde cero.

¿Qué leyó Astra solo a partir de los pesos?

1. Reconoció un juego a partir de 17.253 números. Los investigadores entrenaron con PPO cuatro redes de arquitectura idéntica para juegos al estilo de Breakout, Pong, Pac-Man y Freeway. Astra recibió solo los pesos como texto, sin la lista de juegos, y acertó el juego de las cuatro redes.
2. Leyó una forma en un modelo de difusión. Sin ejecutar la red, indicó si el modelo dibuja un círculo, un cuadrado o un triángulo. Curiosamente, los dibujó como contornos, aunque los modelos generan figuras rellenas, lo que según los autores demuestra que leía la geometría de los pesos y no calculaba el resultado.
3. Reconoció el idioma de un modelo de lenguaje pequeño (7,2 millones de parámetros) solo con los bloques intermedios del transformer, sin las capas de entrada y salida. Acertó Python, romaji e inglés en todos los intentos y señaló exactamente las cabezas de atención que copian el texto anterior (las llamadas «induction heads»).

¿Cómo arregló GPT-6 Astra a Qwen?

Esta es la parte de la que más se habla. Astra recibió una sesión de Python con los pesos de Qwen3.5-0.8B (sin GPU), tareas de entrenamiento de GSM8K y MATH y un límite de 10, 25 o 50 ejecuciones del modelo. El objetivo: mejores matemáticas, sin entrenamiento.

Astra detectó un problema del que ya advierte la propia ficha del modelo de Qwen: el modelo entra en bucles de razonamiento y nunca llega a la respuesta. Rastreó los bucles hasta una única dirección escrita por las capas MLP 15 y 19 y después la restó de 64 columnas de salida en cada una. Son 131.072 de 800 millones de pesos, es decir, el 0,016 %.

Qwen3.5-0.8B	MATH-500	GSM8K	IFEval
Base	7,9 %	13,8 %	21,0 %
Tras la edición (50 ejecuciones)	48,1 %	67,1 %	62,3 %

El porcentaje de respuestas de MATH-500 que alcanzaban el límite de 32.768 tokens bajó del 93 % al 33,1 %. Con 10 y 25 ejecuciones la mejora fue mucho menor (MATH-500 del 12,3 % y el 14,1 %, respectivamente).

¿Puede Astra escribir una red desde cero?

Según el artículo, sí, al menos una pequeña. En los juegos de MinAtar, Astra recibió las reglas, el código fuente del juego y la estructura de la red (todos los pesos a cero), y en una sola respuesta escribió los pesos como texto. Sin datos, sin herramientas y sin jugar ni una sola partida antes de la evaluación.

1. En Breakout, la red de Astra logró 517,4 puntos, frente a 25,3 de PPO entrenado durante 500 millones de pasos.
2. En Asterix, 53,2 puntos frente a 55,2 de PPO tras 500 millones de pasos.
3. En Seaquest, 53,1 puntos frente a 88,9.

En Breakout, Astra programó la primera capa para calcular dónde caería la pelota y la segunda para mover la pala hasta allí. De forma parecida creó una red para Go en un tablero de 9×9 con 1,48 millones de pesos: con 50 ejecuciones venció a una red PPO del mismo tamaño entrenada con 20 millones de partidas.

¿Qué hay que tener en cuenta?

Primero, los fracasos que los propios autores describen. Solo con los pesos, Astra no distinguió una versión «complaciente» de Gemma 3 270M de una honesta (lo logró solo con acceso a los patrones de atención). Y Gemma 3 270M, que rara vez entra en bucles, prácticamente no mejoró en MATH-500 tras las ediciones (6,8 % antes y como mucho 7,7 % después). Como escriben los investigadores, editar los pesos puede eliminar un obstáculo que ocultaba una habilidad, pero no añadió una habilidad que el modelo no tuviera.

Segundo, la escala. Un modelo muy grande mejoraba una red de 800 millones de parámetros, y en HN recuerdan que eliminar una dirección de los pesos es una técnica conocida (la llamada «abliteration»). Nadie ha reproducido aún los resultados de forma independiente, pero los registros completos de cada experimento son públicos.

Tercero, la dirección. Los autores mencionan expresamente la automejora recursiva: un modelo que mejora sus propios pesos o los de un modelo más nuevo. Por ahora es una visión, pero el tema recuerda mucho a Recursive Flint y a la demostración del modelo interno de OpenAI, donde la IA hace cada vez más trabajo de investigación.

Preguntas frecuentes

¿Qué es Weight-Space Programming?

Es un enfoque en el que un modelo de lenguaje lee y escribe directamente los pesos de otra red neuronal según un objetivo descrito con palabras, sin descenso de gradiente y sin bucle de entrenamiento. El nombre lo propusieron investigadores del MIT CSAIL en un artículo del 2 de noviembre de 2026.

¿Está disponible GPT-6 Astra?

Sí, GPT-6 Astra es la gama más alta de la familia de modelos de OpenAI (de Luna, pasando por Terra y Sol, hasta Astra). Las herramientas de los experimentos no se han publicado como producto: los autores dicen que apenas están construyendo un benchmark y un harness para Weight-Space Programming.

¿Se puede mejorar así un modelo grande?

Todavía no lo sabemos. El modelo más grande editado tenía 800 millones de parámetros, y los propios autores escriben que las capacidades son «todavía limitadas», sobre todo por la longitud del contexto y el diseño del harness.