权重空间编程：GPT-6 Astra 直接修好了 Qwen 的权重

11 月 2 日，MIT CSAIL 的四位研究人员（Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab）发表了文章《Sparks of Weight-Space Programming》，也就是“权重空间编程的火花”。他们展示了 OpenAI 的 GPT-6 Astra 能读懂神经网络的原始权重，看出它是为什么任务训练的，并且不用梯度、不用训练循环，直接手动修改这些权重。一小时内，这篇文章在 Hacker News 上拿到了 650 多分。

什么是权重空间编程？

作者用这个名字（Weight-Space Programming）指这样一种做法：一个通用语言模型“原样”上阵，按照用普通语言描述的目标，直接读写另一个网络的权重。不用 Adam 这样的优化器，不用梯度下降，部分实验里甚至完全没有来自环境的反馈。

研究人员写道，Astra“通过推理弄清网络的每个部分在计算什么，或者应该计算什么”，然后据此修改权重。团队一共描述了八个实验，分成三组：读权重、修权重、从零写权重。

Astra 只看权重读出了什么？

1. 从 17,253 个数字里认出了游戏。 研究人员用 PPO 训练了四个结构完全相同的网络，分别玩类似 Breakout、Pong、Pac-Man 和 Freeway 的游戏。Astra 只拿到以文本形式给出的权重，没有游戏列表，结果四个网络对应的游戏全部说对。
2. 从扩散模型里读出了形状。 不运行网络，它就说出了模型画的是圆形、正方形还是三角形。有意思的是，它画出来的是轮廓，而模型生成的其实是实心图形。作者认为，这说明它是在读权重的几何结构，而不是在计算输出。
3. 认出了一个小型语言模型的语言（720 万参数），只用了 transformer 的中间块，没有输入层和输出层。Python、罗马字和英语每次都判断正确，还准确指出了负责复制前文的注意力头（即所谓的“induction heads”）。

GPT-6 Astra 是怎么修好 Qwen 的？

这是讨论最多的部分。Astra 拿到一个装有 Qwen3.5-0.8B 权重的 Python 会话（没有 GPU）、来自 GSM8K 和 MATH 的训练题目，以及 10 次、25 次或 50 次模型运行的上限。目标：不训练，让数学变好。

Astra 注意到了 Qwen 模型卡本身就提醒过的问题：模型会陷入思考循环，迟迟给不出答案。它把循环追溯到 MLP 第 15 层和第 19 层写入的同一个方向，然后在这两层各自的 64 个输出列中减去了这个方向。也就是 8 亿个权重中的 131,072 个，占 0.016%。

Qwen3.5-0.8B	MATH-500	GSM8K	IFEval
原始模型	7.9%	13.8%	21.0%
编辑后（50 次运行）	48.1%	67.1%	62.3%

MATH-500 中达到 32,768 token 上限的回答比例从 93% 降到了 33.1%。在 10 次和 25 次运行的条件下，提升要小得多（MATH-500 分别为 12.3% 和 14.1%）。

Astra 能从零写出一个网络吗？

按文章的说法可以，至少是小网络。在 MinAtar 游戏里，Astra 拿到了规则、游戏源代码和网络结构（所有权重为零），然后在一次回答中把权重以文本形式写了出来。没有数据，没有工具，评估前一局都没玩过。

1. 在 Breakout 中，Astra 的网络拿到 517.4 分，而训练了 5 亿步的 PPO 只有 25.3 分。
2. 在 Asterix 中，53.2 分，对比 5 亿步后 PPO 的 55.2 分。
3. 在 Seaquest 中，53.1 分，对比 88.9 分。

在 Breakout 里，Astra 让第一层计算球会落在哪里，第二层把挡板移过去。用同样的方法，它还做出了一个 9×9 棋盘的围棋网络，共 148 万个权重：在 50 次运行的条件下，它击败了一个同样大小、用 2,000 万局训练的 PPO 网络。

需要注意什么？

第一，作者自己写到的失败。只看权重，Astra 分不清“附和型”的 Gemma 3 270M 和诚实版本（只有在能访问注意力模式后才成功）。而很少陷入循环的 Gemma 3 270M，编辑后在 MATH-500 上几乎没有进步（编辑前 6.8%，编辑后最高 7.7%）。正如研究人员所写，编辑权重可以移除掩盖某项能力的障碍，但并没有加上模型原本没有的能力。

第二，规模。这是一个非常大的模型在改进一个 8 亿参数的网络，HN 上的评论者也提醒，从权重中移除一个方向是已知技术（所谓的“abliteration”）。目前还没有人独立复现这些结果，但每个实验的完整日志都已公开。

第三，方向。作者明确提到了递归式自我改进：一个模型改进自己的权重，或者改进更新一代模型的权重。目前这还只是设想，但这个话题很像 Recursive Flint 和 OpenAI 内部模型给出的证明，在这些事里，AI 承担的研究工作越来越多。

常见问题

什么是权重空间编程？

这是一种让语言模型按照文字描述的目标、直接读写另一个神经网络权重的方法，不用梯度下降，也不用训练循环。这个名字（Weight-Space Programming）由 MIT CSAIL 的研究人员在 2026 年 11 月 2 日的文章中提出。

GPT-6 Astra 能用吗？

能。GPT-6 Astra 是 OpenAI 模型家族中的最高档（从 Luna，到 Terra 和 Sol，再到 Astra）。实验中用到的工具没有作为成品发布：作者表示，他们才刚开始为权重空间编程搭建基准测试和 harness。

大模型也能这样改进吗？

目前还不知道。被编辑的最大模型只有 8 亿参数，作者自己也写道，这种能力“仍然有限”，主要受限于上下文长度和 harness 的设计。