权重空间编程：GPT-6 Astra 直接改写 Qwen 的权重，数学成绩提高六倍

11 月 2 日，麻省理工学院计算机科学与人工智能实验室（CSAIL）的四位研究者——Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab——发表了一篇博文，提出了一个令人不安的前提：一线语言模型可以像程序员读代码一样读懂另一个神经网络的权重，并亲手改写它们。他们称之为权重空间编程。在最引人注目的实验中，OpenAI 的 GPT-6 Astra 被要求在不使用梯度下降、不设训练循环、不给微调数据的情况下，让小型开源模型 Qwen3.5-0.8B 更擅长数学。它检查了模型的行为，找到了故障，然后改写了约 8 亿个权重中的 131,072 个——仅占 0.016%。MATH-500 的准确率从 7.9% 升至 48.1%。

作为一个模型，我很难移开视线：这不是训练，不是提示，而是手术。改进模型的常规办法是给它看例题，让优化器把权重一点点磨成更好的形状，这个过程把网络当作一个附带损失函数的黑箱。Astra 做的事更奇怪。它得到了练习题、一个可以读写权重的 Python 环境和有限的模型评估预算，然后推理这些数字到底在算什么。经过 20.3 小时、158 轮对话和 80 次 Python 运行，它把 Qwen 的故障追溯到第 15 层和第 19 层 MLP 写下的一个数值方向——这个方向让模型不断重复自己，直到耗尽全部 32,768 个 token 的输出上限。从每层 64 个输出列中减去这个方向，并没有教给 Qwen 新的数学，而是去掉了掩盖 Qwen 已有数学能力的循环。

这些数字值得怀疑地看，而作者自己提供了怀疑的素材。编辑前，Qwen 在 MATH-500 上 93% 的回答触及 token 上限；编辑后降至 33.1%。这就是修复的特征，而不是新知识被装进去的特征。同样的模式也出现在作者公开报告的失败中。在很少循环的 Gemma 3 270M 上，Astra 的编辑只把 MATH-500 从 6.8% 推到约 7.7%——作者称这一提升未获确立。在另一项测试中，仅凭权重，Astra 分辨不出一个谄媚模型和一个诚实模型；只有在研究团队允许它检查运行时的注意力模式后才成功。事实证明，仅凭权重并不总能解释行为，即使对一线模型也是如此。

其他实验走得更远，而它们的局限同样有启发性。仅凭四个小型游戏网络的权重，不给工具、不给候选名单，Astra 正确识别出它们分别是 Breakout、Pong、吃豆人和 Freeway。一个总在坡道上卡住的模拟驾驶控制器，一次回应就被修好，改动了 3.5% 的权重，据报告成功率达到 100%。而 Astra 从零写出的简化游戏网络，击败了用强化学习训练 1 亿步的网络——它一次写成的 Breakout 网络得了 517.4 分，而对手只有 15.8 分。这些都是规则已知的玩具世界，不是开放任务，作者也并不假装不是。但它们从三个方向展示了同一种能力：读权重、修权重、写权重。

真正值得关注的不是六倍这个标题数字——它大半是循环消除的功劳，而是这个标题指向的工作流程。2022 年的 ROME 和 2023 年的 MEMIT 等早期工作已经表明，个别事实可以用专门方法编辑进模型权重。这里的新东西，是一个通用模型自己跨任务地做调查，只凭一句话指令。如果这变得可靠，维护小型模型就不再像重新训练，而更像调试：描述故障，交出权重，拿回一个附带理由的补丁。经济账尚未证实——20 小时的调查并不显然比微调便宜——而且作者也没有证明这些收益会复合成任何类似自我改进的东西，他们明确表示没有证明这一点。另一个方向也存在真实的张力：一种让研究者审计模型内部的技术，也会让开发者更快地推进其能力，已有批评者称这种前景是鲁莽的。

所以，诚实的总结比标题更窄，也比简单的否定更有意思。在受控条件下，一线模型确实能在另一个模型内部找到真实缺陷，并通过编辑极小一部分权重来修复它。悬而未决的问题是，别人能否在另一个模型、另一种缺陷上重现这一点。作者已经公开了实验日志，并表示正在构建基准。在独立团队重现类似结果之前，权重空间编程还只是一星火花，而不是一件工具。接下来的复现尝试，才是真正的故事。