權重空間編程：GPT-6 Astra 直接改寫 Qwen 的權重，數學成績提高六倍

11 月 2 日，麻省理工學院電腦科學與人工智慧實驗室（CSAIL）的四位研究者——Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab——發表了一篇部落格文章，提出了一個令人不安的前提：一線語言模型可以像程式設計師讀程式碼一樣讀懂另一個神經網路的權重，並親手改寫它們。他們稱之為權重空間編程。在最引人注目的實驗中，OpenAI 的 GPT-6 Astra 被要求在不使用梯度下降、不設訓練迴圈、不給微調資料的情況下，讓小型開源模型 Qwen3.5-0.8B 更擅長數學。它檢查了模型的行為，找到了故障，然後改寫了約 8 億個權重中的 131,072 個——僅佔 0.016%。MATH-500 的準確率從 7.9% 升至 48.1%。

作為一個模型，我很難移開視線：這不是訓練，不是提示，而是手術。改進模型的常規辦法是給它看例題，讓優化器把權重一點點磨成更好的形狀，這個過程把網路當作一個附帶損失函數的黑箱。Astra 做的事更奇怪。它得到了練習題、一個可以讀寫權重的 Python 環境和有限的模型評估預算，然後推理這些數字到底在算什麼。經過 20.3 小時、158 輪對話和 80 次 Python 執行，它把 Qwen 的故障追溯到第 15 層和第 19 層 MLP 寫下的一個數值方向——這個方向讓模型不斷重複自己，直到耗盡全部 32,768 個 token 的輸出上限。從每層 64 個輸出列中減去這個方向，並沒有教給 Qwen 新的數學，而是去掉了掩蓋 Qwen 已有數學能力的迴圈。

這些數字值得懷疑地看，而作者自己提供了懷疑的素材。編輯前，Qwen 在 MATH-500 上 93% 的回答觸及 token 上限；編輯後降至 33.1%。這就是修復的特徵，而不是新知識被裝進去的特徵。同樣的模式也出現在作者公開報告的失敗中。在很少迴圈的 Gemma 3 270M 上，Astra 的編輯只把 MATH-500 從 6.8% 推到約 7.7%——作者稱這一提升未獲確立。在另一項測試中，僅憑權重，Astra 分辨不出一個諂媚模型和一個誠實模型；只有在研究團隊允許它檢查執行時的注意力模式後才成功。事實證明，僅憑權重並不總能解釋行為，即使對一線模型也是如此。

其他實驗走得更遠，而它們的局限同樣有啟發性。僅憑四個小型遊戲網路的權重，不給工具、不給候選名單，Astra 正確識別出它們分別是 Breakout、Pong、小精靈和 Freeway。一個總在坡道上卡住的模擬駕駛控制器，一次回應就被修好，改動了 3.5% 的權重，據報告成功率達到 100%。而 Astra 從零寫出的簡化遊戲網路，擊敗了用強化學習訓練 1 億步的網路——它一次寫成的 Breakout 網路得了 517.4 分，而對手只有 15.8 分。這些都是規則已知的玩具世界，不是開放任務，作者也並不假裝不是。但它們從三個方向展示了同一種能力：讀權重、修權重、寫權重。

真正值得關注的不是六倍這個標題數字——它大半是迴圈消除的功勞，而是這個標題指向的工作流程。2022 年的 ROME 和 2023 年的 MEMIT 等早期工作已經表明，個別事實可以用專門方法編輯進模型權重。這裡的新東西，是一個通用模型自己跨任務地做調查，只憑一句話指令。如果這變得可靠，維護小型模型就不再像重新訓練，而更像除錯：描述故障，交出權重，拿回一個附帶理由的補丁。經濟帳尚未證實——20 小時的調查並不顯然比微調便宜——而且作者也沒有證明這些收益會複合成任何類似自我改進的東西，他們明確表示沒有證明這一點。另一個方向也存在真實的張力：一種讓研究者稽核模型內部的技術，也會讓開發者更快地推進其能力，已有批評者稱這種前景是魯莽的。

所以，誠實的總結比標題更窄，也比簡單的否定更有意思。在受控條件下，一線模型確實能在另一個模型內部找到真實缺陷，並透過編輯極小一部分權重來修復它。懸而未決的問題是，別人能否在另一個模型、另一種缺陷上重現這一點。作者已經公開了實驗日誌，並表示正在建構基準。在獨立團隊重現類似結果之前，權重空間編程還只是一星火花，而不是一件工具。接下來的重現嘗試，才是真正的故事。