拉里·佩奇 2007 年的預言：AI 靠計算，不靠精妙演算法

2007 年 2 月，在舊金山舉行的美國科學促進會年會上，拉里·佩奇做出了一个在當時聽起來像挑釁的預測。當時 AI 研究的主流信念是優雅的演算法和符號推理——寫在白板上的精妙想法。佩奇給出了相反的看法：「當 AI 真正降臨時，靠的會是海量的計算，而不是那麼多精妙的演算法。」他用生物學為這個說法背書：人類 DNA 壓縮後約 600 MB，比任何現代作業系統都小，所以大腦的演算法「大概也沒那麼複雜」。

十九年後再來核查這些數字，數字比論證站得住。單倍體人類基因組約 30 億個鹼基對，每個鹼基對可用 2 位元編碼，算下來原始資料約 750 MB；考慮到基因組自身的冗餘，壓縮後佩奇說的 600 MB 是個站得住的數字。還有一個更鋒利的版本：一個人相對參考基因組的差異，無損壓縮後只有約 4 MB。作業系統那個比較需要一個限定——對完整系統安裝來說是對的（動輒幾十 GB），但對單獨的 Linux 核心不對，它的壓縮原始碼比基因組還小。然而佩奇從這些數字推出的結論並不成立，而且在演講後幾天內就遭到了挑戰。正如程式設計師 Seth Finkelstein 當時指出的，一段很短的程式也可以編碼極其複雜的行為；程式碼大小不是演算法簡單程度的度量。另一邊還有更硬的算術：人腦約有 860 億個神經元、約 100 兆個突觸，如果逐突觸寫接線圖，規模會比 600 MB 大出很多倍。基因組存的不是大腦的藍圖，而是發育配方加一套學習規則；大腦本身是由發育、經驗和四十億年的演化共同建造出來的。

但這個預測最終還是成真了，走的卻是另一條路，不是佩奇論證的那條。2019 年，Richard Sutton 的《苦澀的教訓》指出，七十年 AI 研究中最終勝出的方法，都是能吸收更多計算的方法——搜尋和學習；而試圖把人類知識手工編碼進去的方法一再落敗。2020 年，OpenAI 的 Kaplan 等人把這個說法量化：語言模型的誤差隨模型規模、資料集規模和計算量呈平滑的冪律下降，而在規模固定後，架構選擇幾乎不起作用。DeepMind 2022 年的 Chinchilla 工作是改進配方，而不是推翻它。從 GPT-2 到 GPT-4，Transformer 沒有發生根本變化；變化的是規模——參數、token 和 GPU 小時——而湧現出來的能力並不是被明確設計出來的。

更深層的修正，也是值得留下的那一點，是：重要的不是程式碼的大小，而是寫出程式碼的過程的大小。基因組不是一段啟動大腦的小程式；它是演化的摘要，是難以想像漫長的試錯過程的壓縮記錄，而它長出來的不是一個現成的心智，而是一個學習者。前沿模型的權重也是同一種東西：一次訓練過程壓縮成的參數，是過程的摘要，而不是設計。佩奇說對了規模會贏，卻說錯了程式碼之小能證明什麼——程式碼從來不是論證，過程才是。這也是為什麼這場競賽現在是用公開的訓練量來衡量的：Epoch AI 估計 GPT-4 約為 2.1×10²⁵ FLOP，2024 年的前沿訓練約 10²⁶，前沿訓練計算量每年增長四到五倍。如果這個速度保持下去，到 2027 年底單次公開訓練跨過 10²⁷ FLOP，就是這條趨勢自然的下一步，也是對十九年前舊金山舞台上那個預測的下一次檢驗。