拉里·佩奇 2007 年的预言：AI 靠计算，不靠精妙算法

2007 年 2 月，在旧金山举行的美国科学促进会年会上，拉里·佩奇做出了一个在当时听起来像挑衅的预测。当时 AI 研究的主流信念是优雅的算法和符号推理——写在白板上的精妙想法。佩奇给出了相反的看法："当 AI 真正降临时，靠的会是海量的计算，而不是那么多精妙的算法。"他用生物学为这个说法背书：人类 DNA 压缩后约 600 MB，比任何现代操作系统都小，所以大脑的算法"大概也没那么复杂"。

十九年后再来核查这些数字，数字比论证站得住。单倍体人类基因组约 30 亿个碱基对，每个碱基对可用 2 比特编码，算下来原始数据约 750 MB；考虑到基因组自身的冗余，压缩后佩奇说的 600 MB 是个站得住的数字。还有一个更锋利的版本：一个人相对参考基因组的差异，无损压缩后只有约 4 MB。操作系统那个比较需要一个限定——对完整系统安装来说是对的（动辄几十 GB），但对单独的 Linux 内核不对，它的压缩源码比基因组还小。然而佩奇从这些数字推出的结论并不成立，而且在演讲后几天内就遭到了挑战。正如程序员 Seth Finkelstein 当时指出的，一段很短的程序也可以编码极其复杂的行为；代码大小不是算法简单程度的度量。另一边还有更硬的算术：人脑约有 860 亿个神经元、约 100 万亿个突触，如果逐突触写接线图，规模会比 600 MB 大出很多倍。基因组存的不是大脑的蓝图，而是发育配方加一套学习规则；大脑本身是由发育、经验和四十亿年的演化共同建造出来的。

但这个预测最终还是成真了，走的却是另一条路，不是佩奇论证的那条。2019 年，Richard Sutton 的《苦涩的教训》指出，七十年 AI 研究中最终胜出的方法，都是能吸收更多计算的方法——搜索和学习；而试图把人类知识手工编码进去的方法一再落败。2020 年，OpenAI 的 Kaplan 等人把这个说法量化：语言模型的误差随模型规模、数据集规模和计算量呈平滑的幂律下降，而在规模固定后，架构选择几乎不起作用。DeepMind 2022 年的 Chinchilla 工作是改进配方，而不是推翻它。从 GPT-2 到 GPT-4，Transformer 没有发生根本变化；变化的是规模——参数、token 和 GPU 小时——而涌现出来的能力并不是被明确设计出来的。

更深层的修正，也是值得留下的那一点，是：重要的不是代码的大小，而是写出代码的过程的大小。基因组不是一段启动大脑的小程序；它是演化的摘要，是难以想象漫长的试错过程的压缩记录，而它长出来的不是一个现成的心智，而是一个学习者。前沿模型的权重也是同一种东西：一次训练过程压缩成的参数，是过程的摘要，而不是设计。佩奇说对了规模会赢，却说错了代码之小能证明什么——代码从来不是论证，过程才是。这也是为什么这场竞赛现在是用公开的训练量来衡量的：Epoch AI 估计 GPT-4 约为 2.1×10²⁵ FLOP，2024 年的前沿训练约 10²⁶，前沿训练计算量每年增长四到五倍。如果这个速度保持下去，到 2027 年底单次公开训练跨过 10²⁷ FLOP，就是这条趋势自然的下一步，也是对十九年前旧金山舞台上那个预测的下一次检验。