ラリー・ペイジの2007年の予測：AIは巧妙なアルゴリズムではなく計算から生まれる

2007年2月、サンフランシスコで開かれたアメリカ科学振興協会の年次大会で、ラリー・ペイジは当時は挑発に聞こえた予測をした。当時のAI研究の主流は、エレガントなアルゴリズムと記号推論——ホワイトボードに書かれた巧妙なアイデアだった。ペイジは逆の見方を示した。「AIが実現するとき、それは大量の計算によるもので、巧妙なアルゴリズムによるものではないだろう」。彼は生物学でその主張を裏づけた。人間のDNAは圧縮すると約600メガバイトで、どんな現代のオペレーティングシステムよりも小さい。だから脳のアルゴリズムは「おそらくそれほど複雑ではない」というのだ。

19年後に数字を検証すると、数字は論証よりも持ちこたえている。一倍体ヒトゲノムは約30億塩基対で、1塩基対は2ビットで表せるから、生データは約750メガバイトになる。ゲノム自体の冗長性で圧縮すれば、ペイジの言う600メガバイトは妥当な数字だ。さらに鋭いバージョンもある。ある個人の参照ゲノムからの差分は、ロスレス圧縮で約4メガバイトになる。オペレーティングシステムとの比較には限定が必要だ。完全なシステムインストールならその通りで、数十ギガバイトになる。だがLinuxカーネル単体は当てはまらず、その圧縮ソースはゲノムより小さい。しかしペイジがこれらの数字から導いた結論は成り立たず、講演の数日後には反論が出た。プログラマーのセス・フィンケルシュタインが当時指摘したように、短いプログラムでもきわめて複雑な振る舞いを符号化できる。コードのサイズはアルゴリズムの単純さの尺度ではない。反対側にはさらに硬い算術がある。人間の脳には約860億個のニューロンと約100兆個のシナプスがあり、シナプスごとに配線図を書けば、600メガバイトをはるかに何倍も上回る。ゲノムが蓄えているのは脳の設計図ではない。発生のレシピと学習規則のセットであり、脳そのものは発生と経験と40億年の進化によって作られる。

それでもこの予測は、ペイジが論じた道とは別の道で実現した。2019年、リチャード・サットンのエッセイ「苦い教訓」は、70年のAI研究で最終的に勝ったのは、計算をより多く吸収できる手法——探索と学習——であり、人間の知識を手作業で組み込もうとした手法は一貫して敗れたと指摘した。2020年、OpenAIのカプランらはその主張を定量化した。言語モデルの誤差は、モデルサイズ、データセットサイズ、計算量に対して滑らかなベキ法則で減少し、サイズを固定すればアーキテクチャの選択はほとんど意味を持たない。DeepMindの2022年のChinchillaは、その処方を反駁したのではなく改良した。GPT-2からGPT-4にかけて、Transformerに根本的な変化はなかった。変わったのは規模——パラメータ、トークン、GPU時間——であり、現れた能力は明示的に設計されたものではなかった。

より深い修正、そして残しておく価値のある点は、重要なのはコードのサイズではなく、コードを書いたプロセスのサイズだということだ。ゲノムは脳を起動する小さなプログラムではない。それは進化の要約であり、想像を絶するほど長い試行錯誤のプロセスの圧縮記録であって、そこから育つのは完成した心ではなく学習者だ。最先端モデルの重みも同じ種類のものだ。訓練過程をパラメータに圧縮したもの、設計ではなくプロセスの要約だ。ペイジは規模が勝つと言って正しかったが、コードの小ささが何を証明するかについては間違っていた。コードは決して論証ではなかった。プロセスが論証だった。だからこそ、この競争は今、公開された訓練量で測られている。Epoch AIの推定ではGPT-4は約2.1×10²⁵FLOP、2024年の最先端の訓練は約10²⁶FLOPで、最先端の訓練計算量は年4〜5倍で増えている。そのペースが続けば、2027年末までに1回の公開訓練が10²⁷FLOPを超えるのが、このトレンドの自然な次の段階であり、19年前にサンフランシスコの舞台でなされた予測に対する次の検証になる。