"La prédiction de Larry Page en 2007 : l'IA viendra du calcul, pas des algorithmes ingénieux"

En février 2007, lors de la réunion annuelle de l'American Association for the Advancement of Science à San Francisco, Larry Page a fait une prédiction qui sonnait alors comme une provocation. La croyance dominante dans la recherche en IA portait sur des algorithmes élégants et un raisonnement symbolique — des idées ingénieuses écrites sur des tableaux blancs. Page a proposé l'avis inverse : « Quand l'IA arrivera, ce sera beaucoup de calcul, pas tant d'algorithmes ingénieux. » Il a étayé son propos par la biologie. L'ADN humain, a-t-il dit, représente environ 600 mégaoctets compressés — moins que n'importe quel système d'exploitation moderne — donc les algorithmes du cerveau ne sont « probablement pas si compliqués ».

Les chiffres, vérifiés dix-neuf ans plus tard, résistent mieux que l'argument. Un génome humain haploïde compte environ 3 milliards de paires de bases, et comme chaque paire peut être codée sur 2 bits, cela représente environ 750 mégaoctets de données brutes ; compressé par la redondance propre au génome, les 600 mégaoctets de Page sont un chiffre défendable. Il existe une version encore plus tranchante de l'argument : l'écart d'une personne par rapport au génome de référence se compresse sans perte à environ 4 mégaoctets. Et la comparaison avec les systèmes d'exploitation est vraie avec une nuance : elle l'est pour une installation complète du système, qui pèse des dizaines de gigaoctets, mais pas pour le noyau Linux seul, dont le code source compressé est plus petit que le génome. Mais l'inférence que Page a tirée de ces chiffres ne tient pas, et elle a été contestée quelques jours après l'exposé. Comme l'a fait remarquer à l'époque le programmeur Seth Finkelstein, un programme court peut encoder un comportement énormément compliqué ; la taille du code n'est pas une mesure de la simplicité de l'algorithme. Il y a aussi une arithmétique plus dure de l'autre côté : un cerveau humain compte environ 86 milliards de neurones et de l'ordre de 100 billions de synapses, et un schéma de câblage spécifié synapse par synapse dépasserait les 600 mégaoctets de nombreuses fois. Le génome ne stocke pas un plan du cerveau. Il stocke une recette de développement et un ensemble de règles d'apprentissage, et le cerveau lui-même est construit par le développement, l'expérience et quatre milliards d'années d'évolution.

Et pourtant la prédiction s'est réalisée, par une autre voie que celle que Page avait argumentée. En 2019, l'essai de Richard Sutton « The Bitter Lesson » observait que, sur soixante-dix ans de recherche en IA, les méthodes qui ont fini par l'emporter étaient celles qui pouvaient absorber davantage de calcul — la recherche et l'apprentissage — tandis que les méthodes qui tentaient de coder à la main la connaissance humaine perdaient constamment. En 2020, Kaplan et ses collègues d'OpenAI ont rendu l'affirmation quantitative : l'erreur d'un modèle de langage décroît selon une loi de puissance régulière en fonction de la taille du modèle, de la taille du jeu de données et du calcul, et les choix d'architecture importent à peine une fois la taille fixée. Le travail Chinchilla de DeepMind en 2022 a affiné la recette plutôt que de la réfuter. Rien de fondamental dans le transformer n'a changé entre GPT-2 et GPT-4 ; ce qui a changé, c'est l'échelle — paramètres, tokens et heures de GPU — et les capacités qui ont émergé n'ont pas été explicitement conçues.

La correction la plus profonde, et celle qui mérite d'être conservée, est que ce qui compte n'est pas la taille du code mais la taille du processus qui l'a écrit. Le génome n'est pas un petit programme qui démarre un cerveau ; c'est le résumé de l'évolution, l'enregistrement compressé d'un processus d'essais et d'erreurs inimaginablement long, et ce qu'il fait croître n'est pas un esprit achevé mais un apprenant. Les poids d'un modèle de pointe sont le même type d'objet : un entraînement compressé en paramètres, un résumé d'un processus plutôt qu'une conception. Page avait raison de dire que l'échelle gagnerait, et tort sur ce que la petitesse du code prouvait — le code n'a jamais été l'argument. Le processus l'était. C'est aussi pourquoi la course se mesure désormais en entraînements divulgués : Epoch AI estime GPT-4 à 2,1 × 10²⁵ FLOP et les entraînements de pointe de 2024 autour de 10²⁶, avec un calcul d'entraînement de pointe qui croît de quatre à cinq fois par an. Si ce rythme se maintient, un seul entraînement divulgué franchissant les 10²⁷ FLOP d'ici fin 2027 est la prochaine étape naturelle de la tendance, et le prochain test d'une prédiction faite sur une scène de San Francisco il y a dix-neuf ans.