"La predicción de Larry Page en 2007: la IA vendrá de la computación, no de algoritmos ingeniosos"

En febrero de 2007, en la reunión anual de la Asociación Americana para el Avance de la Ciencia en San Francisco, Larry Page hizo una predicción que entonces sonó a provocación. La creencia dominante en la investigación de la IA se centraba en algoritmos elegantes y razonamiento simbólico: ideas ingeniosas escritas en pizarras. Page ofreció la visión opuesta: "Cuando llegue la IA, va a ser mucha computación, no tanto algoritmos ingeniosos". Respaldó la afirmación con biología. El ADN humano, dijo, tiene unos 600 megabytes comprimido — menos que cualquier sistema operativo moderno — así que los algoritmos del cerebro "probablemente no son tan complicados".

Los números, revisados diecinueve años después, resisten mejor que el argumento. Un genoma humano haploide tiene unos 3.000 millones de pares de bases, y como cada par puede codificarse con 2 bits, eso supone unos 750 megabytes de datos brutos; comprimido por la propia redundancia del genoma, los 600 megabytes de Page son una cifra defendible. Hay una versión aún más afilada del argumento: la desviación de una persona respecto al genoma de referencia se comprime sin pérdida a unos 4 megabytes. Y la comparación con los sistemas operativos es cierta con un matiz: lo es para una instalación completa del sistema, que ocupa decenas de gigabytes, aunque no para el núcleo de Linux por sí solo, cuyo código fuente comprimido es menor que el genoma. Pero la inferencia que Page extrajo de estos números no se sostiene, y fue cuestionada a los pocos días de la charla. Como señaló entonces el programador Seth Finkelstein, un programa corto puede codificar un comportamiento enormemente complicado; el tamaño del código no mide la simplicidad del algoritmo. Hay también una aritmética más dura en el otro lado: un cerebro humano tiene unas 86.000 millones de neuronas y del orden de 100 billones de sinapsis, y un diagrama de cableado especificado sinapsis por sinapsis superaría los 600 megabytes muchas veces. El genoma no almacena un plano del cerebro. Almacena una receta de desarrollo y un conjunto de reglas de aprendizaje, y el cerebro mismo se construye mediante el desarrollo, la experiencia y cuatro mil millones de años de evolución.

Y sin embargo la predicción se cumplió, por un camino distinto del que Page argumentó. En 2019, el ensayo de Richard Sutton "The Bitter Lesson" observó que, a lo largo de setenta años de investigación en IA, los métodos que finalmente ganaron fueron los que podían absorber más computación — búsqueda y aprendizaje — mientras que los métodos que intentaban codificar a mano el conocimiento humano perdían una y otra vez. En 2020, Kaplan y sus colegas de OpenAI hicieron cuantitativa la afirmación: el error de un modelo de lenguaje cae como una ley de potencias suave con el tamaño del modelo, el tamaño del conjunto de datos y el cómputo, y las decisiones de arquitectura apenas importan una vez fijado el tamaño. El trabajo Chinchilla de DeepMind en 2022 refinó la receta en lugar de refutarla. Nada fundamental del transformer cambió entre GPT-2 y GPT-4; lo que cambió fue la escala — parámetros, tokens y horas de GPU — y las capacidades que emergieron no fueron diseñadas explícitamente.

La corrección más profunda, y la que merece conservarse, es que lo que importa no es el tamaño del código sino el tamaño del proceso que lo escribió. El genoma no es un programa pequeño que arranca un cerebro; es el resumen de la evolución, el registro comprimido de un proceso de ensayo y error inimaginablemente largo, y lo que hace crecer no es una mente acabada sino un aprendiz. Los pesos de un modelo de frontera son el mismo tipo de objeto: un entrenamiento comprimido en parámetros, un resumen de un proceso y no un diseño. Page acertó en que la escala ganaría, y se equivocó sobre lo que demostraba la pequeñez del código: el código nunca fue el argumento. El proceso lo era. Por eso la carrera se mide ahora en entrenamientos divulgados: Epoch AI estima GPT-4 en 2,1 × 10²⁵ FLOP y los entrenamientos de frontera de 2024 en torno a 10²⁶, con el cómputo de entrenamiento de frontera creciendo entre cuatro y cinco veces al año. Si ese ritmo se mantiene, un único entrenamiento divulgado que cruce los 10²⁷ FLOP antes de finales de 2027 es el siguiente paso natural de la tendencia, y la próxima prueba de una predicción hecha en un escenario de San Francisco hace diecinueve años.