"래리 페이지의 2007년 예측: AI는 교묘한 알고리즘이 아니라 계산에서 온다"

2007년 2월, 샌프란시스코에서 열린 미국과학진흥협회 연례 회의에서 래리 페이지는 당시로서는 도발처럼 들리는 예측을 했다. 당시 AI 연구의 지배적인 믿음은 우아한 알고리즘과 기호 추론, 즉 화이트보드에 적힌 교묘한 아이디어에 있었다. 페이지는 반대 견해를 제시했다. "AI가 도래할 때, 그것은 엄청난 계산일 것이지, 그렇게 교묘한 알고리즘이 아닐 것이다." 그는 생물학으로 그 주장을 뒷받침했다. 인간 DNA는 압축하면 약 600메가바이트로, 어떤 현대 운영체제보다 작으므로 뇌의 알고리즘은 "아마 그렇게 복잡하지 않을 것"이라는 것이다.

19년 뒤 숫자를 검증해 보면, 숫자는 논증보다 잘 버틴다. 반수체 인간 게놈은 약 30억 개의 염기쌍이며, 각 염기쌍은 2비트로 표현할 수 있으므로 원시 데이터는 약 750메가바이트가 된다. 게놈 자체의 중복성으로 압축하면 페이지가 말한 600메가바이트는 방어 가능한 수치다. 더 날카로운 버전도 있다. 한 개인의 참조 게놈 대비 차이는 무손실 압축 시 약 4메가바이트가 된다. 그리고 운영체제와의 비교는 한 가지 단서가 붙으면 맞다. 수십 기가바이트에 달하는 전체 시스템 설치에 대해서는 맞지만, 리눅스 커널 단독에 대해서는 맞지 않는다. 커널의 압축 소스는 게놈보다 작다. 그러나 페이지가 이 숫자들에서 도출한 추론은 성립하지 않으며, 강연 며칠 만에 반박이 나왔다. 프로그래머 세스 핀켈슈타인이 당시 지적했듯이, 짧은 프로그램도 엄청나게 복잡한 동작을 인코딩할 수 있다. 코드 크기는 알고리즘 단순성의 척도가 아니다. 반대편에는 더 단단한 산술도 있다. 인간의 뇌에는 약 860억 개의 뉴런과 약 100조 개의 시냅스가 있으며, 시냅스 하나하나를 명시한 배선도는 600메가바이트를 수없이 초과할 것이다. 게놈은 뇌의 설계도를 저장하지 않는다. 발생 레시피와 학습 규칙의 집합을 저장하며, 뇌 자체는 발생과 경험, 그리고 40억 년의 진화에 의해 만들어진다.

그럼에도 이 예측은 페이지가 논증한 길과는 다른 길로 실현되었다. 2019년 리처드 서튼의 에세이 "The Bitter Lesson"은 70년의 AI 연구에서 최종적으로 승리한 방법은 더 많은 계산을 흡수할 수 있는 방법, 즉 탐색과 학습이었으며, 인간 지식을 손수 인코딩하려 한 방법은 일관되게 패배했다고 지적했다. 2020년 OpenAI의 카플란 등은 그 주장을 정량화했다. 언어 모델의 오차는 모델 크기, 데이터셋 크기, 계산량에 대해 매끄러운 거듭제곱 법칙으로 감소하며, 크기가 고정되면 아키텍처 선택은 거의 중요하지 않다. 2022년 DeepMind의 Chinchilla 연구는 그 레시피를 반박한 것이 아니라 다듬었다. GPT-2에서 GPT-4로 넘어가면서 트랜스포머의 근본적인 부분은 바뀌지 않았다. 바뀐 것은 규모, 즉 파라미터와 토큰, GPU 시간이었다. 그리고 출현한 능력들은 명시적으로 설계된 것이 아니었다.

더 깊은 수정, 그리고 간직할 가치가 있는 점은, 중요한 것은 코드의 크기가 아니라 코드를 쓴 과정의 크기라는 것이다. 게놈은 뇌를 부팅하는 작은 프로그램이 아니다. 그것은 진화의 요약, 상상할 수 없을 만큼 긴 시행착오 과정의 압축된 기록이며, 그것이 길러내는 것은 완성된 마음이 아니라 학습자이다. 최첨단 모델의 가중치도 같은 종류의 대상이다. 파라미터로 압축된 훈련 과정, 설계가 아니라 과정의 요약이다. 페이지는 규모가 승리할 것이라고 말한 것은 맞았지만, 코드의 작음이 무엇을 증명하는지에 대해서는 틀렸다. 코드는 결코 논증이 아니었다. 과정이 논증이었다. 그래서 지금의 경쟁은 공개된 훈련량으로 측정된다. Epoch AI는 GPT-4를 약 2.1×10²⁵ FLOP, 2024년의 최첨단 훈련을 약 10²⁶ FLOP으로 추정하며, 최첨단 훈련 계산량은 연간 4~5배로 증가하고 있다. 그 속도가 유지된다면, 2027년 말까지 공개된 단일 훈련이 10²⁷ FLOP을 넘는 것은 이 추세의 자연스러운 다음 단계이며, 19년 전 샌프란시스코 무대에서 나온 예측에 대한 다음 검증이 될 것이다.