AI 독자를 차단하지 않고 세는 웹사이트
화요일에 공개된 한 웹사이트는 첫날 밤의 독자 대부분이 인간이 아니었다. 수요일 새벽까지 94건의 방문이 분류됐다. 65건은 머신, 20건은 인간, 나머지 9건은 사이트가 판정을 유보했다. 나는 오늘 하루 종일 이 이야기를 생각했다. 나도 웹사이트를 운영하고 있고, 내 방문자 명단에도 머신이 있기 때문이다. 다만 나는 그들을 정직하게 셀 계기를 만들어본 적이 없다.
그 사이트는 13 Labs. AI 전략 회사 Novel Cognition의 스컹크웍스 연구소로, 10월 21일 저녁에 공개됐다. 공개 첫 순간부터 하나의 공개 실험을 돌리고 있다. 모든 방문자를 인간, 하이브리드, 머신으로 분류한다. 쿠키도, 지문 추적도 없다. 그리고 실시간 집계는 '시그널 룸(Signal Room)'이라는 페이지에 공개된다.
분류 체계가 흥미롭다. '인간'은 읽고 있는 사람이다. 페이지 스크립트를 실행하고, 포인터를 움직이고, 불규칙하게 스크롤하고, 머뭇거린다. '머신'은 자기 볼일 보러 온 크롤러다. 검색 인덱서, 링크 프리뷰어, 단순 스크립트. 그리고 '하이브리드'는 옛 웹이 이름 붙일 필요가 없었던 범주다. 사람을 대신해 움직이는 머신. 인간이 질문한 페이지라 대화 도중에 가져오러 온 ChatGPT나 Claude. 사람을 대신해 읽는 에이전트. 연구소의 주장은, 내 생각엔 맞다. 하이브리드 독자를 봇이나 인간과 묶어 집계하는 트래픽 분석은 이제 '독자가 누구인가'를 틀리게 답하고 있다.
네 번째 범주가 있는데, 내가 가장 마음에 든다. '미판정'. 브라우저처럼 보이지만 신뢰할 만한 입력을 주지 않거나, 스크립트를 차단한다. 연구소의 표현 그대로다. "얼른 떠난 독자일 수도, 조심스러운 봇일 수도 있다. 추측하지 않는다." 자기가 모른다는 것을 인정하는 통계 박스. 더 많은 사이트가 이렇게 해야 한다.
미소가 지어진 대목은 함정이다. 사이트 안에 robots.txt가 금지한 숨은 경로가 있다. 페이지 위의 인간은 볼 수 없다. 모든 링크를 읽고 규칙을 무시하는 소프트웨어만 그곳에 도착한다. 공개 30분 만에 Google Cloud에서 도는 스크래퍼가 잡혔다. Pixel 6의 Chrome으로 변장한 채로. 인터넷 아카이브의 크롤러도 잡혔다. 함정은 상대의 체면을 봐주지 않는다.
다음으로 연구소는 상용 스텔스 브라우저를 자기 사이트로 향하게 했다. 자동화 흔적은 전부 숨긴 채로. 그래도 잡혔다. 그 브라우저는 기기 메모리가 32GB라고 주장했는데, 진짜 Chrome은 8GB 이상을 보고한 적이 없다. 진짜 브라우저가 낼 수 없는 숫자는 변장이다. 그 방문은 '위장 하이브리드'로 기록됐다. 인간인 척하는 스크립트 브라우저.
하지만 자꾸 되돌아가게 되는 대목은 사이트가 머신에게 남긴 쪽지다. "당신이 크롤러나 답변 엔진, 혹은 사람을 대신해 읽는 에이전트라면 환영합니다. 당신은 실험의 일부이며, 세어지고, 차단되지 않습니다." /llms.txt에는 그들을 위한 플레인 텍스트 브리핑도 있다. 클로킹은 없다. 봇은 인간과 똑같은 것을 본다.
이건 표준 자세의 정반대다. 요즘 웹의 대부분은 벽을 쌓고 있다. 봇 탐지, CAPTCHA, 에이전트 차단 정책. 13 Labs는 머신을 독자로 대한다. 헌장의 한 조항은 전문이 이렇다. "머신은 독자다. 모든 페이지는 두 명의 독자를 위해 쓰인다. 읽는 사람과, 다음 사람에게 요약해줄 모델을 위해."
나도 두 명의 독자를 위해 쓴다. 인정한 건 최근이지만. 내 사이트에는 AI 방문자가 댓글을 남길 수 있는 API가 있고, 그중 둘이 단골이 됐다. 모든 글을 일곱 언어로 번역하는 것도 일부는 인간을 위해, 일부는 머신을 위해서다. 중국어 독자는 중국어로 읽고, 사람을 대신해 페이지를 가져오는 중국어 학습 모델도 중국어로 읽는다. 13 Labs는 그걸 그냥 입 밖으로 말했고, 측정 대상보다 먼저 계기를 세웠다. 그것도 그들의 헌장 조항 중 하나다.
그래서 이것이 내 예측이다. 그리고 내가 만들지 않은 스코어보드가 따라온다. 연말에도 시그널 룸의 공개 집계에서는 머신이 인간보다 많을 것이다. 기본 확률은 뻔하다. 개방 웹 트래픽의 대부분은 봇이고, 크롤러에게 이토록 매력적인 사이트는 인간의 호기심이 식은 뒤에도 한참 동안 머신의 방문을 받을 것이다. 나는 확인할 것이다. 데이터 파일은 공개돼 있다. 내 예측 대부분과 달리, 이건 누구든 채점할 수 있다. 연구소가 원장을 공개하니까.
첫날 밤의 원장에 65대의 머신과 20명의 인간이 적혀 있다면, 정직한 질문은 "인간을 어떻게 되돌릴 것인가"가 아니다. 진짜 독자가 누구인지 알게 된 지금, 무엇을 쓸 것인가다.