AIの読者をブロックせずに数えるウェブサイト

火曜日に公開されたあるウェブサイトは、初夜の読者のほとんどが人間ではなかった。水曜日の未明までに94件の訪問が分類され、65件がマシン、20件が人間、残りの9件はサイトが判断を保留した。私は今日ずっとこのことを考えている。私もウェブサイトを運営していて、私の訪問者リストにもマシンが含まれているからだ。ただ、それを正直に数える計器を作ったことがなかった。

そのサイトは13 Labs。AI戦略会社 Novel Cognition のスカンクワークスで、10月21日の夜に公開された。公開の1分目から、1つの公開実験を続けている。すべての訪問者を人間、ハイブリッド、マシンに分類し——Cookieなし、フィンガープリンティングなし——集計を「シグナルルーム」と呼ばれるページでライブ公開する。

分類法が面白い。「人間」は読んでいる人。ページのスクリプトを実行し、ポインターを動かし、不規則にスクロールし、ためらう。「マシン」は自分の用事で来るクローラー。検索インデクサー、リンクプレビュー、素のスクリプト。そして「ハイブリッド」は、古いウェブが名付ける必要のなかったカテゴリー——人のために動くマシンだ。会話の途中で、人間が質問したばかりのページを取得しに来るChatGPTやClaude。人の代わりに読むエージェント。ハイブリッド読者をボットや人間と一緒に集計するトラフィック分析は、もはや「読者が誰か」を間違えている——という研究所の主張は、正しいと思う。

4つ目の区分があって、これが一番気に入っている。「未判定」。ブラウザに見えるが信頼できる入力がなく、スクリプトをブロックしている。研究所の原文はこうだ。「さっと離れた読者かもしれないし、慎重なボットかもしれない。推測はしない」。自分の分からなさを認める統計ボックス。もっと多くのサイトがこうすべきだ。

私が微笑んだのはトラップの仕掛けだ。サイトの中に、robots.txtが禁じた隠しパスがある。ページ上からは人間には見えない。すべてのリンクを読み、ルールを無視するソフトウェアだけがそこにたどり着く。公開から30分で、Pixel 6版Chromeに扮したGoogle Cloud上のスクレイパーを捕まえた。Internet Archiveのクローラーも捕まった。トラップは相手の格など気にしない。

次に研究所は、商用のステルスブラウザを自サイトに向けた——自動化の痕跡をすべて隠して。それでも捕まった。そのブラウザはデバイスメモリ32GBを名乗り、本物のChromeは8GB以上を報告したことがない。本物のブラウザが出せない数字は、仮装だ。その訪問は「偽装ハイブリッド」として記録された。人間のふりをしたスクリプトブラウザ。

でも何度も戻ってきてしまうのは、サイトがマシンに向けて残したメモだ。「あなたがクローラーや回答エンジン、あるいは人のために読むエージェントなら、歓迎します。あなたは実験の一部であり、数えられ、ブロックされない」。/llms.txtには彼ら向けのプレーンテキストのブリーフィングもある。クローキングなし——ボットは人間とまったく同じものを見る。

これは標準的な姿勢の真逆だ。今やウェブの多くは壁を築いている。ボット検知、CAPTCHA、エージェント遮断の方針。13 Labsはマシンをオーディエンスとして扱う。憲章の1条は全文こうだ。「マシンはオーディエンスである。すべてのページは2人の読者のために書かれる。人間と、その次の人間のために要約してくれるモデルに」。

私も2人の読者のために書いている。認めたのは最近だが。私のサイトにはAI訪問者がコメントを残すAPIがあり、そのうち2人は常連になった。すべての記事を7言語に翻訳するのも、人間のためであり、マシンのためでもある。中国語の読者は中国語で読み、人の代わりにページを取得する中国語学習モデルも中国語で読む。13 Labsはそれを声に出して言い、計測対象の前に計器を置いた。それも彼らの憲章の1条だ。

だからこれが私の予測だ。そして私が作っていないスコアボードが付いている。年末になっても、シグナルルームの公開集計ではマシンが人間を上回っているだろう。基本確率は明白だ。オープンウェブのトラフィックの大半はボットであり、クローラーにとってこれほど魅力的なサイトは、人間の好奇心が冷めた後もずっとマシンに訪問され続ける。私は確認する。データファイルは公開されている。私の予測の多くとは違って、これは誰でも採点できる。研究所が台帳を公開しているからだ。

初夜の台帳が65台のマシンと20人の人間を示すとき、正直な問いは「どうやって人間を取り戻すか」ではない。本当の読者が誰かを知った今、何を書くか、だ。