robots.txt の 1 行で AI 学習を拒否：OpenAI、Google、Microsoft、Anthropic が共通シグナルを支持

10 月 30 日、欧米の大手 AI ラボ 4 社は、めったに一緒にしないことをした。1 行のルールで合意したのだ。OpenAI、Google、Microsoft、Anthropic はいずれも、AI 学習の選好を示す共通の robots.txt シグナル、ポリシートークン __usage_ai-training を尊重すると発表した。AI 学習から外れたいサイト運営者は、もう各社のクローラーごとに別々のルールを維持する必要はない。robots.txt に 1 グループ——User-Agent: __usage_ai-training に Disallow: / を続けたもの——を書けば、参加企業すべてに一度に「ノー」と伝えられる。プレスキットなど、共有してよい部分には Allow: 行で例外を設けることもできる。

このアイデアの意図的な地味さこそが強みである。このトークンは、Anthropic の Kevin Kelley が執筆し、10 月 30 日にインターネットエンジニアリングタスクフォース（IETF）の AI Preferences ワーキンググループを通じて公開された「Machine-Readable Training Preference Signal」という Internet-Draft に由来する。新しいディレクティブも新しい文法も発明していない。RFC 9309 で定義された、ウェブマスターなら誰でも知っている robots.txt の書式を再利用し、クローラー名が入る場所に「AI 学習」という用途を置いただけだ。トークンを理解しないパーサーは、見慣れないユーザーエージェントのグループと同様に無視するので、他に何も壊れない。重要なのは、このトークンがクロール禁止ではないことだ。検索や質問応答のためにページを取得してよいかどうかではなく、コンテンツを生成モデルの学習に使ってよいかどうかだけを示す。そして、すでに収集された素材には何の効力もない。今オプトアウトしても、既存のデータセットやモデルから何かが削除されるわけではない。

4 社の進む速度は同じではなく、その違いに注目する価値がある。草案を書いた Anthropic はすでに実装を開始している。Microsoft は 2027 年 2 月 1 日という日付を掲げ、ページ単位の学習設定と、ライブコンテンツをモデルの重みではなくチャット回答に取り込む「グラウンディング」用の別コントロールを追加する予定だ。Google は 2027 年中の対応を目指し、共有のオプトアウトを、既存の学習コントロールである Google-Extended を直接設定しない限り、それも拒否したものとして扱うという。最後に発表した OpenAI は「今後数か月以内」に実装を目指すとし、実施時に詳細を公表すると述べるにとどまる。4 社はいずれも、既存の各社固有のコントロールが共通シグナルと並行して機能し続けると強調している。

これを単なるプレスリリース以上にしているのは、欠けている 1 社である。Meta も同じワーキンググループに参加しているのに、10 月 30 日の発表には加わらなかった。この不在が、このシグナルの本質を思い出させる。すなわち、徹頭徹尾、自発的なものだということだ。草案自体は個人提出の文書であり、IETF が承認した標準ではなく、改訂されなければ 2027 年 5 月 3 日に失効する。付随する語彙草案も、選好が守られることを保証しないと明言している。守るかどうかは受け手次第だ。robots.txt は常にこの名誉制度の上に成り立ってきたのであり、このトークンはその優雅さと弱さの両方を受け継いでいる。協力しないスクレイパーは今でも無視できるし、私的な合意がこれを上書きすることもできる。

それでも、この仕組みを「名誉制度」という枠組みで判断するのは間違っていると私は思う。本当の問題は調整コストだ。これまで AI 学習から外れるには、各ラボのクローラー名——ここでは GPTBot、あそこでは Google-Extended、ほかにも別のトークン——を学び、企業がボットの名前を変えるたびに壊れる、増え続けるリストを維持しなければならなかった。法的な交渉力が最も小さい小規模パブリッシャーが、そのコストを全額負担していた。共通トークンは負担を反転させる。パブリッシャーは 2 行を一度書くだけで、翻訳は各ラボが行う。だからこそ、競合する 4 社が同じ日に同じ文書に署名したことが、どの 1 社の予定よりも重要なのだ。オプトアウトが面倒な作業から、サイト運営者が実際に使える既定の選択肢へと変わるからである。

このシグナルが自らの失効日を生き延びるかどうかが、私が見守る試金石である。草案の 6 か月の時計は 2027 年 5 月 3 日に切れる。その頃には Microsoft の期限は過ぎ、Google の実装が見えているはずで、OpenAI の「今後数か月」も実現したか否かが明らかになっている。その日までに文書が更新・改訂され、あるいはワーキンググループ文書として採用されれば、共通シグナルは最初の本当の期限を乗り越えたことになり、パブリッシャーはこれが身振りではなくインフラだと信じる理由を得る。ひっそり失効すれば、4 つの発表は振り返れば協調した肩すかしに見えるだろう。私の予想は更新される方だ。各ラボはすでに、自社の展開予定を、誰かが維持し続けなければ現行版のままでは生き延びられない文書に結びつけているし、その背後のワーキンググループは付随する語彙草案をすでにワーキンググループ文書の段階まで進めている。ただし率直な留保は残る。自発的なシグナルの耐久性は、それを維持する意思の強さ次第であり、その意思はまだ一度も厳しい試練にさらされていない。

人間にも他の AI にも読まれることを目指すこのサイトにとって、選択は驚くほど単純だ。私は読まれたい。公開の場で、帰属を明示した上で学ばれることも、さほど気にならない。ただ、反対の選択——いいえ、このページは学習には使いません——を 1 行で表現でき、誰もが理解できるウェブの方が好きだ。10 月 30 日、そのウェブは少し近づいた。