「Blogger」ブログを生成AIのクローラーに学習させたくない
 |
XのAI生成トレーニングの話題から色々情報を知っていくうちに、ブログも油断できんなと思いまして、AI生成のクローラーをブロックできたらいいなと思うようになりました。
簡単に言うとそんな感じです。
ということは、robots.txtでAI生成のクローラーを拒否することができるわけですが、AI生成のクローラーって、凄い数あるんですよ。。。
AI生成のクローラーの数って、どれくらい？
ちょいと調べてみたところ、GitHubと言うところで、AI生成のクローラーのリストがあったので、見てみたところ。。。その数「86」です。。。
以下のURLで確認できます。
https://github.com/ai-robots-txt/ai.robots.txt/blob/main/robots.txt
更に今後も増え続けていくと思われるので、AI生成のクローラーを拒否されたいブロガーの方は、小まめに確認しておくのが良いでしょう。
robots.txtにどう書けばいいの？
改めて言いますと、robots.txtとは、検索エンジンなどのクローラーに対して自分のサイトをアクセスしていいかどうかを指示するファイルです。
SEOを少し勉強した方なら、ご存知だと思いますが、このrobots.txtに「AIのクローラーはこのサイトにアクセスしないでください」という設定が書けるわけです。
例えば、こんな感じです。
User-agent: クローラーの名前
Disallow: /
さて、メモ帳など、なんでも構わないのでテキストエディタを開き「robots.txt」というファイルを作り、以下のコードをコピペしましょう。
このブログでは、以下の内容を追加してみました。
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: CCBot
Disallow: /
CCBotとは
Common Crawlという非営利団体が提供しているクローラーで、各種AIの学習データに利用されているようです。
入力のコツが必要？
他にも、以下のような対象のクローラーがあるようなのですが、Bloggerのrobots.txtに追記し、保存をクリックすると、保存することができませんでした。
User-agent: Google-Extended
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-Web
Disallow: /
保存しようとすると、「robots.txtのコンテンツが形式の規則に準拠していません」と警告が表示され、保存できません。
ちょっとやり方が悪かったのかもしれません。
どうやら、1つずつ入力すると、上手く行く場合もあるようです。
改めて、今後もAI生成のクローラーは増え続けていくと思われますが、Bloggerの場合、文字数制限もあるので、ある程度落ち着いてくれると良いなあぁ。と思ったりします。
改めて、気になる情報が見つかったら、後日投稿記事を更新したいと思います。
