エルボムエルボム
コラムFAQ無料で始める
技術

AI クローラー

公開: 2026 年 7 月 1 日·更新: 2026 年 7 月 1 日

定義

AI クローラーとは、生成 AI サービス (ChatGPT / Claude / Perplexity 等) が学習データや検索インデックスの構築のために Web ページを収集するプログラムです。従来の検索エンジンクローラー (Googlebot 等) とは目的が異なり、AI モデルの訓練データや RAG (検索拡張生成) のインデックスに直接利用されます。

代表的な AI クローラーには、GPTBot (OpenAI)、ClaudeBot (Anthropic)、Google-Extended (Google Bard / Gemini)、CCBot (Common Crawl)、PerplexityBot (Perplexity) などがあります。

ブロック方法とエルボムの方針

AI クローラーは、Web サイトの `robots.txt` に「Disallow」を明記することでアクセスをブロックできます。ただし、ブロックは「お願い」であり、規約遵守しないクローラーは技術的には侵入可能です。

エルボムでは、`robots.txt` で主要 AI クローラーをユーザー領域 (/albums/ /share/ /dashboard/) からブロックし、投稿された写真が AI 学習データに取り込まれるリスクを技術的に低減しています。一方、公開 LP・コラム・FAQ には AI クローラーのアクセスを許可し、AI Overview / SGE での正しい情報伝達を促進する設計です。

エルボム 1ヶ月無料お試し クレジットカード登録不要 自動継続なし

関連記事

  • 家族限定共有

    SNS の公開タイムラインを持たず、パスワード付き URL で家族・親戚だけに写真を届ける共有方式。プライバシー保護型の設計で、AI 学習にも使われない。

  • パスワード付き URL 共有

    URL + パスワードの二段階でアクセスを制限する共有方式。URL が漏れてもパスワードなしでは閲覧できず、家族・親戚だけに写真アルバムを届けられる。

  • 家族写真は AI 学習に使われない?

    使われないようにするには、AI クローラー (GPTBot / ClaudeBot / Google-Extended など) を技術的にブロックし、利用規約で AI 学習目的の利用を禁止しているサービスを選ぶ必要があります。エルボムはこの 2 点を満たす設計です。

  • AI 学習に使われない、家族写真の安全なプライベート共有術

    家族写真や子どもの写真が AI 学習に使われることを防ぎたい家庭向けに、SNS / クラウド系の落とし穴と、AI 学習を明示的に拒否した URL 共有型サービスの選び方を運営者目線で解説します。