公開リファレンスデータセット · CC BY 4.0
AI クローラー役割分類および可視性エビデンス基準データセット
CC BY 4.0 ライセンスで公開される構造化データセット:主要 14 種の AI クローラー役割分類、4 層の帰属エビデンス基準、公開静的 GEO スコア配点を収録。
CitationGraph は AI ボット通信を「学習用クローラー」「AI 検索インデックス」「ユーザープロンプト起点のリアルタイム取得」の 3 役割に分類し、4 層のファーストパーティ証跡モデルと 4 次元均等配点(インフラ 25%・メタデータ 25%・構造化データ 25%・AI ガイダンス 25%)で技術的準備度を定義します。
1. 主要 AI クローラー&検索エージェント役割分類(14 種)
学習用収集と検索インデックス・リアルタイム参照を明確に分離し、robots.txt 設定による意図しない AI 引用ブロックを防ぎます。
| ボット識別子 | 運営元 | 主な役割 | robots トークン | シグナル層 | 検証方式 |
|---|---|---|---|---|---|
| GPTBot | OpenAI | model_training | GPTBot | server_crawler_discovery | Published IP CIDR ranges + User-Agent |
| OAI-SearchBot | OpenAI | search_index | OAI-SearchBot | server_crawler_discovery | Published IP CIDR ranges + User-Agent |
| ChatGPT-User | OpenAI | live_user_retrieval | ChatGPT-User | live_retrieval_fetch | Published IP CIDR ranges + User-Agent |
| ClaudeBot | Anthropic | model_training | ClaudeBot | server_crawler_discovery | User-Agent + ASN attribution |
| Claude-SearchBot | Anthropic | search_index | Claude-SearchBot | server_crawler_discovery | User-Agent + ASN attribution |
| Claude-User | Anthropic | live_user_retrieval | Claude-User | live_retrieval_fetch | User-Agent + request header pattern |
| PerplexityBot | Perplexity AI | search_index | PerplexityBot | server_crawler_discovery | Published IP JSON list + User-Agent |
| Perplexity-User | Perplexity AI | live_user_retrieval | Perplexity-User | live_retrieval_fetch | Published IP JSON list + User-Agent |
| Google-Extended | model_training | Google-Extended | server_crawler_discovery | Reverse/Forward DNS googlebot.com + policy token | |
| GoogleOther | search_index | GoogleOther | server_crawler_discovery | Reverse/Forward DNS googlebot.com | |
| Applebot-Extended | Apple | model_training | Applebot-Extended | server_crawler_discovery | Reverse/Forward DNS applebot.apple.com + policy token |
| Amazonbot | Amazon | search_index | Amazonbot | server_crawler_discovery | Reverse/Forward DNS crawl.amazonbot.amazon |
| Meta-ExternalAgent | Meta | model_training | Meta-ExternalAgent | server_crawler_discovery | User-Agent + Meta ASN verification |
| CCBot | Common Crawl | model_training | CCBot | server_crawler_discovery | User-Agent + Common Crawl AWS egress metadata |
2. 4層ファーストパーティ AI 可視性エビデンスモデル
発見・引用適格性・AI リファラル流入・接続済み成果指標をそれぞれ独立した証跡レイヤーとして扱います。
| レイヤー ID | 名称 | 主なシグナル源 | 決定論的スコープ境界 |
|---|---|---|---|
| L1_server_crawler_truth | Server Crawler & Retrieval Telemetry | Edge/runtime HTTP request headers, status codes, and verified bot identity | Proves crawler discovery and live answer-engine page fetches without client JS |
| L2_citation_surface_readiness | Citation Surface & Entity Graph Readiness | Canonical HTML, JSON-LD @id graph, llms.txt, and .md dual-stack mirrors | Evaluates structural eligibility for verifiable citations; does not guarantee citation |
| L3_verified_ai_referral_session | First-Party AI Referral Session Attribution | Document referrer, UTM/citation parameters, and session landing page | Separates human clicks arriving from AI answer engines from generic organic/direct visits |
| L4_connected_outcome_context | Connected Search & Conversion Context | Authorized GSC query matrices, waitlist/lead events, and commerce outcomes | Available in connected workspaces only; never inferred from public static previews |
3. 公開静的 GEO プレビュースコア配点(100点満点)
公開単一 URL 静的チェッカー(/tools/geo-score)専用の配点基準であり、商用ホスト版の接続済みテレメトリとは区別されます。
| 評価次元 | 配点比率 | 評価対象シグナル | スコープ境界 |
|---|---|---|---|
| infrastructure | 25% | HTTPS enforcement, HTTP 200 status, robots.txt crawl rules, XML sitemap presence | Public static scan dimension; excludes private server logs |
| metadata | 25% | Title & meta description boundaries, self-referencing canonical, hreflang reciprocity, Open Graph | Public static scan dimension; checks single-URL HTML head tags |
| structured_data | 25% | Valid JSON-LD syntax, Organization/SoftwareApplication/Dataset @id entities, FAQ/Article schema | Public static scan dimension; validates machine-parsable entity definitions |
| ai_guidance | 25% | llms.txt / llms-full.txt availability, Markdown alternate Link headers, clean section headings | Public static scan dimension; does not represent hosted multi-engine citation tracking |
Global Gravity Technology により CC BY 4.0 ライセンスの下で無償公開されています。引用時は https://citationgraph.ai/ja/data/ai-crawler-and-visibility-taxonomy を明記してください。
学習ボットと AI 検索・リアルタイム取得ボットを分ける理由は?
GPTBot 等の学習制限と、OAI-SearchBot や PerplexityBot 等の検索・回答参照は役割が異なります。混同すると AI 回答からの引用流入まで遮断してしまいます。
顧客サイトの非公開テレメトリは含まれますか?
いいえ。公開仕様・クローラー検証基準・静的プレビュー配点のみを収録しており、顧客データは一切含まれません。