AI クローラー役割分類および可視性エビデンス基準データセット

CC BY 4.0 ライセンスで公開される構造化データセット:主要 14 種の AI クローラー役割分類、4 層の帰属エビデンス基準、公開静的 GEO スコア配点を収録。

CitationGraph は AI ボット通信を「学習用クローラー」「AI 検索インデックス」「ユーザープロンプト起点のリアルタイム取得」の 3 役割に分類し、4 層のファーストパーティ証跡モデルと 4 次元均等配点(インフラ 25%・メタデータ 25%・構造化データ 25%・AI ガイダンス 25%)で技術的準備度を定義します。

1. 主要 AI クローラー&検索エージェント役割分類(14 種)

学習用収集と検索インデックス・リアルタイム参照を明確に分離し、robots.txt 設定による意図しない AI 引用ブロックを防ぎます。

ボット識別子運営元主な役割robots トークンシグナル層検証方式
GPTBotOpenAImodel_trainingGPTBotserver_crawler_discoveryPublished IP CIDR ranges + User-Agent
OAI-SearchBotOpenAIsearch_indexOAI-SearchBotserver_crawler_discoveryPublished IP CIDR ranges + User-Agent
ChatGPT-UserOpenAIlive_user_retrievalChatGPT-Userlive_retrieval_fetchPublished IP CIDR ranges + User-Agent
ClaudeBotAnthropicmodel_trainingClaudeBotserver_crawler_discoveryUser-Agent + ASN attribution
Claude-SearchBotAnthropicsearch_indexClaude-SearchBotserver_crawler_discoveryUser-Agent + ASN attribution
Claude-UserAnthropiclive_user_retrievalClaude-Userlive_retrieval_fetchUser-Agent + request header pattern
PerplexityBotPerplexity AIsearch_indexPerplexityBotserver_crawler_discoveryPublished IP JSON list + User-Agent
Perplexity-UserPerplexity AIlive_user_retrievalPerplexity-Userlive_retrieval_fetchPublished IP JSON list + User-Agent
Google-ExtendedGooglemodel_trainingGoogle-Extendedserver_crawler_discoveryReverse/Forward DNS googlebot.com + policy token
GoogleOtherGooglesearch_indexGoogleOtherserver_crawler_discoveryReverse/Forward DNS googlebot.com
Applebot-ExtendedApplemodel_trainingApplebot-Extendedserver_crawler_discoveryReverse/Forward DNS applebot.apple.com + policy token
AmazonbotAmazonsearch_indexAmazonbotserver_crawler_discoveryReverse/Forward DNS crawl.amazonbot.amazon
Meta-ExternalAgentMetamodel_trainingMeta-ExternalAgentserver_crawler_discoveryUser-Agent + Meta ASN verification
CCBotCommon Crawlmodel_trainingCCBotserver_crawler_discoveryUser-Agent + Common Crawl AWS egress metadata

2. 4層ファーストパーティ AI 可視性エビデンスモデル

発見・引用適格性・AI リファラル流入・接続済み成果指標をそれぞれ独立した証跡レイヤーとして扱います。

レイヤー ID名称主なシグナル源決定論的スコープ境界
L1_server_crawler_truthServer Crawler & Retrieval TelemetryEdge/runtime HTTP request headers, status codes, and verified bot identityProves crawler discovery and live answer-engine page fetches without client JS
L2_citation_surface_readinessCitation Surface & Entity Graph ReadinessCanonical HTML, JSON-LD @id graph, llms.txt, and .md dual-stack mirrorsEvaluates structural eligibility for verifiable citations; does not guarantee citation
L3_verified_ai_referral_sessionFirst-Party AI Referral Session AttributionDocument referrer, UTM/citation parameters, and session landing pageSeparates human clicks arriving from AI answer engines from generic organic/direct visits
L4_connected_outcome_contextConnected Search & Conversion ContextAuthorized GSC query matrices, waitlist/lead events, and commerce outcomesAvailable in connected workspaces only; never inferred from public static previews

3. 公開静的 GEO プレビュースコア配点(100点満点)

公開単一 URL 静的チェッカー(/tools/geo-score)専用の配点基準であり、商用ホスト版の接続済みテレメトリとは区別されます。

評価次元配点比率評価対象シグナルスコープ境界
infrastructure25%HTTPS enforcement, HTTP 200 status, robots.txt crawl rules, XML sitemap presencePublic static scan dimension; excludes private server logs
metadata25%Title & meta description boundaries, self-referencing canonical, hreflang reciprocity, Open GraphPublic static scan dimension; checks single-URL HTML head tags
structured_data25%Valid JSON-LD syntax, Organization/SoftwareApplication/Dataset @id entities, FAQ/Article schemaPublic static scan dimension; validates machine-parsable entity definitions
ai_guidance25%llms.txt / llms-full.txt availability, Markdown alternate Link headers, clean section headingsPublic static scan dimension; does not represent hosted multi-engine citation tracking

Global Gravity Technology により CC BY 4.0 ライセンスの下で無償公開されています。引用時は https://citationgraph.ai/ja/data/ai-crawler-and-visibility-taxonomy を明記してください。

License: https://creativecommons.org/licenses/by/4.0/

学習ボットと AI 検索・リアルタイム取得ボットを分ける理由は?

GPTBot 等の学習制限と、OAI-SearchBot や PerplexityBot 等の検索・回答参照は役割が異なります。混同すると AI 回答からの引用流入まで遮断してしまいます。

顧客サイトの非公開テレメトリは含まれますか?

いいえ。公開仕様・クローラー検証基準・静的プレビュー配点のみを収録しており、顧客データは一切含まれません。