AI 크롤러 역할 분류 및 가시성 근거 표준 데이터셋

CC BY 4.0 라이선스로 제공되는 공개 데이터셋: 14개 주요 AI 크롤러 역할 분류(학습, 검색 인덱스, 실시간 사용자 조회), 4단계 귀속 근거 계층 및 정적 GEO 가중치 수록.

CitationGraph는 AI 봇 트래픽을 모델 학습 크롤러, AI 검색 인덱서, 실시간 사용자 프롬프트 조회의 3가지 역할로 분류하고 4단계 퍼스트파티 근거 모델과 4차원 균등 가중치(인프라 25%, 메타데이터 25%, 구조화 데이터 25%, AI 가이던스 25%)로 정적 준비도를 평가합니다.

1. 주요 AI 크롤러 및 조회 에이전트 역할 분류 (14개 기준 봇)

사전 학습 수집과 검색 인덱싱 및 실시간 답변 조회를 분리하여 robots.txt 정책이 실제 AI 인용 노출을 차단하지 않도록 돕습니다.

봇 토큰운영사핵심 역할robots 토큰시그널 계층검증 방식
GPTBotOpenAImodel_trainingGPTBotserver_crawler_discoveryPublished IP CIDR ranges + User-Agent
OAI-SearchBotOpenAIsearch_indexOAI-SearchBotserver_crawler_discoveryPublished IP CIDR ranges + User-Agent
ChatGPT-UserOpenAIlive_user_retrievalChatGPT-Userlive_retrieval_fetchPublished IP CIDR ranges + User-Agent
ClaudeBotAnthropicmodel_trainingClaudeBotserver_crawler_discoveryUser-Agent + ASN attribution
Claude-SearchBotAnthropicsearch_indexClaude-SearchBotserver_crawler_discoveryUser-Agent + ASN attribution
Claude-UserAnthropiclive_user_retrievalClaude-Userlive_retrieval_fetchUser-Agent + request header pattern
PerplexityBotPerplexity AIsearch_indexPerplexityBotserver_crawler_discoveryPublished IP JSON list + User-Agent
Perplexity-UserPerplexity AIlive_user_retrievalPerplexity-Userlive_retrieval_fetchPublished IP JSON list + User-Agent
Google-ExtendedGooglemodel_trainingGoogle-Extendedserver_crawler_discoveryReverse/Forward DNS googlebot.com + policy token
GoogleOtherGooglesearch_indexGoogleOtherserver_crawler_discoveryReverse/Forward DNS googlebot.com
Applebot-ExtendedApplemodel_trainingApplebot-Extendedserver_crawler_discoveryReverse/Forward DNS applebot.apple.com + policy token
AmazonbotAmazonsearch_indexAmazonbotserver_crawler_discoveryReverse/Forward DNS crawl.amazonbot.amazon
Meta-ExternalAgentMetamodel_trainingMeta-ExternalAgentserver_crawler_discoveryUser-Agent + Meta ASN verification
CCBotCommon Crawlmodel_trainingCCBotserver_crawler_discoveryUser-Agent + Common Crawl AWS egress metadata

2. 4단계 퍼스트파티 AI 가시성 근거 모델

크롤러 발견, 인용 적격성, AI 리퍼럴 세션, 연결된 전환 성과를 하나의 불투명한 점수로 합치지 않고 계층별로 검증합니다.

계층 ID계층 명칭주요 시그널 출처결정론적 적용 범위
L1_server_crawler_truthServer Crawler & Retrieval TelemetryEdge/runtime HTTP request headers, status codes, and verified bot identityProves crawler discovery and live answer-engine page fetches without client JS
L2_citation_surface_readinessCitation Surface & Entity Graph ReadinessCanonical HTML, JSON-LD @id graph, llms.txt, and .md dual-stack mirrorsEvaluates structural eligibility for verifiable citations; does not guarantee citation
L3_verified_ai_referral_sessionFirst-Party AI Referral Session AttributionDocument referrer, UTM/citation parameters, and session landing pageSeparates human clicks arriving from AI answer engines from generic organic/direct visits
L4_connected_outcome_contextConnected Search & Conversion ContextAuthorized GSC query matrices, waitlist/lead events, and commerce outcomesAvailable in connected workspaces only; never inferred from public static previews

3. 공개 정적 GEO 준비도 미리보기 가중치 (100점 만점)

공개 단일 URL 정적 점검 도구(/tools/geo-score)에만 적용되며, 상용 호스팅 대시보드의 실시간 텔레메트리와는 구분됩니다.

평가 차원가중치정적 점검 항목적용 경계
infrastructure25%HTTPS enforcement, HTTP 200 status, robots.txt crawl rules, XML sitemap presencePublic static scan dimension; excludes private server logs
metadata25%Title & meta description boundaries, self-referencing canonical, hreflang reciprocity, Open GraphPublic static scan dimension; checks single-URL HTML head tags
structured_data25%Valid JSON-LD syntax, Organization/SoftwareApplication/Dataset @id entities, FAQ/Article schemaPublic static scan dimension; validates machine-parsable entity definitions
ai_guidance25%llms.txt / llms-full.txt availability, Markdown alternate Link headers, clean section headingsPublic static scan dimension; does not represent hosted multi-engine citation tracking

Global Gravity Technology가 CC BY 4.0 국제 라이선스로 공개합니다. 인용 시 https://citationgraph.ai/ko/data/ai-crawler-and-visibility-taxonomy 를 명시해 주십시오.

License: https://creativecommons.org/licenses/by/4.0/

모델 학습 봇과 검색/실시간 조회 봇을 왜 구분하나요?

GPTBot 등 학습 크롤러 차단과 OAI-SearchBot·PerplexityBot 등 실시간 검색 인용 크롤러는 목적이 다르므로, 이를 분리해야 AI 답변 내 인용 손실을 막을 수 있습니다.

이 데이터셋에 고객사의 비공개 분석 데이터가 포함되나요?

아니요. 공개 프로토콜 분류 기준과 정적 미리보기 가중치만 수록하며 비공개 고객 데이터는 전혀 포함되지 않습니다.