공개 레퍼런스 데이터셋 · CC BY 4.0
AI 크롤러 역할 분류 및 가시성 근거 표준 데이터셋
CC BY 4.0 라이선스로 제공되는 공개 데이터셋: 14개 주요 AI 크롤러 역할 분류(학습, 검색 인덱스, 실시간 사용자 조회), 4단계 귀속 근거 계층 및 정적 GEO 가중치 수록.
CitationGraph는 AI 봇 트래픽을 모델 학습 크롤러, AI 검색 인덱서, 실시간 사용자 프롬프트 조회의 3가지 역할로 분류하고 4단계 퍼스트파티 근거 모델과 4차원 균등 가중치(인프라 25%, 메타데이터 25%, 구조화 데이터 25%, AI 가이던스 25%)로 정적 준비도를 평가합니다.
1. 주요 AI 크롤러 및 조회 에이전트 역할 분류 (14개 기준 봇)
사전 학습 수집과 검색 인덱싱 및 실시간 답변 조회를 분리하여 robots.txt 정책이 실제 AI 인용 노출을 차단하지 않도록 돕습니다.
| 봇 토큰 | 운영사 | 핵심 역할 | robots 토큰 | 시그널 계층 | 검증 방식 |
|---|---|---|---|---|---|
| GPTBot | OpenAI | model_training | GPTBot | server_crawler_discovery | Published IP CIDR ranges + User-Agent |
| OAI-SearchBot | OpenAI | search_index | OAI-SearchBot | server_crawler_discovery | Published IP CIDR ranges + User-Agent |
| ChatGPT-User | OpenAI | live_user_retrieval | ChatGPT-User | live_retrieval_fetch | Published IP CIDR ranges + User-Agent |
| ClaudeBot | Anthropic | model_training | ClaudeBot | server_crawler_discovery | User-Agent + ASN attribution |
| Claude-SearchBot | Anthropic | search_index | Claude-SearchBot | server_crawler_discovery | User-Agent + ASN attribution |
| Claude-User | Anthropic | live_user_retrieval | Claude-User | live_retrieval_fetch | User-Agent + request header pattern |
| PerplexityBot | Perplexity AI | search_index | PerplexityBot | server_crawler_discovery | Published IP JSON list + User-Agent |
| Perplexity-User | Perplexity AI | live_user_retrieval | Perplexity-User | live_retrieval_fetch | Published IP JSON list + User-Agent |
| Google-Extended | model_training | Google-Extended | server_crawler_discovery | Reverse/Forward DNS googlebot.com + policy token | |
| GoogleOther | search_index | GoogleOther | server_crawler_discovery | Reverse/Forward DNS googlebot.com | |
| Applebot-Extended | Apple | model_training | Applebot-Extended | server_crawler_discovery | Reverse/Forward DNS applebot.apple.com + policy token |
| Amazonbot | Amazon | search_index | Amazonbot | server_crawler_discovery | Reverse/Forward DNS crawl.amazonbot.amazon |
| Meta-ExternalAgent | Meta | model_training | Meta-ExternalAgent | server_crawler_discovery | User-Agent + Meta ASN verification |
| CCBot | Common Crawl | model_training | CCBot | server_crawler_discovery | User-Agent + Common Crawl AWS egress metadata |
2. 4단계 퍼스트파티 AI 가시성 근거 모델
크롤러 발견, 인용 적격성, AI 리퍼럴 세션, 연결된 전환 성과를 하나의 불투명한 점수로 합치지 않고 계층별로 검증합니다.
| 계층 ID | 계층 명칭 | 주요 시그널 출처 | 결정론적 적용 범위 |
|---|---|---|---|
| L1_server_crawler_truth | Server Crawler & Retrieval Telemetry | Edge/runtime HTTP request headers, status codes, and verified bot identity | Proves crawler discovery and live answer-engine page fetches without client JS |
| L2_citation_surface_readiness | Citation Surface & Entity Graph Readiness | Canonical HTML, JSON-LD @id graph, llms.txt, and .md dual-stack mirrors | Evaluates structural eligibility for verifiable citations; does not guarantee citation |
| L3_verified_ai_referral_session | First-Party AI Referral Session Attribution | Document referrer, UTM/citation parameters, and session landing page | Separates human clicks arriving from AI answer engines from generic organic/direct visits |
| L4_connected_outcome_context | Connected Search & Conversion Context | Authorized GSC query matrices, waitlist/lead events, and commerce outcomes | Available in connected workspaces only; never inferred from public static previews |
3. 공개 정적 GEO 준비도 미리보기 가중치 (100점 만점)
공개 단일 URL 정적 점검 도구(/tools/geo-score)에만 적용되며, 상용 호스팅 대시보드의 실시간 텔레메트리와는 구분됩니다.
| 평가 차원 | 가중치 | 정적 점검 항목 | 적용 경계 |
|---|---|---|---|
| infrastructure | 25% | HTTPS enforcement, HTTP 200 status, robots.txt crawl rules, XML sitemap presence | Public static scan dimension; excludes private server logs |
| metadata | 25% | Title & meta description boundaries, self-referencing canonical, hreflang reciprocity, Open Graph | Public static scan dimension; checks single-URL HTML head tags |
| structured_data | 25% | Valid JSON-LD syntax, Organization/SoftwareApplication/Dataset @id entities, FAQ/Article schema | Public static scan dimension; validates machine-parsable entity definitions |
| ai_guidance | 25% | llms.txt / llms-full.txt availability, Markdown alternate Link headers, clean section headings | Public static scan dimension; does not represent hosted multi-engine citation tracking |
Global Gravity Technology가 CC BY 4.0 국제 라이선스로 공개합니다. 인용 시 https://citationgraph.ai/ko/data/ai-crawler-and-visibility-taxonomy 를 명시해 주십시오.
모델 학습 봇과 검색/실시간 조회 봇을 왜 구분하나요?
GPTBot 등 학습 크롤러 차단과 OAI-SearchBot·PerplexityBot 등 실시간 검색 인용 크롤러는 목적이 다르므로, 이를 분리해야 AI 답변 내 인용 손실을 막을 수 있습니다.
이 데이터셋에 고객사의 비공개 분석 데이터가 포함되나요?
아니요. 공개 프로토콜 분류 기준과 정적 미리보기 가중치만 수록하며 비공개 고객 데이터는 전혀 포함되지 않습니다.