우리 사이트가 AI 크롤러를 막고 있는지 어떻게 확인하나요? 학습용 봇과 검색용 봇 구분하기

"AI 답변에 우리 회사가 안 나오는데, 혹시 막혀 있는 건 아닐까요?" AI 노출 진단을 하다 보면 실제로 robots.txt나 보안 설정이 AI 로봇을 막고 있는 사이트를 종종 봅니다. 이 글은 OpenAI·Anthropic·Perplexity·구글이 공개한 봇 안내 문서를 근거로, 어떤 봇을 열고 막을지와 확인하는 순서를 정리합니다.

AI 크롤러는 모두 같은 일을 하나요?

아닙니다. 같은 AI 회사의 봇이라도 모델 학습용, 검색 답변용, 사용자 요청용으로 나뉘고 각각 robots.txt에서 따로 설정합니다. 이 구분을 모르고 "AI 봇 전부 차단"을 걸면 AI 검색 답변에서도 함께 빠질 수 있습니다.

• 학습용 봇: 수집한 내용이 AI 모델 학습에 쓰일 수 있습니다. 막아도 검색 답변 노출과는 별개입니다.
• 검색 답변용 봇: AI 검색 답변에 사이트를 보여 주고 링크하기 위해 읽습니다. 막으면 그 서비스의 검색 답변에 나오기 어렵습니다. OpenAI는 OAI-SearchBot을 막은 사이트는 ChatGPT 검색 답변에 표시되지 않는다고 안내합니다.
• 사용자 요청용 봇: 사용자가 대화 중 특정 페이지를 열어 달라고 할 때 방문합니다. 자동 수집이 아니어서, OpenAI와 Perplexity는 robots.txt 규칙이 적용되지 않을 수 있다고 밝힙니다.

AI 검색에 나오고 싶다면 무엇을 열어 두어야 하나요?

최소한 검색 답변용 봇과 Googlebot은 막지 않아야 합니다. 학습용 봇을 열지 말지는 회사의 정책에 따라 정하면 됩니다.

학습은 막고 검색 답변은 허용하는 robots.txt 예시는 아래와 같습니다.

# 검색 답변용은 허용
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# 모델 학습용은 차단 (회사 정책에 따라 선택)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

구글 문서는 Google-Extended가 구글 검색에는 영향을 주지 않는다고 설명합니다. 구글 검색과 AI 개요 노출은 Googlebot을 따릅니다.

robots.txt에서 무엇을 확인하나요?

우리 사이트 주소 뒤에 /robots.txt를 붙여 열어 보고, 위 봇 이름이나 User-agent: *에 사이트 전체를 막는 규칙이 있는지 봅니다.

• User-agent: * 아래에 Disallow: /가 있지 않은가 (모든 로봇을 막는 규칙)
• OAI-SearchBot, Claude-SearchBot, PerplexityBot 이름 아래에 Disallow: /가 있지 않은가
• 홈페이지 제작사나 플랫폼이 기본으로 넣은 AI 봇 차단 목록이 있지 않은가
• robots.txt 주소가 열리는가 (없거나 오류면 의도와 다르게 동작할 수 있음)
• 서비스·칼럼처럼 인용되길 바라는 경로가 Disallow에 들어 있지 않은가

robots.txt가 열려 있는데도 막힐 수 있나요?

네, 방화벽이나 보안 서비스가 봇 요청을 차단하면 robots.txt와 상관없이 AI 로봇이 페이지를 읽지 못합니다. 웹 방화벽, CDN의 봇 차단 기능, 호스팅 업체의 보안 설정이 대표적입니다.

Perplexity는 웹 방화벽을 쓰는 사이트라면 자사 봇을 명시적으로 허용해야 할 수 있다고 안내하고, 각 회사는 봇이 쓰는 IP 주소 목록을 공개하고 있습니다. 보안 설정에서 "AI 봇 차단" 같은 옵션이 켜져 있는지 확인하고, 필요하면 공개된 IP 목록을 기준으로 허용합니다.

실제로 봇이 들어오는지는 어떻게 아나요?

서버 접속 기록(액세스 로그)에서 봇 이름을 검색해 보면 됩니다. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 같은 이름이 보이고 응답 코드가 200이면 정상적으로 읽어 가고 있는 것입니다.

열어 두면 AI 답변에 바로 나오나요?

아닙니다. 막지 않는 것은 출발 조건일 뿐입니다. 봇이 읽을 수 있어야 출처 후보가 되고, 실제로 인용되는지는 질문마다 어떤 글이 더 좋은 근거인지에 달려 있습니다.

그래서 퍼스트초이스는 기술 점검과 별개로, 고객이 실제로 묻는 질문을 AI 6곳에 같은 조건으로 물어 언급률과 인용 출처를 잽니다. 무료 진단 도구의 GEO 점수에서는 AI 크롤러 접근 여부를 함께 확인할 수 있습니다.

참고 자료

• Overview of OpenAI Crawlers OpenAI
• Does Anthropic crawl data from the web, and how can site owners block the crawler? Anthropic 고객지원
• Perplexity Crawlers Perplexity
• Google's common crawlers Google Search Central

자주 묻는 질문