워드프레스

AI 크롤러 허용 robots.txt 설정 방법 5단계 완벽 가이드

AI 크롤러 허용 robots.txt, 5단계 요약
AI 크롤러의 종류와 표기
학습용과 답변 인용용의 차이
허용했을 때 얻는 것과 내주는 것
1단계. 현재 파일 상태 점검
2단계. 허용 규칙 작성
3단계. 워드프레스에 반영
4단계. 보안 도구 예외 처리
5단계. 적용 결과 검증
자주 발생하는 오류와 점검 순서
전면 해제가 아니라 예외 처리
핵심 요약
F.A.Q

AI 크롤러 허용 robots.txt, 5단계 요약

AI 답변에 인용되려면 robots.txt에서 답변엔진의 수집기를 막지 않아야 합니다. 작업은 현재 파일 점검, 허용 규칙 작성, 워드프레스 반영, 보안 도구 예외 처리, 결과 검증 다섯 단계로 진행합니다.

순서가 중요합니다. robots.txt만 고치고 끝내는 경우가 가장 흔한 실패 사례인데, 실제로는 보안 플러그인이나 방화벽이 먼저 요청을 끊어 버려서 파일 내용과 무관하게 접근이 실패합니다. 파일은 "들어와도 된다"는 안내문일 뿐, 문을 여는 장치는 따로 있습니다.

단계	작업	확인 지점
1	현재 파일 점검	도메인/robots.txt 응답과 내용
2	허용 규칙 작성	수집기 표기와 경로 지정
4	보안 도구 예외	방화벽·플러그인 차단 로그
5	결과 검증	서버 기록의 응답 코드

AI 크롤러의 종류와 표기

AI 크롤러는 사업자마다 표기가 다르고, 같은 사업자 안에서도 목적별로 이름이 나뉩니다. 표기를 한 글자라도 틀리면 규칙이 적용되지 않으므로 공식 문서의 표기를 그대로 옮겨 적어야 합니다.

사업자	표기	주된 용도
OpenAI	GPTBot	모델 학습용 수집
OpenAI	OAI-SearchBot	ChatGPT 검색 노출용 수집
OpenAI	ChatGPT-User	이용자 질문 시 페이지 방문
Anthropic	ClaudeBot	모델 학습용 수집
Anthropic	Claude-User	이용자 질문 시 페이지 방문
Perplexity	PerplexityBot	검색 노출용 색인
Perplexity	Perplexity-User	이용자 질문 시 페이지 방문
Microsoft	Bingbot	Bing 색인, Copilot 답변 근거
Google	Google-Extended	Gemini 학습·그라운딩 이용 제어
Apple	Applebot-Extended	Apple 지능형 기능 학습 이용 제어

Google-Extended는 다른 항목과 성격이 다릅니다. 별도의 수집기가 아니라, Googlebot이 이미 가져간 콘텐츠를 Gemini 학습과 그라운딩에 쓸 수 있는지를 정하는 제어용 토큰입니다(Google). 그래서 Google-Extended를 막아도 구글 검색 색인과 순위에는 영향이 없습니다. Applebot-Extended도 같은 구조입니다.

학습용과 답변 인용용의 차이

학습용 수집기는 모델을 만드는 데 쓸 자료를 모으고, 답변 인용용 수집기는 지금 화면에 보여 줄 답변의 근거를 가져옵니다. 목적이 다르므로 정책도 따로 정할 수 있습니다.

OpenAI 문서 기준으로 GPTBot은 학습, OAI-SearchBot은 검색 노출, ChatGPT-User는 이용자 질문에 답하기 위한 실시간 방문입니다(OpenAI). Anthropic의 ClaudeBot과 Claude-User, Perplexity의 PerplexityBot과 Perplexity-User도 같은 방식으로 나뉩니다.

핵심은 이렇습니다. 답변에 인용되고 싶다면 인용용 수집기를 열어야 하고, 학습 이용이 부담스럽다면 학습용만 따로 막으면 됩니다. 둘을 뭉뚱그려 전부 막으면 인용 기회까지 함께 사라집니다.

허용했을 때 얻는 것과 내주는 것

허용은 이득만 있는 선택이 아닙니다. 판단에 필요한 양쪽을 모두 적어 두면 이렇습니다.

얻는 것은 답변 화면에서의 노출과 출처 링크입니다. 인용되면 클릭이 발생하지 않더라도 상호가 답변에 등장하고, 이는 이후 검색과 비교 과정에서 인지 자산으로 남습니다.

내주는 것은 콘텐츠의 이용 범위입니다. 학습용 수집기를 열면 작성한 글이 모델 학습 자료로 쓰일 수 있고, 답변 화면에서 요약이 충분히 제공되면 사이트 방문 자체가 줄어들 수 있습니다. 유료 회원 콘텐츠나 독자적 조사 자료를 다루는 곳이라면 이 부분을 먼저 정리해야 합니다.

그래서 실무에서는 학습용은 회사 방침에 따라 정하고, 인용용은 여는 조합이 자주 쓰입니다. 정답이 하나로 정해져 있지는 않습니다.

한 가지 더 짚어 둘 것이 있습니다. robots.txt는 강제 장치가 아니라 요청입니다. 규칙을 따르겠다고 공개한 사업자만 이를 지키며, 표기를 흉내 낸 요청이나 규칙을 무시하는 자동 접근까지 막아 주지는 않습니다. 접근을 실제로 차단하려면 서버나 방화벽 수준의 조치가 별도로 필요합니다.

1단계. 현재 파일 상태 점검

먼저 지금 무엇이 적혀 있는지 확인합니다. 브라우저 주소창에 도메인 뒤 슬래시와 robots.txt를 붙여 열면 실제 응답이 그대로 보입니다.

점검 항목은 세 가지입니다.

파일이 200 응답으로 열리는지, 404나 리디렉션이 아닌지

Disallow 규칙이 사이트 전체를 막고 있지 않은지

특정 수집기 이름이 이미 차단 목록에 들어가 있지 않은지

워드프레스는 파일이 없어도 가상 robots.txt를 자동 생성하므로, 서버에 실제 파일이 있는 경우와 없는 경우의 동작이 다릅니다. 실제 파일이 존재하면 그 파일이 우선하고, 플러그인 편집 화면의 내용은 무시됩니다. 이 차이를 모르고 편집 화면만 고치다가 반영이 안 된다고 판단하는 사례가 적지 않습니다.

2단계. 허용 규칙 작성

robots.txt는 수집기 이름을 지정하고 접근 범위를 지정하는 단순한 문법으로 이루어집니다. 아래는 인용용 수집기를 열고 학습용은 회사 방침에 따라 정하는 구성을 표로 옮긴 것입니다.

지시자	값	의미
User-agent	OAI-SearchBot	OpenAI 검색 수집기 지정
Allow	/	사이트 전체 접근 허용
User-agent	ChatGPT-User	이용자 질문 시 방문 지정
Allow	/	사이트 전체 접근 허용
User-agent	Claude-User	Anthropic 실시간 방문 지정
Allow	/	사이트 전체 접근 허용
User-agent	PerplexityBot	Perplexity 색인 수집기 지정
Allow	/	사이트 전체 접근 허용
User-agent	Perplexity-User	Perplexity 실시간 방문 지정
Allow	/	사이트 전체 접근 허용
Sitemap	도메인/sitemap_index.xml	사이트맵 위치 안내

학습 이용을 제한하려면 GPTBot, ClaudeBot, Google-Extended를 별도 그룹으로 두고 Disallow 값에 슬래시를 지정합니다. 이때 Google-Extended를 막아도 Googlebot은 영향을 받지 않으므로 검색 노출은 그대로 유지됩니다.

작성 시 지켜야 할 규칙이 몇 가지 있습니다.

수집기 이름은 대소문자와 하이픈까지 공식 표기와 동일하게 적습니다

하나의 그룹은 User-agent 줄로 시작하고 그 아래에 Allow 또는 Disallow를 둡니다

모든 수집기에 적용할 기본 그룹은 별표 기호를 쓰며, 개별 그룹이 있으면 그쪽이 우선합니다

사이트맵 줄은 그룹에 속하지 않으므로 파일 어디에 두어도 동작합니다

경로 지정에서 자주 어긋나는 부분도 있습니다. 슬래시 하나로 끝나는 값은 사이트 전체를 가리키고, 특정 디렉터리를 지정할 때는 그 디렉터리 이름까지 정확히 적어야 합니다. 대소문자 구분도 그대로 적용되므로, 실제 주소를 복사해 붙이는 방식이 오타를 줄입니다.

파일을 저장하기 전에 그룹 순서를 한 번 훑어보는 것도 습관으로 삼을 만합니다. 개별 수집기 그룹이 기본 그룹보다 우선하므로, 기본 그룹에 남아 있는 전체 차단 규칙이 개별 허용과 충돌하는 것처럼 보여도 실제로는 개별 규칙이 적용됩니다. 다만 사람이 읽을 때 혼란을 주므로 정리해 두는 편이 관리에 유리합니다.

3단계. 워드프레스에 반영

주의할 점은 서버 루트에 실제 robots.txt 파일이 있으면 편집 화면이 잠기거나 저장해도 반영되지 않는다는 것입니다. 이 경우에는 FTP나 호스팅 파일 관리자로 실제 파일을 직접 수정하거나 삭제한 뒤 플러그인 편집으로 넘겨야 합니다.

저장한 다음에는 캐시를 비웁니다. Breeze 같은 캐시 플러그인이나 CDN이 이전 응답을 들고 있으면, 브라우저에서는 예전 내용이 계속 보입니다. 이노스톤에서 클라이언트 사이트를 손볼 때도 저장 직후 캐시 비우기를 같은 작업 단위로 묶어 처리합니다.

4단계. 보안 도구 예외 처리

robots.txt를 고쳤는데도 수집기가 들어오지 못하는 대부분의 원인은 이 단계에 있습니다. 방화벽, 보안 플러그인, CDN이 알려지지 않은 사용자 에이전트를 차단하거나 요청 빈도를 제한하면 파일 내용과 무관하게 접근이 끊깁니다.

점검 순서는 바깥에서 안으로 들어옵니다.

CDN·프록시 단계에서 봇 관리 규칙이 켜져 있는지 확인

서버 방화벽에서 해당 요청이 차단 목록에 잡히는지 확인

워드프레스 보안 플러그인의 차단 기록에서 수집기 이름 검색

속도 제한 설정에서 동일 출처의 연속 요청이 막히는지 확인

예외 규칙을 넣은 뒤 캐시를 비우고 다시 관측

Cloudflare처럼 봇 관리 기능을 제공하는 서비스는 정상 수집기를 구분하는 목록을 자체적으로 운영하지만, 관리자가 규칙을 강하게 설정해 두면 그 목록보다 사용자 규칙이 우선합니다. 규칙을 새로 만들 때는 사용자 에이전트 문자열만 보지 말고 공개된 IP 대역까지 함께 대조하는 편이 안전합니다. 이름은 얼마든지 흉내 낼 수 있기 때문입니다.

보안 수준을 통째로 낮추는 방식은 권하지 않습니다. 필요한 것은 검증된 수집기에 대한 예외 항목이지, 방어의 해제가 아닙니다.

예외를 등록한 뒤에는 그 목록을 문서로 남겨 둡니다. 플러그인이 자동 업데이트되면서 규칙이 초기화되거나, 담당자가 바뀌면서 설정 의도가 잊히는 일이 흔하기 때문입니다. 어떤 이름을 왜 열었는지 한 줄씩 적어 두면 다음 점검에서 판단이 빨라집니다.

5단계. 적용 결과 검증

검증은 세 가지 자료를 봅니다. 파일 응답, 서버 기록, 그리고 실제 답변 화면입니다.

파일 응답은 브라우저에서 직접 열어 내용이 의도한 대로 나오는지 봅니다. 캐시가 남아 있을 수 있으니 새로 고침을 강제하거나 다른 네트워크에서 열어 봅니다.

서버 기록은 가장 확실한 근거입니다. 접근 기록에서 수집기 이름으로 필터를 걸고 응답 코드를 확인하면, 200이 찍히는지 403이나 429가 찍히는지가 바로 드러납니다. 403은 차단, 429는 요청 과다 제한을 뜻합니다. 이 기록이 없다면 아직 방문 자체가 일어나지 않은 상태입니다.

마지막으로 답변엔진에 실제 질문을 넣어 자사 문서가 출처로 붙는지 봅니다. 다만 반영에는 시간이 걸립니다. OpenAI는 robots.txt 변경이 검색 시스템에 반영되기까지 약 24시간이 소요될 수 있다고 안내합니다(OpenAI).

자주 발생하는 오류와 점검 순서

오류의 대부분은 문법이 아니라 우선순위와 캐시에서 발생합니다. 아래 표는 실제로 반복되는 유형과 확인 지점을 정리한 것입니다.

증상	원인 후보	확인 지점
편집해도 내용이 안 바뀜	서버 루트에 실제 파일 존재	FTP로 루트 디렉터리 조회
브라우저에만 옛 내용 표시	캐시 플러그인·CDN 보관	캐시 비우기 후 강제 새로 고침
규칙은 맞는데 접근 실패	방화벽·보안 플러그인 차단	차단 기록의 응답 코드
일부 수집기만 들어옴	표기 오타 또는 그룹 누락	공식 문서 표기와 문자 대조
색인까지 사라짐	전체 Disallow 규칙 잔존	기본 그룹의 Disallow 값

마지막 행은 특히 조심할 부분입니다. 개발 단계에서 넣어 둔 전체 차단 규칙이 공개 후에도 남아 있는 경우가 있는데, 이때는 AI 인용뿐 아니라 일반 검색 노출까지 함께 막힙니다.

전면 해제가 아니라 예외 처리

이노스톤이 클라이언트 사이트에서 지키는 원칙은 하나입니다. 보안 정책을 통째로 푸는 대신, 공식 문서에 표기가 공개된 수집기만 예외로 처리합니다.

이유는 간단합니다. 자동 요청의 상당수는 취약점 탐색과 스팸 시도이고, 이를 막던 규칙을 해제하면 사이트 안정성이 곧바로 떨어집니다. 답변엔진에 인용되기 위해 사이트를 위험에 노출할 이유는 없습니다.

실무 순서는 이렇게 정리됩니다. 먼저 회사 방침으로 학습 이용 여부를 정하고, 인용용 수집기를 허용 목록에 넣고, 보안 도구에 그 이름들만 예외로 등록한 뒤, 서버 기록으로 결과를 확인합니다. 네 문장이면 끝나는 절차지만 각 단계에서 확인을 생략하면 원인 추적이 몇 배로 길어집니다.

핵심 요약

AI 크롤러 허용은 현재 파일 점검, 허용 규칙 작성, 워드프레스 반영, 보안 도구 예외 처리, 결과 검증 다섯 단계로 진행합니다. 수집기는 학습용과 답변 인용용으로 나뉘며, GPTBot·ClaudeBot은 학습, OAI-SearchBot·PerplexityBot은 노출, ChatGPT-User·Claude-User·Perplexity-User는 이용자 질문 시 방문에 해당합니다. Google-Extended와 Applebot-Extended는 수집기가 아니라 학습·그라운딩 이용을 제어하는 토큰이라 검색 색인과는 분리해 판단합니다. robots.txt를 고쳤는데 접근이 되지 않는다면 원인은 대개 서버 루트의 실제 파일, 캐시, 보안 도구 차단 셋 중 하나이며, 서버 접근 기록의 응답 코드가 가장 빠른 진단 자료가 됩니다.

F.A.Q

개인 블로그도 같은 방침을 적용해 두는 편이 나은가요?

수익이나 문의를 목적으로 운영한다면 적용해 두는 편이 낫습니다. 답변 화면에서 출처로 지목되면 방문자 수와 무관하게 글이 노출되고, 작성자 이름이 함께 표시되는 경우도 있습니다. 다만 공개를 원치 않는 기록성 글이라면 학습용 수집기만 따로 제한하는 구성이 더 맞습니다.

수정한 내용이 실제로 반영되기까지 시간이 얼마나 필요한가요?

수집기마다 다르며 하루에서 수 주 사이입니다. OpenAI는 robots.txt 변경이 검색 시스템에 반영되기까지 약 24시간이 걸릴 수 있다고 안내하고, 다른 사업자는 재방문 주기에 따라 더 늦어지기도 합니다. 사이트 방문량이 적을수록 재방문 간격이 길어지는 경향이 있습니다.

이 작업에 별도 비용이 드나요?

파일 수정 자체는 비용이 들지 않습니다. 워드프레스 관리자 화면에서 편집하고 저장하는 작업이라 추가 플러그인이나 유료 서비스가 필요하지 않습니다. 다만 서버 루트 파일 접근이나 방화벽 규칙 변경이 필요하면 호스팅 관리 권한이 있어야 하고, 권한이 없는 경우 호스팅사 요청 절차를 거치게 됩니다.

규칙을 넣었는데도 접근 기록이 안 보이면 무엇을 봐야 하나요?

서버 접근 기록의 응답 코드를 먼저 봅니다. 403이면 차단, 429면 요청 과다 제한이고, 아예 기록이 없으면 CDN이나 프록시 단계에서 끊긴 상태입니다. 세 경우의 처리 지점이 각각 달라서, 코드를 확인하지 않고 파일만 계속 고치면 원인에 닿지 못합니다.

전부 열어 두는 쪽과 일부만 여는 쪽 중 어느 편을 택해야 하나요?

콘텐츠의 성격에 따라 갈립니다. 공개 홍보가 목적인 기업 사이트는 전부 여는 구성이 단순하고 관리가 쉬운 반면, 유료 자료나 독자 조사 결과를 다루는 곳은 학습 이용만 제한하는 구성이 손실을 줄입니다. 두 경우 모두 답변 노출용 수집기는 여는 편이 인용 기회 측면에서 유리합니다.

가장 흔하게 빠뜨리는 항목은 어디인가요?

서버 루트에 남아 있는 실제 파일입니다. 플러그인 편집 화면에서 저장했는데 화면에 반영되지 않는다면 대부분 이 경우이고, 관리자는 저장이 됐다고 믿기 때문에 발견이 늦습니다. FTP나 호스팅 파일 관리자로 루트 디렉터리를 한 번 열어 보면 즉시 확인됩니다.

사이트맵 주소도 같이 적어야 하나요?

일부 페이지만 제외하고 싶을 때는 어떻게 쓰나요?

해당 수집기 그룹 안에서 Disallow 값에 경로를 지정합니다. 예를 들어 회원 전용 영역의 경로를 값으로 넣으면 그 하위만 제외되고 나머지는 그대로 유지됩니다. 경로는 슬래시로 시작하는 상대 경로로 적으며, 앞뒤 문자가 하나만 달라도 다른 경로로 처리됩니다.

모델 훈련에는 쓰이지 않게 하면서 인용은 받을 수 있나요?

가능합니다. OpenAI 문서 기준으로 GPTBot을 제한하고 OAI-SearchBot과 ChatGPT-User를 허용하면 학습 이용은 막히고 답변 노출 경로는 열립니다. Anthropic과 Perplexity도 목적별 표기를 분리해 공개하고 있어 같은 방식의 조합이 성립합니다.