robots.txt로 막은 페이지가 검색에 계속 나올 때, noindex와 무엇이 다른가요?

"검색에 안 나오게 robots.txt로 막았는데 아직도 주소가 보여요." 홈페이지를 점검하다 보면 자주 듣는 말입니다. 원인은 대부분 robots.txt와 noindex의 역할을 같은 것으로 생각한 데 있습니다. 이 글은 구글 검색 센터 공식 문서를 근거로 두 표시의 차이와 바른 사용 순서를 정리합니다.

robots.txt와 noindex는 무엇이 다른가요?

robots.txt는 검색로봇에게 "이 주소는 읽지 마세요"라고 알리는 파일이고, noindex는 "이 페이지를 검색 결과에 싣지 마세요"라고 알리는 표시입니다. 하나는 읽기(크롤링)를, 다른 하나는 등록(색인)을 다룹니다.

크롤링은 로봇이 페이지에 들어가 내용을 읽어 가는 일이고, 색인은 읽은 내용을 검색용 목록에 올리는 일입니다. 두 단계가 다르기 때문에 막는 방법도 다릅니다.

robots.txt로 막았는데 왜 검색에 주소가 나오나요?

다른 곳에서 그 주소를 링크하면, 검색엔진은 페이지를 읽지 않고도 주소를 색인할 수 있기 때문입니다. 구글 문서도 robots.txt로 막은 페이지의 주소가 검색 결과에 나올 수 있고, 이때는 설명 문구가 없다고 안내합니다.

즉 robots.txt는 "검색에서 빼기"가 아니라 "내용 읽기 막기"입니다. 검색 결과에 제목이나 주소만 덩그러니 남은 페이지가 있다면, robots.txt로 막아 둔 경우를 먼저 의심해 볼 만합니다.

둘을 같이 쓰면 더 확실하지 않나요?

아닙니다. 같이 쓰면 오히려 noindex가 작동하지 않습니다. robots.txt가 페이지 진입을 막으니 로봇이 페이지 안의 noindex 표시를 끝내 읽지 못하기 때문입니다.

구글 문서는 noindex가 효과를 내려면 그 페이지가 robots.txt로 막혀 있지 않아야 하고, 로봇이 접근할 수 있어야 한다고 분명히 적고 있습니다. 검색에서 빼고 싶은 페이지에 두 가지를 함께 걸어 두는 것이 가장 흔한 실수입니다.

검색에서 확실히 빼려면 어떤 순서로 하나요?

noindex를 먼저 달고, robots.txt 차단은 풀어 둔 채, 검색에서 빠질 때까지 기다리면 됩니다.

1. 빼고 싶은 페이지의 head에 noindex 태그를 넣습니다.
2. robots.txt에 그 주소를 막는 Disallow 규칙이 있으면 지웁니다.
3. 구글 서치콘솔의 URL 검사로 다시 읽어 가도록 요청합니다.
4. 검색 결과에서 빠진 것을 확인합니다. 바로 빠지지 않고 로봇이 다시 방문해야 반영됩니다.
5. 빠진 뒤에도 noindex는 그대로 둡니다. 지우면 다시 색인될 수 있습니다.

페이지에 넣는 noindex 태그는 이렇게 씁니다.

<meta name="robots" content="noindex">

PDF나 이미지처럼 meta 태그를 넣을 수 없는 파일은 서버 응답 헤더로 같은 뜻을 전합니다.

X-Robots-Tag: noindex

robots.txt는 그럼 언제 쓰나요?

검색에서 빼려는 목적이 아니라, 로봇이 읽을 필요가 없는 영역의 크롤링을 줄이고 싶을 때 씁니다. 예를 들어 사이트 내부 검색 결과 페이지나 정렬·필터 조건만 바뀌는 주소가 끝없이 생기는 경우입니다.

robots.txt를 고칠 때는 다음을 함께 점검합니다.

• 검색에 나와야 할 페이지(서비스, 칼럼, 회사 소개)를 막고 있지 않은가
• CSS·자바스크립트 파일을 막아 화면을 제대로 그리지 못하게 하고 있지 않은가
• 사이트맵 주소(Sitemap:)를 적어 두었는가
• AI 검색에 나오고 싶다면 AI 검색용 로봇을 막고 있지 않은가

마지막 항목은 요즘 특히 중요합니다. robots.txt는 구글·네이버 로봇뿐 아니라 ChatGPT, Perplexity 같은 AI 서비스의 로봇도 읽기 때문입니다. AI 로봇을 확인하는 방법은 별도 칼럼에서 다룹니다.

지금 우리 사이트는 어떻게 되어 있는지 어떻게 확인하나요?

robots.txt 파일, 페이지 소스, 서치콘솔 세 곳을 차례로 보면 됩니다.

1. 사이트 주소 뒤에 /robots.txt를 붙여 열고, 검색에 나와야 할 경로가 Disallow에 들어 있지 않은지 봅니다.
2. 빼고 싶은 페이지에서 페이지 소스 보기를 열어 noindex가 실제로 들어 있는지 찾습니다.
3. 서치콘솔의 URL 검사에 그 주소를 넣고, "robots.txt에 의해 차단됨"인지 "noindex 태그에 의해 제외됨"인지 확인합니다.
4. 서치콘솔 페이지 색인 보고서에서 같은 이유로 묶인 주소가 더 있는지 살핍니다.

노출되면 안 되는 페이지도 robots.txt로 막으면 되나요?

아닙니다. robots.txt와 noindex는 누구나 볼 수 있는 공개 표시이고, 지키는 것은 착한 로봇의 선택입니다. 보안 장치가 아닙니다.

관리자 화면, 고객 자료, 내부 문서처럼 노출되면 안 되는 페이지는 로그인이나 비밀번호로 막아야 합니다. 오히려 robots.txt에 비밀 페이지 주소를 적으면 "여기 숨긴 페이지가 있다"고 알려 주는 셈이 됩니다.

퍼스트초이스 무료 진단 도구는 robots.txt 접근 여부와 색인 차단 표시를 31개 점검 항목 안에서 함께 확인합니다. 검색에 나와야 할 페이지가 막혀 있지 않은지 먼저 보고 싶다면 진단부터 받아 보세요.

참고 자료

• Robots.txt Introduction and Guide Google Search Central
• Block Search Indexing with noindex Google Search Central
• Robots meta tag, data-nosnippet, and X-Robots-Tag specifications Google Search Central

자주 묻는 질문