서치콘솔 ‘발견됨’과 ‘크롤링됨’ 색인 누락, 색인 요청만 눌러도 안 풀리는 진짜 이유

조회수 1회
Fieldlog

공들여 쓴 글이 일주일째 구글에 안 뜨는데, 색인 요청만 누르고 계신가요?

서치콘솔에 뜨는 ‘발견됨’과 ‘크롤링됨’은 원인이 완전히 달라서, 같은 버튼만 눌러선 해결되지 않아요.

구글 서치콘솔의 ‘페이지 색인 생성’ 보고서를 열면 색인되지 않은 URL이 수십 개씩 쌓여 있는 경우가 흔해요.

이때 두 상태의 차이를 모르고 모든 URL에 색인 요청을 돌리면, 일일 할당량만 소진되고 정작 중요한 본문 글은 계속 밀리게 돼요.

발견됨과 크롤링됨, 결과는 같아도 막힌 단계가 달라요

두 메시지는 둘 다 ‘현재 색인이 생성되지 않음’으로 끝나서 얼핏 보면 같은 오류처럼 느껴져요.

하지만 구글 검색은 발견 → 크롤링 → 색인 생성의 3단계로 움직이고, 두 상태는 멈춘 지점이 완전히 달라요.

‘발견됨 – 현재 색인이 생성되지 않음’은 왜 생길까요?

구글이 사이트맵이나 내부 링크, 외부 링크를 통해 URL 존재는 알아냈지만 아직 크롤링하지 않은 상태예요.

그래서 URL 검사 도구를 열어 보면 마지막 크롤링 날짜가 비어 있음으로 표시되는 게 가장 큰 특징이에요.

구글은 크롤링을 시도했을 때 사이트에 과부하가 걸릴 수 있다고 판단하면 일정을 뒤로 미뤄요.

서버 응답이 느리거나, 불필요한 URL이 너무 많거나, 내부 링크가 약한 새 글이 이 대기열에 오래 머물곤 해요.

‘크롤링됨 – 현재 색인이 생성되지 않음’은 무엇이 다를까요?

이 상태는 Googlebot이 실제로 페이지에 접속해 HTML을 읽어 갔지만, 색인에 넣지 않기로 보류한 단계예요.

따라서 URL 검사 화면에는 마지막 크롤링 날짜가 찍혀 있고, 페이지 가져오기 결과도 성공으로 나오는 경우가 많아요.

구글은 웹의 모든 페이지를 색인하지 않기 때문에, 이 메시지가 떴다고 해서 무조건 기술적 오류가 있는 건 아니에요.

다만 수익형 핵심 글이 여기 묶여 있다면, 기존 검색 결과와 내용이 겹치거나 독창적 가치가 부족하다고 판단됐을 가능성이 커요.

구분 기준 발견됨 (미색인) 크롤링됨 (미색인)
Googlebot 방문 아직 방문 전 (크롤링 대기) 방문 완료 후 색인 보류
마지막 크롤링일 비어 있음 (없음) 최근 크롤링 날짜 표시
주요 원인 서버 과부하 우려, 크롤링 지연, 내부 링크 부족 콘텐츠 차별성 부족, 중복·유사 페이지, 표준 충돌
우선 해결 순서 크롤링 통계·호스트 상태 → 사이트맵·내부 링크 표준 URL 대조 → 콘텐츠 보강·중복 통합
따뜻한 간접 조명이 켜진 서재 책상 위, 알루미늄 노트북과 기계식 키보드, 외장 SSD, 세라믹 머그잔이 정돈된 1인 블로그 운영 작업 공간

상태부터 잘못 짚으면 시간만 버리는 이유

‘발견됨’ 상태인 글의 본문만 밤새 고쳐도, Googlebot이 아직 읽으러 오지 못한다면 바뀐 내용이 반영되지 않아요.

반대로 ‘크롤링됨’ 상태인 글을 서버 캐시만 만지고 사이트맵을 다시 제출해 봐야, 본문 품질이나 중복 문제가 그대로면 또 보류돼요.

그래서 서치콘솔에 들어오면 가장 먼저 두 목록을 분리해서 보고, 어느 단계에서 멈췄는지부터 구분해야 헛수고를 줄일 수 있어요.

‘색인 생성 요청’ 버튼을 눌러도 해결이 안 되는 이유

새 글이 안 뜰 때마다 URL 검사 도구에 주소를 넣고 ‘색인 생성 요청’을 누르는 분이 정말 많아요.

하지만 이 버튼은 강제 등록기가 아니라 우선 재크롤링 대기열에 올리는 신호에 가까워서 뚜렷한 한계가 있어요.

하루 할당량과 중복 요청의 한계

URL 검사 도구로 개별 URL을 제출할 때는 속성마다 일일 요청 할당량이 적용돼요.

구글은 정확한 일일 건수를 공개하지 않지만, 한 번에 여러 글을 연달아 누르면 금세 할당량 초과 메시지가 뜨곤 해요.

  • 중복 요청 무효: 같은 URL에 여러 번 재크롤링을 요청해도 크롤링 속도가 더 빨라지지 않아요.
  • 대량 처리 부적합: 수십 개 이상의 새 글이나 수정 글은 개별 요청 대신 <lastmod>가 담긴 사이트맵으로 알리는 게 정석이에요.
  • 권한 제한: 서치콘솔 속성의 소유자나 전체 권한 사용자만 요청할 수 있고, 본인이 관리하지 않는 URL은 신청할 수 없어요.

‘실시간 URL 테스트’ 통과가 색인 보장은 아니에요

색인 생성 요청을 누르면 구글이 먼저 간단한 실시간 검사를 돌려 즉각적인 차단 오류만 확인해요.

여기서 ‘URL을 Google에 등록할 수 있음’이라고 초록불이 떠도, 색인 등록이 보장되는 건 아니에요.

실시간 테스트는 robots.txt 차단, noindex 태그, 4xx·5xx 서버 오류 같은 기술적 장벽만 점검하기 때문이에요.

실제 색인 여부는 그 뒤에 콘텐츠 가치와 사이트 중복도를 평가해 결정되며, 반영까지 보통 하루에서 최대 1~2주, 길면 몇 주가 걸릴 수 있어요.

‘수정 결과 확인’ 버튼, 언제 누르고 얼마나 기다려야 할까요?

페이지 색인 생성 보고서 안에는 개별 색인 요청과 별개로 수정 결과 확인 버튼이 있어요.

이 버튼을 누르면 구글이 샘플 URL을 먼저 점검한 뒤, 이상이 없으면 목록에 있던 URL들을 재검사 대기열에 올려요.

  • 소요 기간: 수정 결과 확인은 일반적으로 최대 2주가 걸리며 상황에 따라 더 길어질 수 있어요.
  • 누르기 전 조건: 원인을 고치지 않은 채 버튼만 누르면 샘플 검사에서 바로 실패하거나 ‘진행 중’만 길어져요.
  • 필수 여부: 버튼을 안 눌러도 구글의 정기 크롤링 중 문제가 해소되면 보고서 수치가 자동으로 줄어들어요.

‘발견됨’ 상태라면 크롤링 환경과 경로를 먼저 점검해요

‘발견됨 – 현재 색인이 생성되지 않음’에 본문 글이 계속 쌓인다면, Googlebot이 내 사이트를 편하게 돌아다니지 못하고 있다는 신호예요.

이때는 글 내용을 뜯어고치기 전에 서버 응답 상태와 링크 구조부터 순서대로 확인하는 게 훨씬 빨라요.

크롤링 통계 보고서에서 호스트 상태와 응답 시간 확인하기

서치콘솔 왼쪽 하단 ‘설정’에서 크롤링 통계 보고서를 열면 지난 90일간 Googlebot이 내 서버와 주고받은 기록이 보여요.

여기서 아래 네 가지 항목만 봐도 서버 과부하나 크롤링 병목 여부를 바로 짚어낼 수 있어요.

  • 호스트 상태: 서버 연결, DNS 확인, robots.txt 가져오기에서 경고가 떴다면 Googlebot이 크롤링 속도를 자동으로 낮춰요.
  • 평균 응답 시간: 응답 시간이 갑자기 치솟아 1,000ms 이상 길어지면 크롤링 용량 한도가 줄어들어 새 글 방문이 밀려요.
  • 크롤링 응답수: 200(정상) 비중이 낮고 5xx 서버 오류나 불필요한 301·404가 많다면 호스팅 리소스나 플러그인 충돌을 의심해야 해요.
  • 크롤링 목적: ‘새로고침’ 비율만 지나치게 높고 ‘검색(신규 발견)’ 비율이 뚝 떨어졌다면, 낡은 URL만 반복 순회하고 있을 가능성이 커요.
어두운 서버실 랙 안에서 초록색과 주황색 상태 LED가 점멸하는 네트워크 스위치와 정돈된 LAN 패치 케이블 클로즈업

내부 링크와 사이트맵에서 고아 페이지 끊어내기

글을 발행하고 사이트맵에만 넣어 둔 채, 블로그 안의 다른 글에서 한 번도 연결하지 않으면 고아 페이지가 되기 쉬워요.

구글은 이미 색인이 잘 되고 방문이 잦은 페이지에서 이어지는 내부 링크를 중요한 신호로 받아들여요.

‘발견됨’에 오래 머문 본문 글이 있다면, 관련 주제의 기존 인기 글이나 카테고리 대표 글에서 본문 내 자연스러운 내부 링크를 2~3개 연결해 주세요.

동시에 사이트맵에 리디렉션되는 옛 주소, 404 주소, 태그·검색 URL이 섞여 있지 않은지 정리해 표준 본문 URL만 남기는 것이 좋아요.

중복 URL과 매개변수가 크롤링 예산을 갉아먹는 구조

보통 수천 페이지 미만의 소형 블로그는 크롤링 예산이 크게 부족하지 않지만, 워드프레스나 티스토리 설정에 따라 예외가 생겨요.

정렬·필터용 쿼리 매개변수(?replytocom=, ?s=, ?utm_ 등)나 무한 태그가 수천 개씩 열리면 Googlebot이 거기에 시간을 낭비해요.

크롤링 통계 보고서의 ‘응답’이나 ‘파일 형식’ 표에서 HTML 예시 URL을 눌러, 엉뚱한 매개변수 주소가 대량으로 크롤링되고 있는지 확인해 보세요.

불필요한 중복 경로는 표준 태그(canonical)로 묶거나 생성 자체를 줄여야 고유한 본문 URL에 크롤링이 집중돼요.

‘크롤링됨’ 상태라면 콘텐츠 가치와 중복 신호를 다듬어요

‘크롤링됨 – 현재 색인이 생성되지 않음’은 Googlebot이 이미 글을 읽고 지나갔다는 뜻이에요.

따라서 기술적 접근 차단만 없다면, 이제는 콘텐츠 자체의 차별성과 중복 신호를 정면으로 점검해야 해요.

Googlebot이 읽고도 색인을 보류하는 대표 패턴

구글의 자동 시스템은 검색 순위만 노려 양산한 글보다 직접적인 경험과 독창적 정보가 담긴 사용자 중심 콘텐츠를 우선해요.

실제 블로그 운영에서 ‘크롤링됨’에 자주 걸리는 글에는 몇 가지 공통점이 있어요.

  • 단순 요약형 글: 공식 안내나 뉴스 기사 몇 줄만 바꿔 적어 기존 상위 문서와 차별점이 없는 경우예요.
  • 내부 검색 의도 겹침: 내 블로그 안에 비슷한 키워드와 결론을 다룬 글이 이미 2~3편 이상 색인돼 있는 경우예요.
  • 정보 밀도 부족: 목차와 서론만 길고 실제 해결 절차, 기준 수치, 예외 상황처럼 독자가 바로 쓸 내용이 빈약한 경우예요.

URL 검사 도구에서 표준 URL(Canonical) 충돌 확인하기

콘텐츠를 고치기 전에 URL 검사 도구의 페이지 색인 생성 항목을 펼쳐 표준 URL 두 줄을 꼭 비교해 보세요.

‘사용자가 선언한 표준 URL’과 ‘Google에서 선택한 표준 URL’이 서로 다르게 찍혀 있다면, 구글이 다른 페이지를 대표 버전으로 보고 있다는 뜻이에요.

예를 들어 http와 https, www 유무, 끝에 붙는 슬래시(/), 혹은 모바일 주소(?m=1)가 뒤섞여 있으면 이런 충돌이 생기기 쉬워요.

이럴 때는 301 리디렉션과 rel=”canonical” 태그, 내부 링크, 사이트맵 주소가 모두 단 하나의 대표 주소로 통일돼 있는지 맞춰야 해요.

자연광이 드는 창가 데스크에서 듀얼 모니터 스탠드, 유선 마우스, 태블릿 거치대가 배치된 차분한 웹 콘텐츠 편집 작업대

글을 새로 쓰기 전에 기존 글부터 살리는 리라이팅 순서

‘크롤링됨’ 상태의 글이 아깝다고 제목만 살짝 바꿔 새 URL로 다시 올리면, 사이트 전체에 중복 신호만 더 쌓여요.

기존 URL을 유지한 채 아래 순서대로 실질적인 정보 밀도를 끌어올리는 편이 훨씬 안전해요.

  1. 중복 글 통합: 같은 검색 의도를 다룬 글이 2편 이상이면 한 편에 합치고, 덜 중요한 쪽은 301 리디렉션으로 연결해요.
  2. 1차 근거·실측 추가: 직접 설정해 본 순서, 실제 발생한 오류 메시지, 비교 기준표 등 다른 글에 없는 내용을 보강해요.
  3. 수정일 반영 후 재요청: 본문을 충분히 고친 뒤에만 URL 검사 도구에서 색인 생성 요청을 딱 1회 눌러 재평가를 기다려요.

무시해도 되는 URL과 당장 고쳐야 할 URL 구분 기준

서치콘솔 ‘색인이 생성되지 않음’ 숫자가 100개, 500개로 늘어나면 당장 큰 장애가 난 것처럼 불안해져요.

하지만 구글 공식 문서에서도 사이트의 모든 URL이 100% 색인될 필요는 없다고 분명히 안내하고 있어요.

피드·태그·검색 결과 URL은 색인이 안 되는 게 정상이에요

블로그 플랫폼은 글 한 편만 써도 본문 주소 외에 RSS 피드(/feed/), 태그 목록, 날짜별 아카이브, 댓글 매개변수 같은 보조 URL을 자동으로 만들어요.

이런 보조 URL이 ‘발견됨’이나 ‘크롤링됨’에 잡혀 있어도, 실제 본문 글의 표준 URL이 잘 색인돼 있다면 굳이 손댈 필요가 없어요.

오히려 피드나 태그 주소까지 억지로 색인 요청을 누르면 일일 할당량만 낭비하고 보고서 관리가 더 복잡해져요.

사이트맵 필터로 ‘진짜 본문 글’만 추려 보는 방법

진짜 문제를 놓치지 않으려면 페이지 색인 생성 보고서 왼쪽 상단의 ‘알려진 모든 페이지’ 드롭다운을 눌러 보세요.

여기서 ‘제출된 모든 페이지’나 글 전용 사이트맵(예: post-sitemap.xml)으로 필터를 걸면 잡음 URL이 한 번에 걸러져요.

이 필터를 켠 상태에서 ‘발견됨’이나 ‘크롤링됨’에 남아 있는 URL만 골라 대응해야, 시간 대비 효과가 가장 커요.

URL 유형 미색인 판단 권장 조치
/feed/, /tag/, ?m=1 정상 (보조·중복 경로) 무시 가능, 사이트맵에서 제외
발행 3일 이내 본문 일시 대기 가능성 높음 내부 링크 연결 후 1주 관찰
2주 이상 ‘발견됨’ 본문 크롤링 병목·고립 의심 크롤링 통계 점검·내부 링크 보강
2주 이상 ‘크롤링됨’ 본문 품질·중복·표준 충돌 표준 URL 확인 후 리라이팅·통합

자주 묻는 질문

‘발견됨’에서 ‘크롤링됨’으로 넘어갔는데 여전히 색인이 안 되면 더 나빠진 건가요?

아니에요. Googlebot이 실제로 방문해 페이지를 읽었다는 뜻이므로 크롤링 장벽은 통과한 상태로 볼 수 있어요.

이제 서버나 사이트맵 점검은 멈추고, 표준 URL 충돌 여부와 콘텐츠 차별성·중복 해소에 집중해 보세요.

robots.txt로 태그나 피드 페이지를 막으면 본문 글 크롤링이 빨라질까요?

무조건 빨라지지는 않아요. 구글 크롤링 예산 문서에 따르면 크롤링 용량 한도에 이미 도달한 경우가 아니라면 차단한 예산이 다른 페이지로 자동 이전되지 않아요.

또한 robots.txt로 막아도 외부·내부 링크가 남아 있으면 URL 자체는 색인 보고서에 ‘robots.txt에 의해 차단됨’으로 따로 표시돼요.

색인 생성 요청을 하루에 몇 개까지 누를 수 있나요?

구글은 일일 할당량의 정확한 수치를 공식 문서에 공개하지 않으며, 하루 제출 횟수에 제한이 있다고만 안내해요.

할당량 초과 메시지가 떴다면 무리하게 다시 누르지 말고, 수정한 URL을 <lastmod> 포함 사이트맵으로 알린 뒤 하루 이상 기다려 주세요.

‘수정 결과 확인’이 실패로 끝나면 페널티가 생기나요?

아니에요. 수정 결과 확인 실패는 검색 순위 페널티가 아니라 검사 목록의 URL 중 임계값 이상에 아직 미색인 상태가 남아 있다는 알림이에요.

세부정보 보기에서 실패한 예시 URL을 확인해 원인을 고친 뒤 다시 시작하거나, 가장 중요한 글만 담은 사이트맵으로 필터링해 검증 범위를 좁혀 보세요.

글을 삭제하고 새 주소로 다시 올리면 ‘크롤링됨’ 미색인이 바로 풀리나요?

대부분 해결되지 않아요. 본문 내용과 검색 의도가 그대로라면 주소만 바꿔도 Googlebot이 읽은 뒤 똑같이 색인을 보류할 가능성이 매우 높아요.

오히려 기존 주소가 404로 쌓여 크롤링 효율만 떨어지니, 기존 URL을 유지한 채 본문을 보강하는 편이 훨씬 유리해요.

티스토리 모바일 주소(?m=1)나 워드프레스 /feed/가 ‘크롤링됨’에 잔뜩 떴는데 고쳐야 하나요?

본문 기본 URL이 정상 색인돼 있다면 별도로 고칠 필요가 없어요. 구글이 표준 페이지 하나만 색인하고 보조·대체 경로를 제외한 정상 동작이기 때문이에요.

다만 본문 글까지 함께 빠졌는지 확인하려면 보고서 상단에서 제출된 모든 페이지 필터를 켜고 본문 URL만 따로 점검해 보세요.

댓글 남기기