가장 흔하게 하는 실수입니다. 페이지가 색인되지 않는다는 것을 발견하는 순간, 본능적으로 '콘텐츠부터 고쳐야겠다'고 생각합니다. 키워드를 더 넣고, 제목을 다듬고, 서론을 다시 씁니다.
잠시 멈추세요. 시간 낭비일 확률이 높습니다.
검색엔진이 특정 URL을 인덱스에 넣지 않는 이유는 보통 본문 내용이 두 단락 부족해서가 아닙니다. 그보다 훨씬 앞선 '기술적 관문'에서 문제가 생겼기 때문입니다. 페이지가 아직 발견되지 않았거나, 발견은 됐지만 크롤링이 차단되었거나, 혹은 크롤링까지 끝냈지만 구글이 다른 URL을 '표준 버전'으로 결정해버려 결과적으로 인덱스에서 밀려난 것입니다.
공식적으로는 살아있지만 검색 결과에는 좀처럼 나타나지 않는 페이지가 있다면, 지금 당장 필요한 건 아이디어 회의가 아니라 명확한 체크리스트입니다. SeoSpeedup에서는 이 과정을 엄격한 순서로 나눕니다: 접근성 확인 -> Robots 및 Sitemap 점검 -> Canonical 검증 -> 그리고 나서 마지막에 내부 링크와 콘텐츠 깊이 검토.
색인은 하나의 사슬과 같습니다. 한 고리라도 끊어지면 콘텐츠 내용은 중요하지 않습니다. 본문을 고치기 전에 먼저 발견과 크롤링 가능성부터 해결하세요.
색인 누락의 4가지 범주
문제를 해결하려면 여정의 어느 단계에서 실패했는지 알아야 합니다. 우리는 이를 네 가지 유형으로 분류합니다:
- 보이지 않는 페이지: 구글이 그 존재조차 모르는 경우.
- 금지된 페이지: 구글이 찾기는 했지만, 크롤링이 허용되지 않은 경우.
- 유령 페이지: 구글이 크롤링은 했지만, 그 가치를 다른 URL로 합쳐버린 경우 (표준화 문제).
- 저가치 페이지: 구글이 보기는 했지만, 색인에 넣을 만큼 가치가 없다고 판단한 경우.
실패를 범주화하면 해결책은 명확해집니다:
- 내부 링크가 하나도 없고 사이트맵에도 없다면, 그것은 **'발견(Discovery)'**의 문제입니다.
- Robots.txt나
noindex태그 설정이 잘못되었다면, **'크롤링 제어'**의 문제입니다. - Canonical이 다른 곳을 가리키고 있다면, **'표준화'**의 문제입니다.
이 첫 세 가지가 모두 정상일 때만 비로소 본문의 자구 하나하나를 수정하는 단계로 넘어가야 합니다.
문제 해결 체크리스트
1. 기본 접근성 확인
순위를 논하기 전에, 구글이 '그 방'에 들어올 수는 있는지부터 확인하세요.
URL을 SEO 분석기(SEO Analyzer)에 돌려 다음 지표를 체크합니다:
- 200 OK 상태를 반환하나요? (404 오류나 리다이렉트 체인이 없어야 합니다).
- 헤더에 실수로
noindex태그가 숨어 있지는 않나요? - URL 구조가 크롤러가 이해하기 쉬운 형태인가요?
페이지가 기술적으로 깨져 있거나 입구에서 차단되었다면, 다른 어떤 노력도 소용없습니다.
2. Robots.txt가 입구를 막고 있지는 않나요?
너무 뻔한 이야기 같지만, 실제로 정말 자주 발생하는 일입니다. 수많은 색인 문제는 그저 단순한 '출입 금지' 표지판 하나 때문에 생깁니다.
Robots.txt 생성기를 사용하여 현재 사이트 규칙을 대조해 보세요. 특히 다음을 확인합니다:
- 새 콘텐츠가 있는 디렉토리 전체를 차단하고 있지는 않나요?
- 이전 사이트 버전에서 쓰던 낡은 규칙이 아직 남아서 방해하고 있지는 않나요?
- 테스트 환경 규칙이 실수로 운영 환경에 배포되지는 않았나요?
기억하세요. robots.txt는 크롤러에게 ‘보아도 되는지’를 알려줍니다. noindex는 ‘기억해도 되는지’를 알려줍니다. 이 둘을 혼동해서는 안 됩니다.
3. 발견으로 이어지는 길이 있나요?
페이지로 이어지는 입구가 없다면, 기술적으로 크롤링이 가능하더라도 구글은 그 페이지를 평생 찾지 못할 수 있습니다.
스스로에게 물어보세요:
- 이 페이지가 내비게이션, 카테고리 페이지, 혹은 관련 글에서 링크되어 있나요?
- XML 사이트맵(Sitemap)에 포함되어 있나요?
두 번째 질문에 확신이 없다면, 사이트맵 생성기를 사용해 바로 수정하세요. 사이트맵은 신규 사이트나 대규모 업데이트 시 구글이 사용하는 가장 중요한 지도이며, 필수 사항입니다.
4. 캐노니컬(Canonical)에 의한 '자가 잠식'을 확인하세요
현대 SEO에서 가장 간과되는 단계입니다. 페이지는 살아있지만 구글은 이걸 단지 다른 페이지의 중복본이라고 생각할 수 있습니다.
캐노니컬 태그 생성기로 논리를 검증하세요:
- 페이지가 자기 자신을 가리키는 태그(Self-referencing canonical)를 가지고 있나요?
- 실수로 옛날 URL이나 파라미터가 붙은 페이지를 가리키고 있지는 않나요?
- 템플릿이 모든 페이지에서 똑같은 캐노니컬을 출력하고 있지는 않나요?
캐노니컬이 잘못되었다면 페이지가 '사라진' 것이 아니라 다른 곳으로 '통합'된 것입니다.
색인 해결 퀵 차트
당장 무엇을 해야 할지 알고 싶다면 이 표를 따르세요:
| 현상 | 예상되는 문제 | 지금 바로 할 일 |
|---|---|---|
| 페이지가 전혀 발견되지 않음 | 내부 링크 부족 / 사이트맵 누락 | 사이트맵을 업데이트하고 내부 링크를 3개 만드세요. |
| 페이지가 살아있지만 수주째 무시됨 | Robots.txt 차단 / noindex 태그 | 크롤링 및 색인 제어 신호를 감사하세요. |
| 검색 결과에 다른 URL이 나옴 | 캐노니컬 설정 오류 / 중복 콘텐츠 | 캐노니컬 태그를 자기 자신을 가리키도록 고치세요. |
| 한 번 색인됐다가 나중에 사라짐 | 콘텐츠 부실 / 검색 의도 불일치 | 콘텐츠를 깊이 있게 보강하고 독창적인 데이터를 넣으세요. |
결론: 발견이 먼저, 콘텐츠는 그다음입니다
페이지가 색인되지 않을 때 가장 피해야 할 행동은 곧장 '원고 수정'에 들어가는 것입니다. 에너지 낭비입니다.
SeoSpeedup 워크플로우를 따르세요:
- SEO 분석기로 기초 점검.
- Robots.txt 규칙 확인.
- 사이트맵 업데이트.
- 캐노니컬 태그 확정.
- 그런 다음에야 본문이나 SEO 친화적 URL을 검토하세요.
색인의 '블랙홀'에 빠져 있는 페이지가 있다면 지금 즉시 이 순서대로 돌려보세요. 짐작으로 고치는 것보다 훨씬 확실한 결과가 나옵니다.
