시리즈 4: 기술 SEO + 데이터 구조 | 4편
좋은 콘텐츠를 만들어도 구글이 발견하지 못하면 아무 의미가 없다. AI 오버뷰는 구글이 이미 인덱싱 한 페이지를 기반으로 답변을 생성한다. 인덱싱 되지 않은 페이지는 AI 오버뷰에 인용될 수 없다. 크롤링과 인덱싱은 AI 검색 최적화의 전제 조건이다. 이 글에서는 크롤링 문제를 발견하고 해결하는 체크리스트를 정리한다.
기술 SEO + 데이터 구조
#1. schema의 역할과 적용법
#3. 내부 링크 구조 최적화
#4. 크롤링과 인덱싱 최적화 ← 현재글
#5. 멀티랭귀지(hreflang)와 글로벌 노출(예정)
크롤링과 인덱싱: 두 가지가 다르다
혼동하기 쉬운 개념이다.
크롤링: 구글봇이 사이트를 방문해서 페이지 내용을 수집하는 과정이다.
인덱싱: 수집한 페이지를 분석해서 검색 데이터베이스에 등록하는 과정이다.
크롤링이 되어도 인덱싱이 안 될 수 있다. 콘텐츠 품질이 낮거나 중복 페이지로 판단되거나 기술적 오류가 있으면 크롤링 후 인덱싱에서 탈락한다.
두 단계가 모두 정상적으로 이루어져야 구글 검색에 나타나고 AI 오버뷰 인용 후보가 된다.
크롤링 체크리스트
① robots.txt 확인
중요한 페이지를 실수로 차단하고 있지 않은지 확인한다.
https://example.com/robots.txt로 접근해서 확인한다. Disallow: / 같은 전체 차단 구문이 남아 있으면 전체 사이트가 크롤링되지 않는다. 자주 있는 실수다.
구글 서치 콘솔의 robots.txt 검사 도구를 활용해 중요 URL이 차단됐는지 확인한다.
② 크롤 예산(Crawl Budget) 관리
구글봇이 한 사이트에 할당하는 크롤링 자원에는 한계가 있다. 이것이 크롤 예산이다.
크롤 예산을 낭비하는 원인:
- 필터, 정렬, 페이지네이션이 만들어낸 수천 개의 파라미터 URL
- 얇은 내용의 임시 페이지
- 중복 URL (www vs non-www, http vs https)
불필요한 URL이 크롤 예산을 차지하면 중요한 페이지가 충분히 크롤링되지 않는다.
③ 내부 링크 깊이 확인
중요 페이지까지 도달하는 클릭 수가 너무 많으면 구글봇이 발견하기 어렵다. 일반적으로 홈페이지에서 3 클릭 이내에 모든 중요 페이지에 도달할 수 있어야 한다.
Screaming Frog 또는 Sitebulb으로 페이지 깊이를 분석할 수 있다.
④ 사이트 속도와 서버 안정성
구글봇도 느린 서버를 싫어한다. 서버 응답 시간이 일관적으로 느리면 구글봇이 더 적은 페이지만 크롤링하고 이탈한다. 서버 다운 이력도 크롤링 빈도를 낮추는 원인이 된다.
인덱싱 체크리스트
① noindex 태그 점검
페이지 <head> 태그 안에 <meta name="robots" content="noindex">가 있으면 해당 페이지는 인덱싱 되지 않는다. 개발 환경이나 테스트 페이지에 적용한 noindex가 실서비스에 남아 있는 경우가 종종 있다.
구글 서치 콘솔 → URL 검사 도구에서 개별 페이지의 인덱싱 상태를 확인할 수 있다.
② 정식 URL(Canonical) 설정
동일하거나 유사한 내용이 여러 URL에 존재하면 구글이 혼란을 겪는다. 어떤 URL을 인덱싱해야 할지 판단하기 어렵다.
Canonical 태그를 사용해 '이 URL이 기준 페이지' 임을 명확히 한다.
예: <link rel="canonical" href="https://example.com/original-page/">
③ XML 사이트맵 제출
사이트맵은 구글에 '이 페이지들을 크롤링해 달라'는 요청이다. 특히 새 글을 발행하거나 기존 글을 업데이트할 때 사이트맵을 통해 구글봇이 더 빨리 발견할 수 있다.
사이트맵 체크리스트:
- 모든 중요 페이지가 사이트맵에 포함됐는가
- 404 오류 URL이 사이트맵에 포함되지 않았는가
- 사이트맵이 구글 서치 콘솔에 제출됐는가
- 최근 업데이트 날짜가 반영됐는가
④ 404 오류 페이지 정리
존재하지 않는 URL에 접근하면 404 오류가 발생한다. 내부 링크나 외부 링크에서 404로 연결되는 경우가 많다. 구글봇이 404 URL에 접근하면 크롤 예산이 낭비된다.
구글 서치 콘솔의 '크롤링 오류' 보고서에서 404 URL 목록을 확인하고 관련 콘텐츠가 있는 URL로 301 리다이렉트를 적용한다.
⑤ 중복 콘텐츠 처리
동일하거나 거의 같은 내용이 여러 URL에 있으면 인덱싱 효율이 낮아진다. 구글이 어떤 버전을 인덱싱해야 할지 판단하는 데 자원을 낭비한다.
처리 방법:
- 명확히 중복이면 하나를 301 리다이렉트로 처리한다
- 내용이 비슷하지만 다른 목적이 있으면 Canonical로 처리한다
- 임시 페이지나 얇은 내용 페이지는 noindex 처리한다
인덱싱 속도를 높이는 방법
새 글을 발행하거나 중요한 글을 업데이트했을 때 빠르게 인덱싱 되게 하는 방법이 있다.
① URL 직접 제출
구글 서치 콘솔 → URL 검사 도구 → '색인 생성 요청' 버튼을 누른다. 즉시 크롤링을 요청한다. 단, 하루 수십 건 한도가 있다. 중요한 페이지에만 사용한다.
② 내부 링크 추가
이미 잘 크롤링되는 기존 글에서 새 글로 링크를 추가한다. 구글봇이 기존 글을 크롤링할 때 새 링크를 따라가서 새 글을 발견한다.
③ 사이트맵 업데이트
새 글을 발행한 후 사이트맵을 갱신하고 서치 콘솔에서 다시 제출한다. WordPress라면 Yoast SEO 같은 플러그인이 자동으로 처리해 준다.
서치 콘솔 활용: 크롤링·인덱싱 모니터링 기본
구글 서치 콘솔은 무료지만 강력한 도구다. 정기적으로 확인할 항목:
- 커버리지 보고서: 인덱싱 된 페이지, 제외된 페이지, 오류 페이지를 보여준다
- 크롤링 통계: 구글봇이 얼마나 자주 방문하는지, 어떤 오류가 있었는지 알 수 있다
- URL 검사 도구: 특정 URL의 인덱싱 상태와 크롤링 이력을 확인한다
발견되는 것이 AI 인용의 전제 조건이다
좋은 콘텐츠, 좋은 스키마, 좋은 내부 링크도 구글이 페이지를 발견하지 못하면 소용없다. 크롤링과 인덱싱 문제는 눈에 잘 띄지 않지만 그 효과는 즉각적이다. 오늘 구글 서치 콘솔 커버리지 보고서를 열어보자. 오류로 표시된 페이지가 있다면 그것이 첫 번째 해결 대상이다.
다음 글: 4-5편 - 멀티랭귀지(hreflang)와 글로벌 노출 전략
'디지털 마케팅' 카테고리의 다른 글
| 3편. 링크 하나가 AI 인용 확률 2.7배 높인다 - 내부 링크 구조와 토픽 클러스터 최적화 (0) | 2026.08.11 |
|---|---|
| 2편. 느린 사이트는 AI 오버뷰에서도 걸러진다 - 페이지 속도·모바일 UX와 AI 검색 (1) | 2026.08.10 |
| 1편. AI가 내 콘텐츠를 '오해 없이' 읽게 만드는 법 - Schema(구조화 데이터) 적용법 (0) | 2026.08.09 |
| 5편. 건강·금융 콘텐츠, AI 검색 시대에 살아남으려면 - YMYL 전략 가이드 (0) | 2026.08.08 |
| 4편. 출처·정책·투명성 없으면 AI도 외면한다 - 사이트 신뢰도(Trust) 확보를 위한 구조 설계법 (0) | 2026.08.06 |
