색인이 안 돼서, Google이 우리를 얼마나 크롤하는지 재봤습니다.
사이트맵에 200개 넘게 제출했는데 색인된 페이지가 4개였습니다. 처음엔 콘텐츠가 얇아서라고 생각했습니다. 같은 틀에 숫자만 다른 페이지가 200개면 그렇게 볼 만하니까요.
그래서 먼저 쟀습니다.
- 얇지 않았습니다. 페이지마다 상용구를 걷어내고 고유 텍스트만 세어 보니 고유 비율이 중앙값 69.9%였습니다. 눈금(고유 1,500자 또는 40%)에 미달한 것은 표본 20개 중 2개였습니다.
- 도달성도 아니었습니다. 그때 사이트맵에 있던 203개 주소를 전부 눌러 봤고 203개가 200이었습니다.
- 속도도 아니었습니다. Search Console이 보고하는 평균 응답 시간이 325ms였습니다.
세 가지가 지워지고 남은 것이 Search Console의 크롤링 통계였습니다. 90일 동안 크롤 요청이 192건. 그중 목적이 「새로고침」인 것이 93%, 「검색(발견)」이 7%였습니다.
발견에 쓰인 요청이 90일에 약 13건이라는 뜻입니다. 발견은 됐지만 색인되지 않은 180개를 그 속도로 크롤하면 몇 년이 걸립니다. 우리 문제는 「크롤러에게 어떻게 보이나」가 아니라 「보러 오지 않는다」였습니다.
그래서 고친 것
새로고침 예산을 어디에 쓸지 안내하는 것이 사이트맵의 lastmod인데, 우리는 채널 리포트에만 매일 새 날짜를 주고 안내 문서 같은 정적 페이지에는 아예 주지 않고 있었습니다. 안내를 새로 쓰고 색인 페이지 본문을 두 배로 늘린 이틀 동안에도 사이트맵은 「아무것도 안 바뀌었다」고 말하고 있었던 셈입니다.
문서마다 실제 변경 날짜를 붙였습니다. 요청 시각을 찍지 않은 이유는, 크롤할 때마다 「오늘 수정됨」이라고 말하는 신호는 없는 것보다 나쁘기 때문입니다.
그리고 배운 것 하나
커뮤니티에 글을 올리면 색인에 도움이 될 거라고 생각했는데, 대부분의 커뮤니티는 바깥 링크에 nofollow를 붙입니다. 검색엔진에 링크 신호가 가지 않습니다. 커뮤니티 게시는 직접 유입 지렛대이지 색인 지렛대가 아니었습니다.
그리고 확인한 것
lastmod를 고친 것만으로는 기다려야 알 수 있어서, Search Console의 URL 검사 → 색인 생성 요청을 아홉 건 눌러 봤습니다. 안내 문서와 그 목록 페이지입니다.
여섯 시간 반 뒤에 색인이 5개에서 10개가 됐습니다. 새로 들어온 다섯이 전부 요청한 안내 문서였습니다.
여기서 갈린 게 하나 있습니다. 요청 전에 각 주소를 검사해 보니 여덟은 「Google에는 아직 알려지지 않은 URL」이거나 「최근 크롤링: 해당사항 없음」이었고, 하나만 8월 21일에 크롤되고도 색인되지 않은 상태였습니다. 그 하나는 아직 안 들어왔습니다. 앞의 여덟에는 요청이 곧 발견이었고, 그 하나는 다른 문제로 보입니다.
아직 모르는 것도 적어 둡니다. lastmod를 고친 효과 자체는 요청과 섞여서 따로 잴 수 없게 됐습니다. 그리고 채널 리포트 182개 중 색인된 것은 아직 하나뿐이라, 리포트도 요청하면 색인되는지 한 건으로 시험하는 중입니다 — 결과는 확인하지 못했습니다.
하루 할당량이 10건 남짓입니다. 사이트가 크면 이 방법만으로는 안 되지만, 색인이 한 자리 수인 상태에서는 가장 빠른 수단이었습니다.
알려 드릴 것
- 유하유바는 YouTube API Services를 사용하는 독립 서비스이며 Google 또는 YouTube의 공식 제휴 서비스가 아닙니다. 이 글은 협찬받은 글이 아닙니다.
- 위의 고유 비율·중앙값처럼 유하유바가 직접 계산한 값에는 그렇게 적었습니다. 검색 콘솔에서 가져온 값(192건·93%·325ms)과는 출처가 다릅니다.
- 유하유바는 조회수나 성장을 예측하거나 보장하지 않습니다. 지난 30일에 실제로 일어난 것만 정리합니다.
부탁
같은 문제를 겪고 계시면 크롤링 통계의 「목적」 항목을 한번 보세요. 새로고침과 검색의 비율이 생각과 다를 수 있습니다. 저희 숫자가 이상해 보이거나 다르게 읽히면 알려 주세요.
https://yuhayuba.com/?utm_source=community&utm_medium=post&utm_campaign=creator-2026-09
