검색엔진은 어떻게 일하는가 - 크롤링·색인·랭킹, 그리고 AI 검색

검색창에 단어를 넣고 엔터를 누르면 1초도 안 돼 결과가 나옵니다. 수백억 페이지 중에서 말이죠. 이 속도의 비밀은 의외로 단순합니다. 검색엔진은 그 순간 웹을 뒤지는 게 아닙니다. 미리 다 읽어서 정리해 둔 목록에서 꺼내 줄 뿐입니다.

이 한 문장을 이해하면 사이트 운영에서 겪는 많은 일들이 설명됩니다. 왜 새로 만든 홈페이지가 검색에 안 나오는지, 왜 페이지를 지웠는데도 검색에는 남아 있는지, 왜 어떤 페이지는 몇 달째 "색인 안 됨"인지. 검색엔진이 일하는 순서를 따라가 보겠습니다.

도서관에서 책을 찾는 두 가지 방법

책 한 권을 찾으러 도서관에 갔다고 해 봅시다. 서가를 처음부터 끝까지 훑는 방법이 하나, 사서가 미리 만들어 둔 색인 목록에서 위치를 찾는 방법이 하나입니다. 규모가 커질수록 답은 후자뿐입니다.

검색엔진이 하는 일이 정확히 사서의 일입니다. 평소에 웹을 돌아다니며 페이지를 읽고(크롤링), 읽은 것을 목록으로 정리해 두고(색인), 질문이 들어오면 목록에서 골라 순서를 매겨 내놓습니다(랭킹). 세 단계는 각각 따로 굴러가고, 각 단계마다 사이트가 탈락할 수 있는 관문이 있습니다.

1단계 크롤링 - 로봇이 링크를 타고 읽는다

크롤러(구글의 경우 Googlebot)는 이미 아는 페이지에서 출발해 링크를 타고 새 페이지로 이동하며 웹을 읽습니다. 사이트 입장에서 중요한 사실은 두 가지입니다.

하나, 크롤러는 무한정 읽어 주지 않습니다. 검색엔진은 사이트마다 읽는 빈도와 분량을 배분하는데, 이걸 크롤 예산이라 부릅니다. 오래됐고 링크를 많이 받는 사이트는 자주, 신생 사이트는 드물게 방문합니다. 새 사이트의 페이지가 몇 주씩 "발견됨 - 크롤링되지 않음" 상태로 남는 건 고장이 아니라 순번 대기입니다.

둘, 출입 규칙은 사이트가 정합니다. robots.txt 라는 파일로 "이 구역은 읽지 마라"를 선언할 수 있고, 크롤러들은 대체로 이를 존중합니다. 문제는 이 파일의 문법 실수 하나가 사이트 전체를 잠가 버릴 수도 있다는 것 - 작성 규칙은 ageo 의 robots.txt 가이드에 따로 정리돼 있습니다.

2단계 색인 - 읽었다고 다 등록되는 건 아니다

여기가 가장 오해가 많은 관문입니다. 크롤러가 페이지를 읽었다고 해서 검색 목록에 자동 등록되는 게 아닙니다. 검색엔진은 읽은 페이지를 평가해서 등록할 가치가 있는 것만 색인에 넣습니다.

탈락 사유는 대체로 이렇습니다. 다른 페이지와 내용이 사실상 같다(중복). 본문이 거의 없다(얇은 페이지). 페이지 스스로 "나는 다른 페이지의 사본"이라고 선언했다(canonical 표기). 등록 금지 표시가 붙어 있다(noindex). 서치콘솔의 색인 보고서에서 보게 되는 "크롤링됨 - 현재 색인이 생성되지 않음" 같은 문구들이 바로 이 관문의 판정 결과입니다.

색인이 '미리 만들어 둔 목록'이라는 사실은 반대 방향으로도 작동합니다. 페이지를 삭제해도 검색 결과에 한동안 남아 있는 이유가 이것입니다. 검색엔진은 삭제 사실을 실시간으로 알지 못하고, 다음 방문 때 페이지가 사라진 것을 확인하고서야 목록에서 지웁니다. 방문 주기가 뜸한 사이트라면 몇 주씩 걸릴 수 있습니다. 그래서 급히 내려야 하는 페이지는 삭제만 하고 기다릴 게 아니라, 서치콘솔의 삭제 요청 도구로 직접 알리는 쪽이 빠릅니다.

운영자에게 주는 교훈은 명확합니다. 페이지 수를 늘리는 것은 색인에 도움이 안 되고, 오히려 비슷한 페이지를 대량으로 만들면 사이트 전체의 평가가 내려갑니다. 검색엔진의 눈에는 "등록할 가치가 있는 페이지의 비율"이 곧 사이트의 품질이기 때문입니다.

3단계 랭킹 - 순서는 질문마다 새로 정해진다

색인에 등록됐다면 이제 검색될 자격이 생긴 것이고, 몇 번째로 나오느냐는 전혀 다른 계산입니다. 랭킹은 사이트에 매겨 둔 고정 점수가 아니라, 검색어가 들어올 때마다 새로 계산되는 순서입니다.

계산에 들어가는 신호는 수백 가지로 알려져 있지만, 굵직한 축은 셋입니다. 이 페이지가 질문과 얼마나 관련 있는가(관련성), 이 사이트와 글쓴이를 믿을 만한가(품질과 신뢰 - 다른 곳에서 얼마나 인용되는지, 운영 주체가 분명한지), 그리고 방문자가 불편 없이 볼 수 있는가(속도, 모바일 화면, 보안 연결). 첫째 축 때문에 같은 페이지가 어떤 검색어에선 1위, 어떤 검색어에선 5페이지에 나오는 것이고, 셋째 축 때문에 내용이 같아도 느린 사이트가 밀리는 것입니다.

AI 검색이 얹은 한 층

ChatGPT 나 구글의 AI 요약 같은 AI 검색은 이 3단계를 대체한 게 아니라 그 위에 한 층을 더 얹은 것에 가깝습니다. AI 는 여전히 크롤링과 색인이 만들어 둔 재료 위에서 움직이며, 달라진 것은 마지막 출력입니다. 링크 열 개를 나열하는 대신, 재료를 읽고 답변을 직접 작성해서 출처 몇 개를 인용합니다.

그래서 순서가 뒤집히지 않습니다. 크롤러가 읽을 수 없는 사이트는 AI 답변에도 등장할 수 없고, 색인에서 탈락한 페이지는 인용 후보조차 되지 못합니다. 기본기가 같다는 뜻입니다. 그 위에서 "어떤 콘텐츠가 인용으로 선택되는가"는 별도의 주제라 AI 답변 인용 대비에서, AI 크롤러를 열지 막을지는 크롤러 판단 기준에서 다뤘습니다.

운영자가 기억할 세 문장

길게 왔지만 실무 요점은 세 문장으로 줄어듭니다. 크롤러가 읽을 수 있게 하라(구조와 robots.txt). 색인에 등록될 자격을 갖춰라(고유하고 실질 있는 페이지만). 랭킹은 그 둘의 결과이지 목표가 아니다. 순위를 올리는 기법을 찾기 전에 앞의 두 관문부터 점검하는 것이, 돌아가는 길 같지만 가장 빠른 길입니다.