회사 홈페이지를 AI 검색 시대에 맞게 개편한 과정

저희는 웹사이트를 만들어 주는 회사입니다. 그래서 자사 홈페이지를 새로 만들 때 한 가지 실험을 하기로 했습니다. "검색의 소비자가 더 이상 사람만이 아니다"라는 전제를 처음부터 끝까지 적용해 보자는 것이었습니다.

몇 년 전까지 홈페이지의 검색 대응이란 곧 구글과 네이버 대응이었습니다. 지금은 다릅니다. ChatGPT가 답변을 만들기 위해 웹을 읽고, Perplexity가 출처를 골라 인용하며, 검색 결과 페이지 자체가 AI 요약으로 시작합니다. 사람이 링크를 클릭하기 전에, AI가 먼저 사이트를 읽고 평가하는 시대입니다. 이 글은 그 전제 아래에서 저희가 실제로 했던 작업의 기록입니다.

AI 크롤러를 막을 이유가 없었다

가장 먼저 결정한 것은 robots.txt였습니다. GPTBot, ClaudeBot, PerplexityBot, CCBot 같은 AI 크롤러를 허용할 것인가.

언론사나 콘텐츠 판매 기업이라면 고민이 깊을 수 있습니다. 콘텐츠 자체가 상품이니까요. 하지만 회사 홈페이지의 목적은 정반대입니다. 더 많이 읽히고, 더 많이 알려지는 것이 존재 이유입니다. AI가 "이런 시스템을 만들 수 있는 개발사"를 답할 때 저희 이름이 나오려면, 일단 AI가 저희를 읽을 수 있어야 합니다.

그래서 주요 AI 크롤러를 하나하나 명시해 전부 허용했습니다. 각 크롤러의 User-agent 토큰은 벤더의 1차 문서를 기준으로 확인했습니다. 이 판단이 모든 사이트에 옳다는 뜻은 아닙니다. 핵심은 "기본값을 그대로 두는 것"과 "판단하고 결정하는 것"이 다르다는 점입니다.

llms.txt - AI를 위한 안내판을 세우다

robots.txt가 "들어와도 됩니다"라면, llms.txt는 "들어오면 이걸 보세요"에 해당합니다. 사이트의 정체와 핵심 페이지를 AI가 읽기 좋은 형태로 정리한 문서로, 저희는 회사 소개, 사업 분야, 대표 프로젝트, 문의 경로를 담았습니다.

써 보면서 느낀 점은, llms.txt의 진짜 효용이 "AI에게 잘 보이기"가 아니라 "우리 사이트의 핵심이 무엇인지 스스로 정리하게 되는 것"에 있다는 것이었습니다. 한 페이지로 회사를 설명하지 못하면 llms.txt도 쓸 수 없습니다. 작성 방법 자체는 저희가 만든 진단 도구의 가이드에 정리해 두었으니, 실무 절차가 필요하다면 그쪽이 더 자세합니다.

기계가 읽는 명함, 구조화 데이터

사람은 홈페이지 하단의 주소와 대표 이름을 읽고 이해하지만, 기계는 추측해야 합니다. 그 추측을 없애 주는 것이 JSON-LD 구조화 데이터입니다.

저희는 Organization 정보(회사명, 대표, 연락처, 소재지)와 페이지 구조(BreadcrumbList), 콘텐츠 성격에 맞는 타입을 페이지마다 선언했습니다. 여기에 sameAs 속성으로 회사의 다른 공식 채널을 연결해, "여기저기 흩어진 테크유니온이 같은 회사"라는 사실을 기계가 확신할 수 있게 했습니다. AI 답변 엔진이 회사 정보를 인용할 때 출처를 신뢰하는 근거가 바로 이런 선언입니다.

날짜를 정직하게 다루기로 했다

이번 작업에서 저희가 가장 공들인 부분은 의외로 '날짜'였습니다.

검색엔진과 AI는 콘텐츠의 신선도를 봅니다. 그래서 모든 페이지의 수정일을 오늘 날짜로 찍어 신선해 보이게 하는 꼼수가 실제로 널리 쓰입니다. 저희는 반대로 갔습니다. 페이지의 dateModified와 사이트맵의 lastmod를 실제 소스 파일의 수정 시각에서 산출하도록 만들었습니다. 내용이 안 바뀐 페이지는 옛날 날짜가 그대로 노출됩니다.

바뀌지도 않은 페이지가 매일 갱신됐다고 주장하는 사이트를 크롤러가 어떻게 학습할까요. 그 사이트의 날짜 신호 전체를 무시하는 쪽으로 갈 것입니다. 신선도 신호는 정직할 때만 신호로 기능합니다. 다만 데이터베이스에서 내용을 불러오는 페이지는 파일 수정 시각이 근거가 될 수 없어서, 레코드의 갱신 시각을 따로 넘겨 처리했습니다. 이런 예외를 다루는 데가 실무의 대부분입니다.

모달 뒤에 숨어 있던 콘텐츠를 꺼내다

개편 전 저희 포트폴리오는 카드를 클릭하면 모달(팝업)로 열리는 구조였습니다. 사용자에게는 편하지만, 크롤러에게 모달은 존재하지 않는 페이지입니다. 수십 건의 프로젝트 실적이 검색 세계에서는 통째로 보이지 않았던 셈입니다.

그래서 모든 포트폴리오에 고유 URL을 부여했습니다. 자바스크립트가 있는 브라우저에서는 여전히 모달로 부드럽게 열리고, 크롤러와 자바스크립트 없는 환경은 독립 페이지로 진입합니다. 같은 콘텐츠, 두 개의 경로. 이 작업 하나로 색인 가능한 페이지가 5개에서 31개로 늘었습니다.

여기서 얻은 원칙이 하나 더 있습니다. URL은 약속이라는 것. 한번 공개된 주소는 검색엔진과 AI의 기억 속에 쌓입니다. 주소를 바꾸면 그 축적이 끊기므로, 바꿔야 한다면 반드시 이전 주소에서 새 주소로 301 리다이렉트를 걸어 약속을 이어 줍니다.

이 작업들의 공통점

돌아보면 전부 한 문장으로 요약됩니다. "기계 독자를 위한 배려는 곧 사이트의 정직성 문제다." 크롤러를 열어 주고, 안내판을 세우고, 신원을 선언하고, 날짜에 거짓말을 하지 않고, 숨은 콘텐츠에 주소를 주는 것. 화려한 기법이 아니라 태도에 가깝습니다.

저희는 이 경험을 바탕으로 웹사이트의 SEO·GEO·AEO 상태를 진단하는 도구를 만들어 운영하고 있습니다. 자기 사이트가 AI 검색 시대에 어떻게 읽히고 있는지 궁금하다면 진단부터 받아 보시길 권합니다. 문제를 알아야 고칠 수 있으니까요.