문이 잠겨 있으면 우리 홈페이지는 빠집니다 — AI 크롤러와 robots.txt

GEO를 이야기할 때 우리는 늘 '무엇을 어떻게 적을 것인가'부터 시작합니다.

그런데 그 모든 조언에는 말하지 않은 전제가 하나 깔려 있습니다.

AI가 우리 사이트에 들어올 수 있다는 전제입니다.

드물지만 이 전제가 깨져 있는 곳이 있고,

그럴 때는 홈페이지 내용을 아무리 손봐도 그 페이지들이 답에 쓰이지 않습니다.

AI가 우리 사이트에 못 들어오는 일도 있나요?

있습니다.

웹사이트에는 어떤 수집 프로그램이

어디를 읽어도 되는지 적어 두는 파일이 하나 있습니다.

주소 맨 끝에 robots.txt를 붙인 자리에 놓이는 짧은 텍스트 파일입니다.

검색엔진과 AI 서비스의 수집 프로그램은

대개 사이트를 읽기 전에 이 파일을 먼저 확인합니다.

여기에 '전부 읽지 말라'고 적혀 있으면 그 뒤의 이야기는 성립하지 않습니다.

읽을 게 없는 게 아니라, 읽으러 들어오지 못한 것입니다.

흔한 경위는 이렇습니다.

홈페이지를 만드는 동안에는 미완성 화면을 수집하지 않도록

전체를 막아 두는 것이 보통인데,

정식 오픈하면서 그 설정을 푸는 걸 잊는 경우가 있습니다.

몇 달 뒤에야 "왜 검색에 안 뜨지"로 발견되곤 합니다.

우리 사이트는 지금 열려 있나요?

주소창에 우리 도메인을 치고 뒤에

/robots.txt를 붙여 보면 바로 보입니다.

예를 들어 우리 주소가 example.co.kr이라면

example.co.kr/robots.txt입니다.

로그인도, 프로그램도 필요 없고 누구나 볼 수 있는 화면입니다.

미리 말씀드리면, 대부분은 아무 문제가 없습니다.

열어 봤을 때 몇 줄짜리 평범한 내용이 뜨거나 아예 파일이 없다면 그것이 정상입니다.

이 점검은 문제를 찾으러 가는 일이 아니라,

다른 걸 손보기 전에 전제부터 확인하고 넘어가는 일에 가깝습니다.

무엇이 적혀 있으면 막힌 상태인가요?

Disallow라는 단어 뒤에 슬래시 하나만 있는 줄이 있으면

그 대상에게는 사이트 전체가 막힌 상태입니다.

반대로 Disallow 뒤가 비어 있으면 막지 않는다는 뜻입니다.

한 글자 차이로 정반대가 되니 이 줄만은 눈으로 확인해 두시는 편이 좋습니다.

그 줄이 속한 묶음의 맨 위도 함께 봐야 합니다.

User-agent라고 적힌 줄이 '누구에게 해당하는 규칙인가'를 정합니다.

별표 하나면 모두에게 해당하고,

특정 이름이 적혀 있으면 그 프로그램에만 해당합니다.

AI 서비스를 운영하는 회사들도 각자 이름이 붙은 수집 프로그램을 쓰기 때문에,

검색엔진은 열려 있는데 AI 쪽 이름만 따로 막혀 있는 경우가 생길 수 있습니다.

한 가지 덧붙이면,

이 파일은 지켜 달라는 약속이지 기술적인 잠금장치가 아닙니다.

보안이 필요한 자리는 이 파일이 아니라 별도의 접근 제한으로 막아야 합니다.

관리자 페이지나 결제 화면처럼

이 목록에 들어가 있는 것이 자연스러운 곳도 있습니다.

그런 줄까지 문제로 볼 필요는 없습니다.

봐야 할 것은 우리가 손님에게 보여 주려고 만든 페이지가

막힌 목록에 들어가 있는지입니다.

막혀 있다면 어떻게 여나요?

이 파일은 사장님이 직접 고칠 자리가 아닙니다.

홈페이지를 만들어 준 곳이나 관리하는 담당자에게 요청하면 되고,

작업 자체는 길지 않습니다.

아래 문장을 그대로 보내셔도 됩니다.

"우리 사이트 robots.txt를 확인 부탁드립니다.

사이트 전체를 막는 설정이 남아 있다면 해제해 주시고,

AI 검색 서비스의 수집 프로그램이 차단 목록에 들어가 있지 않은지도 함께 봐 주세요.

관리자·결제 페이지는 그대로 두셔도 됩니다."

참고로 AI를 위한 안내 파일을 따로 두자는 제안도 나와 있지만,

아직 널리 자리 잡았다고 보기는 이릅니다.

지금 챙길 것은 오래전부터 쓰여 온 이 파일 하나입니다.

---

이 점검은 오래 걸리지 않습니다.

주소 뒤에 /robots.txt를 붙여 한 번 열어 보고,

Disallow 줄만 눈으로 확인하면 끝입니다.

이상이 없다면 그것으로 전제가 확인된 것이고,

이상이 있다면 그 한 줄을 푸는 것이 이번 달 할 일 중 가장 값싼 일이 됩니다.

콘텐츠를 더 만들기 전에 1분만 쓰시면 됩니다.

---

## 자주 묻는 질문 (FAQ)

Q. 열어 두면 우리 콘텐츠를 AI가 다 가져가는 것 아닌가요?

읽히지 않으면 인용될 수도 없습니다.

AI 답변에 우리 브랜드가 출처로 걸리기를 바란다면 읽히는 쪽을 택해야 합니다.

다만 전부 아니면 전무는 아니어서,

공개할 이유가 없는 특정 영역만 막아 두는 것도 가능합니다.

무엇을 열고 무엇을 닫을지는 제작사와 함께 정하시면 됩니다.

Q. 확인해 봤더니 파일 자체가 없다고 나옵니다.

문제가 아닙니다.

이 파일이 없다는 것은 막아 둔 규칙이 없다는 뜻이라,

수집 프로그램은 그대로 들어옵니다.

나중에 특정 영역만 막을 일이 생기면 그때 만들면 됩니다.

Q. 열려 있는데도 AI 답변에 우리가 안 나옵니다.

그렇다면 문은 문제가 아니고, 들어와서 읽을 내용 쪽을 봐야 합니다.

핵심 정보가 이미지 안에만 있는지,

손님이 묻는 질문의 답이 여러 자리에 흩어져 있지는 않은지가 다음 점검 지점입니다.

참고로 이 파일이 막는 것은 우리 홈페이지 하나입니다.

플레이스나 후기, 기사처럼 우리 채널 밖에 있는 언급은 그와 무관하게 작동합니다.

---

우리 사이트, 지금 AI가 들어올 수 있는 상태일까요?

애드코퍼레이션이 접근 설정을 포함해 어디가 막혀 있는지 짚어 드립니다.

[무료 GEO 진단 받아보기]

[카카오톡 채널 상담]