홈페이지에는 있는데, AI는 왜 내용을 못 읽을까요?

ChatGPT에 회사 이름을 넣었는데 엉뚱한 설명이 나오거나, 아예 모른다는 답이 돌아올 때가 있습니다. 홈페이지에는 다 적어 둔 내용인데도요. 이럴 때 저희는 홈페이지에 글자가 어떤 형태로 들어가 있는지부터 봅니다. AI 서비스의 수집 로봇 중에는 스크립트를 실행하지 않고 원본 HTML을 읽는 로봇도 있거든요. 그런데 홈페이지 제작은 시안도 검수도 화면으로 하다 보니, 원본에 무엇이 남는지는 제작 조건에 적어 두지 않으면 아무도 확인하지 않고 지나가게 돼요.

AI는 로봇을 보내서 글자를 가져가요

AI 서비스는 수집 로봇(크롤러)이라는 프로그램을 보내서 홈페이지 내용을 가져갑니다. OpenAI가 공개한 문서를 보면 ChatGPT 쪽 로봇은 셋인데, 학습 자료를 모으는 로봇과 ChatGPT 검색에 보여 줄 사이트를 찾는 로봇, 그리고 사용자가 질문한 순간 페이지를 열어 보는 로봇이에요. 홈페이지를 검색 결과나 답변에 활용하는 경로가 서로 다르므로, 어떤 로봇의 접근을 허용할지도 나눠 볼 수 있어요.

화면은 브라우저가 나중에 그린 거예요

서버가 보내 주는 건 원본 문서(HTML)인데, 연극으로 치면 대본에 해당해요. 브라우저가 이 대본에 글꼴을 입히고 사진을 놓고, 스크립트라는 작은 프로그램을 돌려 움직임까지 더한 결과가 우리가 보는 화면이고요.

구글 검색 로봇은 브라우저처럼 화면까지 그려 본 뒤에 읽는 편입니다. 구글은 페이지를 가져오기, 화면 그리기, 등록 세 단계로 처리한다고 설명하는데, 같은 문서에 "모든 로봇이 자바스크립트를 실행할 수 있는 것은 아니다"라는 말도 적어 놨어요.

실제로 2024년 12월 Vercel의 조사에서 OpenAI의 로봇은 스크립트를 실행하지 않고 원본만 가져갔습니다. 2년 가까이 지난 조사라 지금은 달라졌을 수 있지만, 구글 문서의 그 문장은 2026년 3월 개정판에도 그대로 남아 있어요.

화면에는 있는데 원본에는 없는 것들

잘 만든 사이트라고 예외는 아니더라고요. 검색 최적화가 잘 된 편인 한 의원 사이트를 저희가 진단해 봤는데, 대제목 자리에 로고 그림만 있고 글자는 0자였습니다.

구글은 AI용 파일을 따로 요구하지 않아요

구글은 AI 개요와 AI 모드에 나오기 위한 추가 요구사항이나 특별한 최적화는 없다고 밝혔습니다. 새로운 기계용 파일이나 AI용 텍스트 파일, 특수한 구조화 데이터도 필요 없다고 했고요. 권장 사항도 기존 검색과 같은데, 로봇 접근을 막지 말고, 중요한 내용은 글자로 두고, 기계용으로 적은 정보가 화면 내용과 일치하게 하라는 정도예요.

화면을 검수할 때 중요한 정보가 원본 문서에도 남는지 함께 확인하면 됩니다. 같은 화면이라도 글자로 짤 수 있고 이미지 한 장으로 짤 수도 있는데, 완성된 화면만 봐서는 구분이 안 되거든요. 제작할 때 빠뜨리면 이미지 속 글자를 다시 입력하고 제목과 목록을 다시 잡아야 해서, 나중에 보완할 일이 늘어날 수 있어요.

제작 조건에 적을 네 가지

1. 로봇 접근 — 홈페이지에는 로봇 출입을 정하는 파일(robots.txt)이 있습니다. OpenAI 문서에 따르면 검색용 로봇을 허용하는 것은 ChatGPT 검색에서 콘텐츠가 활용될 수 있도록 하는 접근 설정인데요. 허용만으로 인용이 보장되지는 않습니다. 막을지 말지는 회사가 정하면 되지만, 제작사가 기본값으로 막아 둔 건 아닌지는 한 번 확인해 둘 만해요.
2. 글자로 넣을 정보 — 회사 소개, 서비스 내용, 영업시간, 주소, 전화번호가 여기에 해당합니다. 디자인은 그 글자 위에 입히면 되고요.
3. 제목과 목록의 형식 — 페이지의 주제를 설명하는 제목을 명확히 두고, 나열하는 정보는 모양만 목록처럼 꾸미는 데서 그치지 말고 코드에서도 목록으로 만들어야 합니다. 로봇은 이 표시를 보고 어디서 어디까지가 한 묶음인지 파악하거든요.
4. 구조화 데이터 — 회사 이름, 주소, 전화번호를 기계가 읽는 형식으로 한 번 더 적어 주는 건데, 화면에는 보이지 않고 제작사가 페이지 코드 안에 넣습니다. 구글은 이걸 페이지의 의미를 알려 주는 명확한 단서라고 설명해요. 다만 순서는 마지막입니다. 구조화 데이터가 실제 본문을 대신하지는 않으니까요.

AI용 안내 파일로 자주 거론되는 llms.txt는 llms.txt, AI 검색 노출에 꼭 필요할까?에서 따로 다뤘어요.

소스 보기로 확인하는 법

내 브라우저가 받은 원본은 직접 열어 볼 수 있는데, PC 크롬 기준으로는 이렇게 하면 됩니다. 서비스에 따라 일반 방문자와 검색 로봇에게 다른 HTML을 줄 수 있으므로 이 확인만으로 로봇이 받는 내용까지 같다고 판단하지는 않습니다.

• 홈페이지 빈 곳을 오른쪽 클릭해 페이지 소스 보기를 연다
• Ctrl+F(맥은 Cmd+F)로 회사 전화번호를 찾는다 — 하이픈 있는 형태와 없는 형태 둘 다
• 영업시간이나 대표 서비스 이름도 찾아본다
• 화면으로 돌아와 영업시간표를 마우스로 드래그해 글자가 선택되는지 본다

영어와 기호가 빽빽한 화면이 떠서 당황스러울 수 있는데 읽을 필요는 없고, 여기서 검색이 되면 원본에 해당 문자열이 있다는 뜻이에요. 다만 스크립트의 데이터에만 들어 있을 수도 있으므로, 본문으로 읽히는지까지 제작사에 확인하는 편이 좋아요. 화면에는 있는데 소스에 없다면 제작사에 이렇게 물어보면 됩니다. "전화번호·영업시간·주소가 최초 HTML 본문에 있는지, 스크립트 실행 후 나타나는지, 검색 로봇에게는 무엇이 전달되는지 확인해 주세요."

내용은 맡긴 쪽이 채워야 해요

자주 묻는 질문과 답, 정확한 영업시간과 가격은 회사만 아는 정보입니다. 제작사가 초안을 도울 수는 있어도 사실을 대신 정해 줄 수는 없거든요. 그래서 어느 쪽이 무엇을 준비하는지는 계약서에 적어 두는 편이 좋아요. 계약 때 함께 볼 항목은 홈페이지 제작 계약 전 꼭 확인할 10가지에 정리해 뒀습니다.