구글 검색 노출시키는 방법, '색인 생성'이 안 되는 이유는?

블로그나 쇼핑몰, 포트폴리오 사이트를 만들고 나면 누구나 한 번쯤 이런 고민을 해보셨을 겁니다. “왜 내 사이트는 구글 검색에 잘 안 나올까?”
 
검색엔진 최적화(SEO)를 아무리 잘한다고 해도, 구글이 내 사이트를 ‘읽지’ 못하거나, ‘기록하지’ 않으면 검색 노출은 어렵기 마련인데요. 그래서 준비했습니다.
 
이번 글에서는 구글의 크롤링과 색인 생성이 어떻게 이뤄지는지, 또한 그 과정에서 어떤 실수가 자주 발생할 수 있는지 살펴보도록 하겠습니다.

크롤링과 색인 생성의 차이

먼저, 개념부터 정확히 이해하는 것이 중요합니다. 구글은 검색을 노출시키기 전에, '크롤링'과 '색인 생성'이라는 작업을 진행합니다.

• 크롤링(Crawling): 구글의 로봇(크롤러)이 웹페이지를 ‘방문’하여 내용을 수집하는 작업
• 색인 생성(Indexing): 수집한 정보를 구글 검색 데이터베이스에 ‘저장’하고, 검색결과에 노출할 수 있게 만드는 작업

즉, 크롤링은 방문 확인, 색인은 저장이라고 생각하시면 됩니다. 구글 검색에 사이트가 보이려면 두 단계 모두 성공적으로 진행되어야 합니다.

구글 검색에 사이트를 노출시키는 방법

구글은 자동으로 웹사이트를 찾아다니며 정보를 수집합니다. 하지만 구글이 꼭 내 사이트를 알아서 찾아준다는 보장은 없습니다. 따라서, 다음과 같은 방법으로 검색 가능성을 높일 수 있습니다.

1. 사이트맵 제출

구글 서치 콘솔(Google Search Console)에 로그인해 사이트맵(XML 파일)을 제출하면, 구글이 사이트 구조를 더 잘 파악할 수 있습니다.

2. 링크 연결 확인

다른 웹사이트에서 내 사이트로 향하는 외부 링크 즉, 백링크가 있으면, 구글이 더 쉽게 내 사이트를 찾습니다. 그러나 외부에서 연결되지 않은 고립된 웹페이지는 저품질로 간주되어 크롤링이 어려울 수 있습니다.

3. www와 non-www 버전 모두 확인

www.example.com과 example.com은 서로 다른 URL로 인식됩니다. 둘 다 서치 콘솔에에 등록되어 있어야 구글이 크롤링 및 색인을 진행합니다.

검색 노출, 색인이 안 될 때 확인 사항

구글이 내 웹사이트를 찾지 못하거나, 찾아서 크롤링을 했더라도 색인이 안 되는 경우가 있습니다. 이유는 다양하지만, 보통은 다음과 같은 문제 때문입니다.

1. 사이트가 최근에 새롭게 만들어진 경우

제작한 지 얼마 안 된 웹사이트는 시간이 좀 지나야 색인이 생성됩니다. 구글에서도 해당 웹사이트가 안전한지, 신뢰할 수 있을만한지 판단할 시간이 필요하기 때문입니다.

2. 사이트 백링크가 부족할 경우

해당 웹사이트가 외부 링크가 적거나 아예 없으면, 구글이 내 사이트를 노출시키지 않을 수 있습니다. 따라서, 신뢰할 수 있는 사이트에 백링크가 수집되는 것이 유리합니다.

3. robots.txt나 메타 태그로 크롤링 차단 설정이 되어 있는 경우

실수로 noindex, nofollow, 또는 robots.txt 설정이 되어 있다면, 구글은 해당 페이지를 읽지 않습니다. 해당 설정이 정확한지 확인해보세요.

4. 사이트가 일시적으로 다운되어 있었던 경우

크롤링 시점에 서버 오류가 났다면, 서치 콘솔에서 ‘크롤링 오류’가 표시됩니다. 서치 콘솔에 접속하여, 현재 어떠한 상황에 처해있는지 자세히 확인해보세요.

5. 스팸으로 간주되었거나 해킹 흔적이 있는 경우

이전에 해당 도메인이 악성 콘텐츠를 호스팅했던 이력이 있다면, 구글이 신뢰하지 않을 수 있습니다. 이럴 때는 별다른 방법이 없으며, 새롭게 도메인과 계정을 만드는 것이 좋을 수도 있습니다.

중복 콘텐츠는 불이익일까?

많은 분들이 걱정하는 부분이 바로 중복 콘텐츠 문제입니다. 동일하거나 유사한 콘텐츠가 여러 URL에 퍼져 있으면 불이익을 받는다고 알고 계신데요.
 
구글은 공식적으로 "중복 콘텐츠는 스팸으로 간주하지 않습니다."라고 발표한 바 있습니다. 다만, 중복이 너무 많으면 구글이 어떤 URL을 우선 색인할지 판단하기 어려워지기 때문에 '표준 페이지(canonical)' 설정을 통해 우선순위를 지정해주는 것이 좋습니다.

도메인을 이전한 경우, 조치 사항

두 개의 도메인에서 동일한 콘텐츠를 운영하고 있다면, 구글에 어떤 주소를 '대표'로 할 것인지 알려줘야 합니다. 이럴 때는 301 리디렉션을 사용해주시면 됩니다.

• 예를 들어, example2.org → example.com 으로 301 리디렉션을 설정할 수 있습니다.
• 이렇게 하면 검색엔진이 콘텐츠의 주 도메인을 정확히 이해하고, 기존에 쌓아둔 검색 신뢰도 및 페이지 랭크도 이전됩니다.

자주 묻는 질문 모음 (FAQ)

Q. 페이지 내용을 일부 수정했는데, 검색 결과가 업데이트되지 않습니다.

A. 구글이 해당 페이지를 다시 크롤링하고 색인을 업데이트하기까지 시간이 걸릴 수 있습니다. 서치 콘솔에서 ‘URL 검사’ 기능으로 재크롤링을 요청할 수 있습니다.

Q. PHP, ASP 같은 동적 페이지도 구글이 인식하나요?

A. 네, 특별한 설정 없이도 브라우저에서 정상적으로 보이는 웹페이지라면 구글은 문제 없이 크롤링하고 색인할 수 있습니다.

Q. 프레임, 마스크된 리디렉션을 사용하면 문제가 될까요?

A. 일반적으로 콘텐츠를 직접 호스팅하는 것이 SEO에 유리합니다. 프레임 기반 사이트는 색인에 어려움이 있을 수 있습니다.

마치며

구글에 내 웹사이트를 잘 노출시키고 싶다면, 단순히 콘텐츠만 잘 만드는 것만이 중요한 것이 아닙니다. 구글이 어떻게 내 사이트를 읽고 이해하고 저장하는지를 아는 것이 중요하며, 이에 알맞게 노출 전략을 고민하는 것이 좋습니다.
 
가장 간편하면서도 효과적인 방법은 서치 콘솔을 적극적으로 활용하고, 이곳에서 제공되는 리포트를 바탕으로 기술적 요소들을 꼼꼼히 점검하는 것입니다.