쇼핑몰이 검색 결과에 잘 노출되려면 지속적으로 웹을 탐색하면서 새로운 페이지를 찾는 검색엔진의 크롤러가 

쇼핑몰의 페이지를 쉽게 크롤링(수집)하고 색인을 만들 수 있도록 사이트 정보를 정돈하는 작업이 필요합니다.

1. 사이트 발견되게 하기 – robots.txt

내 쇼핑몰이 검색엔진에서 검색되도록 하기 위한 첫 번째 단계는 웹 크롤러(검색로봇)에게 발견될 수 있도록 하는

것입니다. 이를 위해 필요한 작업이 robots.txt 파일을 활용해 검색로봇의 접근을 허용하고 접근 범위를 관리자의

의도에 맞게 설정하는 것입니다. 

고도몰5 쇼핑몰 관리자 페이지 내 기본설정 > 기본정책 > 검색엔진 최적화(SEO) 설정 섹션에서

민감한 정보거나 크롤링이 불필요한 페이지를 크롤링되지 않도록 URL을 개별적으로 정할 수 있습니다.

차단하는 URL은 해당하는 반드시 User-agent: 내용 아래 기재해주어야 정상적으로 차단됩니다. 

이외 추가 예시가 필요하시면 구글 검색 센터의 robots.txt 규칙을 학습해주세요.

robot.txt 규칙 알아보기

작성한 내용은 robotx.txt 테스터를 통해 검색로봇이 제대로 하단/허용되는지 확인할 수 있습니다. 

예를들어 구글 검색에서 차단하고 싶은 어드민 페이지의 URL이 Googlebot에게 제대로 차단되었는지,

반대로 허용한 경로가 정상적으로 크롤링 되는지도 확인할 수 있습니다.  

robots.txt 테스터

실제 적용한 내용은 (쇼핑몰 주소)/robots.txt 페이지에서 확인 가능합니다.

2. 사이트맵으로 사이트 정보 업데이트하기