홈페이지 또는 웹사이트를 운영하고 있다면 내가 보유하고 있는 웹 사이트를 다양한 검색엔진에 검색되어지는 것을 원하실 겁니다.

최근 검색엔진이 좋아져서 페이지 몇 개 등록하고 나면 다른 검색에도 자동 노출되긴 하지만 정확하게 등록하기 위해서는 웹 마스터도구나 검색 등록을 이용하게 됩니다. 이러한 검색엔진은 지속적으로 홈페이지에 방문하여 사이트 정보와 변경된 페이지 또는 링크 정보를 수집하여 사용자에게 원하는 정보를 찾을 수 있도록 해 줍니다.

좋은 검색엔진은 어떤 게 있을까요?

어느 정도 공신력이 있으면서 많이 사용하고 있는 검색엔진에 사용하고 있는 웹 클롤러를 소개합니다. 크롤러라는 게 웹페이지 링크나 내용을 분석 데이터베이스로 만들어 검색엔진에서 사용자가 결과를 볼 수 있는 데이터가 됩니다.

나쁜 검색엔진이라?

나쁜 검색엔진을 차단하는 방법은?

웹사이트의 robots.txt 파일에서 아래와 같이 특정 검색엔진을 차단할 수 있습니다. 아래와 같이 설정하면 구글 검색 로봇 허용, 네이버 검색 로봇 허용 이외 검색 로봇 차단으로 설정 됩니다. 여러가지 옵션이 있으므로 이전에 작성한 글 https://www.opm.kr/story/1/16 을 참고하면 추가 조건을 볼 수 있습니다.

User-agent: Google
Disallow:
User-agent: Yeti
Allow:/
User-agent : *
Disabllow: /

해외에 개인정보 노출을 차단하고 싶거나 트레픽 리소스 비용을 절약하고 싶다면 차단하는 걸 권장합니다.

일반적인 호스팅 사이트에서는 방화벽을 통해 차단이 되고 있을 수 있습니다.