검색엔진을 위한 robots.txt 쉽게 만드는 방법

시작입니다.

검색엔진의 로봇이 자신의 홈페이지를 방문한다는 것은 어떤 면에서 보면 상당히 좋은 일이다.  하지만, 원하지 않는 경로를 로봇이 찾아 온다면 보안적인 면에서 반가운 일은 아닐 것이다.

robots.txt 파일을 만들어서 홈페이지 제일 상단에 두면 각종 로봇의 유입을 조절 할 수 있다.

http://www.mcanerin.com/EN/search-engine/robots-txt.asp

이 사이트에서 쉽게 만들 수 있다.

User-agent: *
Disallow:

모든 로봇의 유입을 허가 할 경우에 사용

 

User-agent: Googlebot
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: *
Disallow: /

모든 로봇을 차단하고 특정 로봇만 허가 할 때 사용

 

User-agent: *
Disallow:
Disallow: /root
Disallow: /cgi-bin
Disallow: /doc

모든 로봇을 허가하고 특정 경로만 차단 할 때 사용

이런 식으로 응용이 가능하다.  해당 사이트를 잘 참고하면 된다.