검색로봇을 막는 방법 (robots.txt)
robots.txt파일을 생성해야 하는 이유는 크게 두가지입니다. 트래픽을 조절할 수 있다는 것과 다른 사람에게 알리고 싶지 않는 정보를 보호하기 위해서 입니다. 이 파일의 역할을 당신의 블로그를 방문하는 로봇들에게 사이트를 검색하게 허용할 것인지, 허용한다면 어떤 로봇에게, 어떤 디렉토리를 허용할지를 담고 있는 파일입니다. 윈도우의 경우 메모장을 이용해서 생성하면 되는데요, 파일은 반드시 계정의 최상위(root) 디렉토리에 있어야 합니다. 이를테면 사이트가http://yoonperl.com 이라면 http://yoonperl.com/robots.txt 에 위치해야 합니다. http://yoonperl.com/temp/robots.txt 라면 제대로 작동하지 않습니다. 파일의 내용은 크게 세 부분으로 나..