[web] 트래픽 아끼는 법 2 - 로봇들이 이미지 파일 등을 긁어가는 거 막는 법

 

 

───────────────────────────────────────────────────────────

 

웹로봇들의 포투 블로그 방문이 잦다. 자주 방문하지 않아도 되는 블로그인 줄 모르는 모양이다. 그러니 알려줄 방법을 찾을 밖에...

66.249로 시작되는 웹로봇은 구글의 것이고 61.247로 시작되는 녀석은 네이버로봇이다.

날마다 꾸준히 들어온다. 웹로봇과 직접 소통할 수 있다면 데려다 앉혀놓고 설명을 해주면 좋으련만,

워낙 제멋대로인 녀석인지라, 끌고 갈 필요없는 파일 확장자를 알려주면 트래픽 소모가 줄어들 것이다.

포털의 웹로봇들이 설치형 블로그를 방문할때는 예의를 지켜야 하는 것은 아닌가 하는 생각도 있다.

블로거들에게 트래픽은 돈이기 때문이다.

웹로봇들은 블로거들의 글을 가져가서 돈벌이로 이용하면서

블로거들에게는 웹로봇들이 소모한 트래픽때문에 웹호스팅회사에 돈을 지불하게 한다. 불합리해 보인다. 

포털이 일부러 설치형 블로그 트래픽을 왕창 소모해서 자사 블로그 서비스로 들어오라고 압력을 가하는 지도 모른다.

이래저래 포털들은 마음에 안드는 구석이 많다.

일단 robots.txt를 작성했다. (작성한 파일을 홈페이지 계정 최상단 폴더에 넣으시면 됩니다)

User-agent: *
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.jpg$
Disallow: /*.bmp$
Disallow: /*.log$
Disallow: /*.xls$

.php와 .js를 못끌고 가게 하면 웹로봇들이 어떤 반응을 보일지 알 수 없다.

디렉토리를 막아 볼까 생각도 있지만 일단 파일 확장자를 막는 것만으로도 충분한 효과를 볼 수 있을 것이다.

웹로봇들이 robots.txt를 무시하지 않는다는 전제에서다.

또, 최근 하루에 한 두 개 정도의 아이피(IP Address)를 계속해서 막고 있다.

오늘은 룩셈부르크와 러시아에 소재한 회사의 아이피였는데, 외국산 IP가 심하게 트래픽을 소모하면 계속해서 막을 것이다.

방문자수가 제로가 돼도 상관없다.

 

출처: FOURTWO 포투가 사는 세상