요새, 제 홈페이지 방문자 수에 비해 트래픽이 너무 많이 차지해 분석을 해보니,,,구글 로봇이 거의 대부분의 트래픽을 유발하더군요..
구글 로봇이 제 홈페이지에 있는 글을 긁어가서 신규회원이 유입되는 좋은 측면도 있지만, 너무 과도하게 긁어가 트래픽 초과를 유발합니다.
아래 적어진 것처럼, 홈페이지 운영하는 사람에겐 트래픽이 돈인데 말이죠...
트래픽이란 홈페이지에 올려진 글이나 이미지 또는 동영상 등의 정보와 자료가 방문객에게 흘러간 양을 말합니다.
이런 트래픽은 홈페이지 개설자가 호스팅 서비스를 하는 업체에 일정량을 구입해 사용하는 형식으로 이루어지죠...
제 홈페이지 경우, 실 방문자수는 그리 많지 않기 때문에 트래픽을 많이 구입하지 않았는데
요새,,구글 로봇 3 마리가 과도하게 트래픽 양을 유발하네요...
그래서, 저도 위 방법을 참고해 로봇들이 일부 자료를 못긁어가게 막았어요..
하지만, 로봇들이 robots.txt 에 적힌 명령을 준수한다는 전제이기 때문에, 잘 지켜질지는 미지수입니다.
───────────────────────────────────────────────────────────
웹로봇들의 포투 블로그 방문이 잦다. 자주 방문하지 않아도 되는 블로그인 줄 모르는 모양이다. 그러니 알려줄 방법을 찾을 밖에...
66.249로 시작되는 웹로봇은 구글의 것이고 61.247로 시작되는 녀석은 네이버로봇이다.
날마다 꾸준히 들어온다. 웹로봇과 직접 소통할 수 있다면 데려다 앉혀놓고 설명을 해주면 좋으련만,
워낙 제멋대로인 녀석인지라, 끌고 갈 필요없는 파일 확장자를 알려주면 트래픽 소모가 줄어들 것이다.
포털의 웹로봇들이 설치형 블로그를 방문할때는 예의를 지켜야 하는 것은 아닌가 하는 생각도 있다.
블로거들에게 트래픽은 돈이기 때문이다.
웹로봇들은 블로거들의 글을 가져가서 돈벌이로 이용하면서
블로거들에게는 웹로봇들이 소모한 트래픽때문에 웹호스팅회사에 돈을 지불하게 한다. 불합리해 보인다.
포털이 일부러 설치형 블로그 트래픽을 왕창 소모해서 자사 블로그 서비스로 들어오라고 압력을 가하는 지도 모른다.
이래저래 포털들은 마음에 안드는 구석이 많다.
일단 robots.txt를 작성했다. (작성한 파일을 홈페이지 계정 최상단 폴더에 넣으시면 됩니다)
User-agent: *
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.jpg$
Disallow: /*.bmp$
Disallow: /*.log$
Disallow: /*.xls$
.php와 .js를 못끌고 가게 하면 웹로봇들이 어떤 반응을 보일지 알 수 없다.
디렉토리를 막아 볼까 생각도 있지만 일단 파일 확장자를 막는 것만으로도 충분한 효과를 볼 수 있을 것이다.
웹로봇들이 robots.txt를 무시하지 않는다는 전제에서다.
또, 최근 하루에 한 두 개 정도의 아이피(IP Address)를 계속해서 막고 있다.
오늘은 룩셈부르크와 러시아에 소재한 회사의 아이피였는데, 외국산 IP가 심하게 트래픽을 소모하면 계속해서 막을 것이다.
방문자수가 제로가 돼도 상관없다.
