• 회원가입
  • 로그인
  • 구글아이디로 로그인

[web] 트래픽 아끼는 법 2 - 로봇들이 이미지 파일 등을 긁어가는 거 막는 법

5,592  




 
요새, 제 홈페이지 방문자 수에 비해 트래픽이 너무 많이 차지해 분석을 해보니,,,구글 로봇이 거의 대부분의 트래픽을 유발하더군요..
구글 로봇이 제 홈페이지에 있는 글을 긁어가서 신규회원이 유입되는 좋은 측면도 있지만, 너무 과도하게 긁어가 트래픽 초과를 유발합니다.
 
아래 적어진 것처럼, 홈페이지 운영하는 사람에겐 트래픽이 돈인데 말이죠...
트래픽이란 홈페이지에 올려진 글이나 이미지 또는 동영상 등의 정보와 자료가 방문객에게 흘러간 양을 말합니다.
이런 트래픽은 홈페이지 개설자가 호스팅 서비스를 하는 업체에 일정량을 구입해 사용하는 형식으로 이루어지죠...
제 홈페이지 경우, 실 방문자수는 그리 많지 않기 때문에 트래픽을 많이 구입하지 않았는데
요새,,구글 로봇 3 마리가 과도하게 트래픽 양을 유발하네요...
그래서, 저도 위 방법을 참고해 로봇들이 일부 자료를 못긁어가게 막았어요..
 
하지만, 로봇들이 robots.txt 에 적힌 명령을 준수한다는 전제이기 때문에, 잘 지켜질지는 미지수입니다. 
 
───────────────────────────────────────────────────────────
 
웹로봇들의 포투 블로그 방문이 잦다. 자주 방문하지 않아도 되는 블로그인 줄 모르는 모양이다. 그러니 알려줄 방법을 찾을 밖에...


66.249로 시작되는 웹로봇은 구글의 것이고 61.247로 시작되는 녀석은 네이버로봇이다.
날마다 꾸준히 들어온다. 웹로봇과 직접 소통할 수 있다면 데려다 앉혀놓고 설명을 해주면 좋으련만,
워낙 제멋대로인 녀석인지라, 끌고 갈 필요없는 파일 확장자를 알려주면 트래픽 소모가 줄어들 것이다.

포털의 웹로봇들이 설치형 블로그를 방문할때는 예의를 지켜야 하는 것은 아닌가 하는 생각도 있다.
블로거들에게 트래픽은 돈이기 때문이다.
웹로봇들은 블로거들의 글을 가져가서 돈벌이로 이용하면서
블로거들에게는 웹로봇들이 소모한 트래픽때문에 웹호스팅회사에 돈을 지불하게 한다. 불합리해 보인다. 

포털이 일부러 설치형 블로그 트래픽을 왕창 소모해서 자사 블로그 서비스로 들어오라고 압력을 가하는 지도 모른다.
이래저래 포털들은 마음에 안드는 구석이 많다.

일단 robots.txt를 작성했다. (작성한 파일을 홈페이지 계정 최상단 폴더에 넣으시면 됩니다)

User-agent: *
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.jpg$
Disallow: /*.bmp$
Disallow: /*.log$
Disallow: /*.xls$

.php와 .js를 못끌고 가게 하면 웹로봇들이 어떤 반응을 보일지 알 수 없다.
디렉토리를 막아 볼까 생각도 있지만 일단 파일 확장자를 막는 것만으로도 충분한 효과를 볼 수 있을 것이다.

웹로봇들이 robots.txt를 무시하지 않는다는 전제에서다.

또, 최근 하루에 한 두 개 정도의 아이피(IP Address)를 계속해서 막고 있다.
오늘은 룩셈부르크와 러시아에 소재한 회사의 아이피였는데, 외국산 IP가 심하게 트래픽을 소모하면 계속해서 막을 것이다.

방문자수가 제로가 돼도 상관없다.
 

분류 제목
talk 1980년대 외계의 착한 드론 로봇과 나쁜 악당 드론 로봇이 등장하는 미국드라마 제목 새글
talk 그누보드 (냑: sir.kr) 자유게시판 로그아웃 상태에서 특정 차단회원글 필터링해서 안보이게 숨기기 새글 [3레벨] 
talk 삼성마우스휠 굴릴 때 한쪽으로 안 치우치게 굴리세요.
talk 어느새 실력이 늘어서... 1
ucc 거짓말 하면 코 길어진다고 사기 당하는 꼬마 소녀
sports 손흥민 미국 진출 1호골 (중거리 프리킥 골)
dance 중독성 있는 싱가포르 에어라인 댄스
girl 사자 걸즈 (Saja Girls)
talk 케데몬 영어 노래 KPOP이라고 할 수 있을까?
dance 조이 님 블랙핑크 뛰어 댄스 커버
1/163
목록
찾아주셔서 감사합니다. Since 2012