아파치 BLEXBot 차단하기



Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)


위의 유저에이전트로 너무 많은 로그가 발생해서 확인을 해봤습니다.



[root@vps httpd]# cat www.example.com-access_log | grep "136.243.36.84" | wc -l

36819

[root@vps httpd]# cat www.example.com-access_log | wc -l

100993

[root@vps httpd]# cat www.example.com-error_log | grep "136.243.36.84" | wc -l

9465

[root@vps httpd]# cat www.example.com-error_log | wc -l

14270


access_log 에서 1/3 넘게 error_log 에서는 절반 넘게 차지하는군요~


뭐하는 사이트인지를 모르겠지만 트래픽 부담이 만만치 않는 것 같습니다.


방화벽에서 차단하기 전에 크롤러니깐 robots.txt 에 아래 내용을 추가해 보았습니다.


User-agent: BLEXBot

Disallow: /


위 내용을 저장하고 얼마 지나지 않아서 robots.txt 파일을 긁어 가더니 그 뒤로는 크롤링을 하지 않는군요~


그래도 말을 잘 듣는 로봇인가봅니다.


블로그 이미지

영은파더♥

가상서버호스팅 VPS 리눅스 서버관리 윈도우 IT

,