아파치 BLEXBot 차단하기

아파치 BLEXBot 차단하기

Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)

위의 유저에이전트로 너무 많은 로그가 발생해서 확인을 해봤습니다.

[root@vps httpd]# cat www.example.com-access_log | grep "136.243.36.84" | wc -l

36819

[root@vps httpd]# cat www.example.com-access_log | wc -l

100993

[root@vps httpd]# cat www.example.com-error_log | grep "136.243.36.84" | wc -l

9465

[root@vps httpd]# cat www.example.com-error_log | wc -l

14270

access_log 에서 1/3 넘게 error_log 에서는 절반 넘게 차지하는군요~

뭐하는 사이트인지를 모르겠지만 트래픽 부담이 만만치 않는 것 같습니다.

방화벽에서 차단하기 전에 크롤러니깐 robots.txt 에 아래 내용을 추가해 보았습니다.

User-agent: BLEXBot

Disallow: /

위 내용을 저장하고 얼마 지나지 않아서 robots.txt 파일을 긁어 가더니 그 뒤로는 크롤링을 하지 않는군요~

그래도 말을 잘 듣는 로봇인가봅니다.