아파치 BLEXBot 차단하기
Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)
위의 유저에이전트로 너무 많은 로그가 발생해서 확인을 해봤습니다.
[root@vps httpd]# cat www.example.com-access_log | grep "136.243.36.84" | wc -l
36819
[root@vps httpd]# cat www.example.com-access_log | wc -l
100993
[root@vps httpd]# cat www.example.com-error_log | grep "136.243.36.84" | wc -l
9465
[root@vps httpd]# cat www.example.com-error_log | wc -l
14270
access_log 에서 1/3 넘게 error_log 에서는 절반 넘게 차지하는군요~
뭐하는 사이트인지를 모르겠지만 트래픽 부담이 만만치 않는 것 같습니다.
방화벽에서 차단하기 전에 크롤러니깐 robots.txt 에 아래 내용을 추가해 보았습니다.
User-agent: BLEXBot
Disallow: /
위 내용을 저장하고 얼마 지나지 않아서 robots.txt 파일을 긁어 가더니 그 뒤로는 크롤링을 하지 않는군요~
그래도 말을 잘 듣는 로봇인가봅니다.
'LINUX' 카테고리의 다른 글
| CentOS 7.x Apache + MariaDB + PHP 설치 쉘스크립트 (0) | 2017.07.05 |
|---|---|
| 리눅스 아파치 로그 IP 정렬방법 (0) | 2017.07.03 |
| NGINX phpMyAdmin 연결 (0) | 2017.06.26 |
| NGINX https Redirect 방법 (0) | 2017.06.23 |
| NGINX 확장자 html 에서도 php 동작되도록 (0) | 2017.06.23 |
영은파더♥
가상서버호스팅 VPS 리눅스 서버관리 윈도우 IT
