在寶塔面板通過偽靜態屏蔽垃圾蜘蛛的方法

相信每位站長都很煩那些垃圾蜘蛛和垃圾ip，總是使勁的爬自己的網站，以SemrushBot、SM-G900P等垃圾蜘蛛UA和某個特別熟悉的安卓UA（SM-G900P）為例，它們一天天爬個不停，把服務器cpu爬得通紅都不放過。

下面以寶塔為例，教大家怎么簡單的快速屏蔽垃圾的蜘蛛和垃圾ip。

屏蔽國外蜘蛛我們只需要分三步：

1、打開寶塔的網站管理-點擊你要屏蔽的網站的設置；

2、彈窗出來后點擊偽靜態；

3、復制下方的代碼到里面第一行；

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|SM-G900P)) {return 403;}

     操作成功的圖片如下：

在寶塔面板通過偽靜態屏蔽垃圾蜘蛛的方法

通過上面的一番操作對垃圾蜘蛛返回403錯誤提示，即可有效的屏蔽掉這些垃圾爬蟲了。

查看服務器日志發現，有很多國外的蜘蛛不停的抓取一些其他頁面，比如tag，許多ip段批量的不間斷的抓取，這導致小帶寬服務器壓力太大，訪問緩慢，百度蜘蛛就不再繼續抓取效驗直接告知錯誤，查詢后發現這些蜘蛛全是國外的各類型蜘蛛對于我們來說一點作用都沒有，簡直就是浪費帶寬，沒用就禁了它。下面說說方法，我也是網上查詢到的，看來是比較管用的

寶塔面板下使用方法如下：

1、找到文件目錄/www/server/nginx/conf文件夾下面，新建一個文件命名：agent_deny.conf 你也可以隨意起名，創建完文件后，點擊編輯這個文件，把下面的代碼放進去保存。

#禁止Scrapy等工具的抓取

if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
     return 403;
}
#禁止指定UA及UA為空的訪問
if ($http_user_agent ~* "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot|^$" ) {
     return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
    return 403;
}

如圖：

2、找到網站設置里面的第7行左右 寫入代碼：

include agent_deny.conf;

添加完畢后保存，重啟nginx

如果你網站使用火車頭采集發布，使用以上代碼會返回403錯誤，發布不了的。如果想使用火車頭采集發布，請使用下面的代碼

#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
     return 403;
}
#禁止指定UA訪問。UA為空的可以訪問，比如火車頭可以正常發布。
if  ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot" ) {
    return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
    return 403;
}