做爬蟲工作的伙伴都知道，不同的網站有不同的反爬蟲策略，需要具體情況具體分析，制定相應的爬蟲策略。雖然爬蟲策略有上千萬種，但一般網站基本都是向用戶請求頭部、用戶訪問行為、網站目錄、數據加載模式打擊爬蟲的三個方面，下面是精靈ip代理帶我們分析一下。

一、用戶請求的標題

根據用戶請求的標題，反爬蟲是最常見的反爬蟲策略。許多網站會檢測標題和用戶-代理，有些網站會檢測Referer(一些資源網站的防盜鏈就是檢測推薦人)等。

標頭的反爬行策略通常很容易處理。比如對于用戶代理IP的反抓取策略，我們可以收集很多用戶代理，然后隨機調用。還可以很好的處理Referer值的反抓取策略，可以將值改為目標網站的域名。

二、用戶訪問行為

大多數網站都制定了基于用戶的反爬蟲策略訪問行為，畢竟他們會直接加載服務器。一般來說:可以從兩個方面來判斷一是同一個IP在短時間內多次訪問同一個頁面，二是同一個賬號在短時間內多次執行同一個操作。

第一種情況不難處理，可以選擇使用代理IP來解決。比如站內精靈IP代理的短期優質代理，一手私人代理，專屬IP池，都可以很好的完成工作。

第二章的情況也可以處理好。在每個請求之后，下一個請求以幾秒鐘的隨機間隔發送。為什么要隨機？因為不規則休眠更符合真實用戶的訪問行為。

三、數據加載模式

我們知道，網站界面大多是靜態頁面(也就是說，你可以在瀏覽器中看到源代碼)(或者推送技術等方法)獲得，對于爬行動物來說比較麻煩。

解決方案:首先，用Firebug或Fiddler分析網絡請求。找到ajax的請求url，用Python模擬請求得到需要的數據。但是有些網站把ajax請求的所有參數都加密了，我們只能用動態渲染頁面信息來捕捉。

精靈IP代理以上是網站最常見的三種高級反爬策略，當然還有一些其他的反爬策略，比如驗證碼，這就需要爬蟲工程師根據實際情況制定爬蟲策略。