我們在做爬蟲的過程中經常會遇到這樣的情況。一開始爬蟲運行正常，抓取數據正常，一切看起來都那么美好。然而稍不注意可能就出錯了，比如被ip被禁，那么快速找出解決http爬蟲被封IP的四個方法。

 

1.方法。

 

不管你想收藏什么樣的網站，http代理ip肯定是必須的，但需要注意的是，你必須使用國內的代理ip，可以直接從ip在線代理地址購買。但一定要可靠。這樣做的優點是:

 

一是程序邏輯變化小，只需要代理功能。

 

二是可以根據對方網站屏蔽規則的不同，購買不同的ip代理。

 

第三，假設你當前使用的代理ip被對方網站屏蔽，你可以在不改變程序邏輯的情況下更改IP。

 

2.方法。

 

少數網站防范措施薄弱。您可以偽裝從代理IP服務提供商處購買的IP，并修改X-forward-for，這可以繞過。

 

大多數網站，如果你想頻繁抓取，通常需要更多的IP。我比較喜歡的解決方案是直接購買飛蟻動態轉發的HTTP代理ip。

 

3.方法。

 

ADSL+腳本，監控是否阻塞，然后不斷切換ip。

 

設置查詢頻率限制

 

正統的方式是調用這個網站提供的服務接口。

 

4.方法。

 

1用戶代理偽裝和輪換

 

2使用代理ip和循環

 

3 cookies處理，部分網站對登錄用戶有較為寬松的策略。