由于公司的需要項目，需要收集各種地圖數據和一些大型網站數據。那么，爬蟲IP被屏蔽了怎么辦？教你如何解決爬蟲被封IP的問題：

精靈IP代理必須要有更多的IP，比如ADSL。有條件的話，其實可以跟機房申請一個外部IP。

使用外部IP在機器上部署代理IP服務器

您的程序使用輪換訓練而不是IP代理服務器來訪問您想要收集的網站。

好處:

程序邏輯變化不大，只需要IP代理函數。

根據其他網站不同的屏蔽規則，你只需要多加幾個代理就可以了。

即使某個特定IP被屏蔽，也可以直接注銷代理服務器到OK，程序邏輯不需要改變。

有少數網站防范措施薄弱，可以偽裝IP，修改x-forward-for?？梢员慌月?。大多數網站如果要經常抓取，通常需要更多的IP。我最喜歡的方案是將國外的VP匹配多個IP，通過默認網關交換實現IP交換，比HTTP代理效率高很多，大部分情況下可能也比ADSL交換效率高。

ADSL腳本，監控是否被屏蔽，然后不斷切換ip。

設置查詢頻率限制

正統的方式是調用這個網站提供的服務接口。

有8年以上爬蟲經驗的人告訴你，ADSL在中國是王道，有很多應用線路分布在很多不同的電信廳，跨省市可以更好。編寫自己的斷開重撥組件，編寫自己的動態IP跟蹤服務，并重置遠程硬件(主要是為了ADSL貓防止它們停下來)，分配其他任務，恢復數據都不是大問題。我的已經穩定運行了幾年，狀況良好！

精靈IP代理網站屏蔽的依據一般是特定IP單位時間的訪問量。我會把收集的任務按照目標站點的IP分組，控制每個IP單位時間發送的任務數量，避免被封。當然這個前提是你收集了很多網站，如果只收藏一個網站，就只能通過多個外部IP來實現。