眾所周知，爬蟲使用代理IP可以大大提高爬行效率，那么如果爬蟲不使用代理IP，不是不可能嗎？當然不是。沒有人強迫你使用代理IP來幫助爬蟲完成任務。但是我們也知道代理IP對爬蟲很重要，所以我們可以決定是否使用代理IP。

 

在手頭工作量不太大的時候，比如收集一些文章和圖片，這樣的小任務不用代理IP也能解決，一天爬取的量足夠用了。

 

但是當工作量很大的時候，面對龐大的數據庫，爬蟲是不可能一點點爬行的，根本不可能收集到所有的數據信息。如果加速抓取，目標服務器承受不了壓力，就會封掉IP；因為服務器一般不歡迎桀驁不馴的特殊用戶，會使用各種反爬手段來發現和禁止。在這種情況下，不可能使用代理IP。

 

代理IP對于爬蟲來說不是必須的，但是使用代理IP絕對沒有壞處，使用起來也很方便。在爬行過程中，我們需要應對反爬行戰術，了解代理IP，我們可以更好的突破限制，繼續高效的抓取爬蟲。