IP地址作为网民在网络中的身份标识,而代理IP的作用是隐藏我们的真实IP地址,让我们换个身份上网。在爬虫业务中,为了顺利爬取资源,代理IP可以说是必备资源。

在程序采集数据的过程中,如果被采集的网站由采取一些反爬虫机制,我们的真实IP地址很可能被直接封禁。这个时候,爬虫需要及时更换IP。可以在网上抓取免费IP。比如 GitHub 的开源代理池项目:jhao104/proxy_pool。或者购买专业的代理IP服务。对代理IP要求比较高的用户,建议使用后者。


转载请注明