【代理IP知识问答】爬虫如何突破后端的频率限制?
蜻蜓代理 · 6年前 · 742字我用 Node.js 写了一个豆瓣爬虫,爬取豆瓣电影。现在抓取数据很慢,大概一分钟爬虫35条数据。怎么突破这种限制? 豆瓣服务器对爬虫的限制,是基于 IP 的限制。所以,只要你使用代理IP,不断切换代理IP,就能突破这种限制。 可以购买蜻蜓代理的私密代理,用动态IP来解决这个问题。问题
解答
1楼(匿名网友)
2楼(蜻蜓代理用户)
转载请注明
- 蜻蜓代理 - 【代理IP知识问答】爬虫如何突破后端的频率限制?
- 头条号 - 蜻蜓软件
- 微信公众号:蜻蜓软件(qingtingsoft)