问题

我用 Node.js 写了一个豆瓣爬虫,爬取豆瓣电影。现在抓取数据很慢,大概一分钟爬虫35条数据。怎么突破这种限制?

解答

1楼(匿名网友)

豆瓣服务器对爬虫的限制,是基于 IP 的限制。所以,只要你使用代理IP,不断切换代理IP,就能突破这种限制。

2楼(蜻蜓代理用户)

可以购买蜻蜓代理的私密代理,用动态IP来解决这个问题。

转载请注明