技术实战

写爬虫最头疼的事之一，就是跑着跑着 IP 被封了。用单 IP 硬撑，频率稍微高一点目标站就给你返回 403 或者验证码，效率直线下降。解决办法很直接——搭一个本地代理池，多 IP 轮换着用。下面分享一个我自己在用的方案...

问题 大家说说工作中，你们使用的反爬虫策略有哪些？ 解答 1楼（匿名网友） 常见的反爬虫策略，我了解的有如下几种： 验证码； cookie/token 身份识别； 根据客户端IP地址，限制请求频率； 接口验签； 使用图形验证...

问题 网上搜索了下，推荐用 Squid，但不清楚怎么使用。Squid 怎么搭建高匿名的代理服务？或者有其他更方便的工具可以搭建的。 解答 1楼（匿名网友） Squid 如何搭建代理服务，可以参考这篇文章 - Squid 配置高匿名代...

问题 如题。 解答 1楼（蜻蜓代理用户） 很简单，下面三种方式都可以做到： 第一种 bind ip1 ip2 第二种 bind ip1bind ip2 第三种 bind 0.0.0.0 不推荐使用第三种，不安全

问题 我用 Node.js 写了一个豆瓣爬虫，爬取豆瓣电影。现在抓取数据很慢，大概一分钟爬虫35条数据。怎么突破这种限制？ 解答 1楼（匿名网友） 豆瓣服务器对爬虫的限制，是基于 IP 的限制。所以，只要你使用代理IP，不...

问题 我们公司局域网内需要配置HTTP代理才能正常上网，而且做了上网限制，一些网站访问不了。 如何突破这种限制？ 解答 1楼（蜻蜓代理用户） 想到一个办法，不知道能不能解决： 搭建一个外部 HTTP Web 服务器 A，解...

问题 问题如上。 解答 1楼（未知网友） 免费版试试看 whistle，基于 Node.js。付费版可以试试看 Charles，支持 Windows、macOS、Linux 这三个主流平台。 其实，这里和 iOS 或者 Android 设备都没有关系。只要在手机...

问题 事情是这样的，通过 dns 解析获取到头条服务端的 ip。然后我在服务器的日志上有这个 ip 段的 ip 的请求。 目前，有两个不同的 User-Agent，分别是： Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebK...

问题描述 小弟负责开发公司的一个短信发送功能。近日，发现短信接口被攻击者恶意调用，使用的 User-Agent 是 curl，每次使用的 IP 地址不一样，每日 POST 发送过来的手机号码也不一样。 我猜测，攻击者是使用代理IP...

问题 目前，已经完成爬虫的雏形，可以正常的抓取、解析和存储数据了。 但是，在爬取一段时间后（通过是爬取几十个网页），就会出现403错误（Forbidden）。 之后，需要等待一段时间才能再继续抓取。有什么爬虫能突破...