【代理IP知识问答】如何识别今日头条的爬虫?
蜻蜓代理 · 6年前 · 1318字事情是这样的,通过 dns 解析获取到头条服务端的 ip。然后我在服务器的日志上有这个 ip 段的 ip 的请求。 目前,有两个不同的 User-Agent,分别是: 请求数大概每小时140到200个这样子。 通过这些信息,能否确定就是今日头条的爬虫? 不能通过上面的信息确定就是今日头条的爬虫。 主要两点: 你说的那两个 User-Agent,都是普通浏览器的 User-Agent。一般来说,正规的爬虫都是表明自己的身份。 比如谷歌的爬虫,就是:问题
解答
1楼(蜻蜓代理用户)
2楼(匿名网友)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
。百度的爬虫,就是:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
。
转载请注明
- 蜻蜓代理 - 【代理IP知识问答】如何识别今日头条的爬虫?
- 头条号 - 蜻蜓软件
- 微信公众号:蜻蜓软件(qingtingsoft)