【代理IP知识问答】如何切换各个地区的IP地址？
2018-07-09问题尝试过洋葱头（Tor）和网上提供的免费代理IP。使用下来，效果都不满意。解答1楼（匿名用户）Tor 和免费代理IP的的速度都很慢。建议去蜻蜓代理网站购买代理IP。每天都有大量的IP地址可以使用。
【代理IP知识问答】移动宽带是否提供公网IP？
2018-07-09问题问题如上。解答1楼（匿名网友）现在IPV4的地址不够用，只能等IPV6在国内普及了。2楼（蜻蜓代理用户）先看看你办理宽带的时候有没有承诺是否提供公网IP。如果没有，很难投诉成功的。
【代理IP知识问答】如何识别今日头条的爬虫？
2018-07-08问题事情是这样的，通过 dns 解析获取到头条服务端的 ip。然后我在服务器的日志上有这个 ip 段的 ip 的请求。目前，有两个不同的 User-Agent，分别是：Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/...
【代理IP知识问答】被恶意调用短信接口了，怎么办？
2018-07-08问题描述小弟负责开发公司的一个短信发送功能。近日，发现短信接口被攻击者恶意调用，使用的 User-Agent 是 curl，每次使用的 IP 地址不一样，每日 POST 发送过来的手机号码也不一样。我猜测，攻击者是使用代理IP发...
怎么突破豆瓣电影的反爬虫限制？
2018-07-04问题目前，已经完成爬虫的雏形，可以正常的抓取、解析和存储数据了。但是，在爬取一段时间后（通过是爬取几十个网页），就会出现403错误（Forbidden）。之后，需要等待一段时间才能再继续抓取。有什么爬虫能突破这种...
什么是全局代理，什么是局部代理？分别怎么设置？
2018-07-031楼（匿名网友）什么是全局代理，什么是局部代理？
Python3爬虫教程实战篇之一：抓取猫眼电影TOP100电影
2018-07-03概述基础篇讲了爬虫原理以及采集数据过程中常用的库。现在是时候练练手啦。解析阶段打开猫眼电影首页 - 榜单 - TOP100榜。可以看出，采用的是分页的形式。各个页面的 url 如下：第一页：https://maoyan.com/board/4...
Python3爬虫教程基础篇之四：Selenium详解
2018-07-03Selenium 是什么Selenium 是一个驱动浏览器的自动化工具，开发它的初衷是自动化测试 web 应用。到了爬虫的年代，爬虫工程师把它拿来模拟浏览器，去抓取普通方式获取不到的数据。Selenium 的优势获取 JavaScript 渲染...
Python3爬虫教程基础篇之三：PyQuery详解
2018-07-01PyQuery 简介PyQuery 用于对 XML 文档进行操作，比如：查询 XML 文档中的某个元素，获取某个元素的属性等。它的 API 和前端著名框架 jQuery 相似，名字的由来也是基于此。（官方介绍：pyquery: a jquery-like librar...
Python3爬虫教程基础篇之二：网络库Reqeusts详解（下）
2018-06-30上篇回顾上篇文章讲解了 Requests 的两个核心类（request 和 response），这篇着重讲解 Requests 如何使用。Requests 快速入门安装通过 pip 安装$ pip3 install requests使用 Requests 发送 GET 请求...