Python3爬虫教程基础篇之二：网络库Reqeusts详解（下）

上篇回顾

上篇文章讲解了 Requests 的两个核心类（request 和 response），这篇着重讲解 Requests 如何使用。

Requests 快速入门

安装

通过 pip 安装

$ pip3 install requests

使用 Requests 发送 GET 请求

使用 Requests 方法其他请求

Requests 高级用法

Session 对象

使用 Requests 的 Session 对象，有两种好处：

1. 在多个请求中，保持回话；
2. 性能提升，因为 Session 对象使用了 urllib3 的连接池（connection pooling）技术，使得可以复用 host 相同的请求连接；

示例代码：

设置代理 IP（proxies）

Requests 默认只支持 HTTP 代理协议，如果需要使用 SOCKS5 协议，需要安装第三方库。如下：

$ pip install requests[socks]

之后，参考如下配置：

proxies = {
    'http': 'socks5://user:pass@host:port',
    'https': 'socks5://user:pass@host:port'
}

关闭安全证书检查

如果目标站点的 HTTPS 证书配置错误，又需要抓取它的数据，这个时候可以关闭安全证书的检查。如下代码：