上篇回顾

上篇文章讲解了 Requests 的两个核心类(request 和 response),这篇着重讲解 Requests 如何使用。

Requests 快速入门

安装

通过 pip 安装

$ pip3 install requests

使用 Requests 发送 GET 请求

使用 Requests 方法其他请求

Requests 高级用法

Session 对象

使用 Requests 的 Session 对象,有两种好处:

  1. 在多个请求中,保持回话;
  2. 性能提升,因为 Session 对象使用了 urllib3 的连接池(connection pooling)技术,使得可以复用 host 相同的请求连接;

示例代码:

设置代理 IP(proxies)

Requests 默认只支持 HTTP 代理协议,如果需要使用 SOCKS5 协议,需要安装第三方库。如下:

$ pip install requests[socks]

之后,参考如下配置:

proxies = {
    'http': 'socks5://user:pass@host:port',
    'https': 'socks5://user:pass@host:port'
}

关闭安全证书检查

如果目标站点的 HTTPS 证书配置错误,又需要抓取它的数据,这个时候可以关闭安全证书的检查。如下代码:

转载请注明