在数据采集这个场景下，我们一般使用 Python。特殊场景下，我们会使用 C++。

C++ 的核心优势在于内存级别的控制力和原生多线程能力。在百万级页面抓取任务中，C++ 的执行效率和资源利用率远超 Python 等解释型语言，代价是更高的开发成本和更少的生态库支持。


技术选型

  • HTTP 请求层：CPR（C++ Requests），封装 libcurl，自动处理连接、Headers 和响应
  • HTML 解析层：libxml2（高性能）或 pugixml（轻量级），通过 XPath 定位数据
  • 并发层：C++ 原生 std::thread + std::mutex

CPR 解决了手动管理 Socket 的痛点，libxml2 的 XPath 解析性能远超正则匹配，原生线程库避免引入第三方并发框架的额外开销。


核心代码与关键点


HTTP 请求（CPR）

cpr::Response r = cpr::Get(cpr::Url{"https://example.com"});
  • CPR 自动处理连接建立、Headers 设置和响应读取，无需手动管理底层 Socket
  • 支持 GET/POST/PUT 等完整 HTTP 方法，接口风格对标 Python requests


HTML 解析（libxml2）


htmlDocPtr doc = htmlReadMemory(
    r.text.c_str(), r.text.length(),
    NULL, NULL,
    HTML_PARSE_RECOVERY | HTML_PARSE_NOERROR
);
  • HTML_PARSE_RECOVERY 启用容错解析，处理格式不规范的 HTML
  • HTML_PARSE_NOERROR 抑制错误输出，生产环境必备
  • 解析结果为文档树，后续通过 XPath 查询提取数据


会话与 Cookie 维护

cpr::Session session;
session.SetUrl(cpr::Url{"https://example.com/login"});
  • 单一 cpr::Session 对象在请求间自动保持 Cookie 状态
  • 模拟登录态抓取时无需手动管理 Cookie 字符串


注意事项


  • 并发控制：使用 std::thread 实现并发抓取时，必须用 std::mutex 保护共享数据结构，避免竞态条件
  • 线程数调优：初始并发线程数建议 4-8 个，根据目标服务器响应时间和错误率动态调整
  • 请求频控：请求间添加随机延迟，避免触发速率限制被封禁。
  • 反爬与风控对抗：千万不要以为用 C++ 实现了每秒上千次的并发就万事大吉了。并发越高，你的本机 IP 死得越快。 如果只是简单地加上 sleep() 随机延迟，那就白白浪费了 C++ 的性能。生产环境中，必须接入稳定且高纯净度的国内代理 IP 池，比如蜻蜓代理 IP。可以让你的海量并发请求分散到全国各地的真实 IP 上。
  • JS 渲染：C++ 缺乏原生 Headless 浏览器支持，动态页面需通过 Selenium WebDriver API 驱动外部浏览器


转载请注明