一、背景与需求‌

在数据驱动的互联网时代，静态页面抓取是获取公开数据的核心手段。然而，大多数网站会对非浏览器请求进行拦截，例如通过检测请求头（User-Agent/Cookie）识别爬虫行为。若未正确模拟浏览器请求，轻则返回异常数据，重则触发IP封禁。

‌本文目标‌：基于Python的requests库，详解如何通过设置请求头绕过基础反爬机制，高效抓取静态页面数据，并提供可复用的代码模板与避坑指南。

二、静态页面抓取的核心流程‌

静态页面抓取的本质是‌模拟浏览器发送HTTP请求‌，其核心步骤包括：

1. ‌发送请求‌：使用requests.get()或requests.post()获取网页内容。
2. ‌解析响应‌：通过状态码（如200/403/404）判断请求状态，提取HTML文本。
3. ‌数据清洗‌：结合正则表达式、BeautifulSoup或XPath解析目标数据。

‌关键问题‌

• ‌如何避免被封禁？‌ → 伪装请求头（User-Agent/Cookie）。
• ‌如何处理登录状态？‌ → 携带Cookie维持会话。

三、requests库基础与请求头配置‌

3.1 安装与基本请求

# 安装requests库
pip install requests# 发送GET请求示例
import requests
url = "https://www.example.com"
response = requests.get(url)
print(response.status_code)  # 输出状态码
print(response.text)         # 输出HTML内容

3.2 请求头核心参数解析‌

请求头（Headers）是HTTP请求的元数据，用于告知服务器客户端信息。爬虫需重点关注以下字段：

字段	作用	示例值
‌User-Agent‌	标识客户端类型（浏览器/设备），帮助服务器识别客户端环境	Mozilla/5.0 (Windows NT 10.0; Win64; x64)
‌Cookie‌	维持会话状态，包含登录凭证、页面偏好等关键信息	sessionid=abc123; token=xyz789
‌Referer‌	声明请求来源页面，用于防跨站请求伪造（CSRF）等安全机制	https://www.google.com

3.3 自定义请求头实战

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36","Cookie": "Hm_lvt_abc=123456; Hm_lpvt_abc=654321","Referer": "https://www.baidu.com/"
}# 发送带自定义请求头的GET请求
response = requests.get(url, headers=headers)

‌如何获取合法User-Agent？‌

1. 浏览器开发者工具（F12 → Network → Headers → User-Agent）。
2. 第三方库fake_useragent随机生成：

from fake_useragent import UserAgent
ua = UserAgent()
headers = {"User-Agent": ua.chrome}

‌如何获取Cookie？‌

1. ‌手动获取‌：登录目标网站后，从浏览器开发者工具复制Cookie。
2. ‌自动获取‌：通过requests.Session模拟登录流程（需分析登录接口）。

四、实战案例：抓取豆瓣读书Top250‌

1. 目标‌

提取书籍名称、评分、短评数量及出版信息。

2. 代码实现

import requests
from bs4 import BeautifulSoupurl = "https://book.douban.com/top250"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36","Cookie": "your_cookie_here"  # 如需登录后数据，需填写有效Cookie
}response = requests.get(url, headers=headers)
if response.status_code == 200:soup = BeautifulSoup(response.text, "html.parser")books = []for item in soup.find_all("tr", class_="item"):title = item.find("div", class_="pl2").a["title"].strip()rating = item.find("span", class_="rating_nums").textcomment_num = item.find("span", class_="pl").text.split()[-1].strip("()")publish_info = item.find("p", class_="pl").text.split("/")[-3:]books.append({"title": title,"rating": rating,"comment_num": comment_num,"publish_info": publish_info})print(books[:3])  # 输出前3条数据
else:print(f"请求失败，状态码：{response.status_code}")

3. 技术要点‌

• ‌User-Agent伪装‌：绕过豆瓣基础反爬检测。
• ‌异常处理‌：检查状态码，避免解析失败导致崩溃。
• ‌数据清洗‌：通过字符串分割提取出版年份、出版社等信息。

五、高阶技巧与反反爬策略‌

5.1 动态Cookie维护‌

使用requests.Session对象自动管理Cookie：

session = requests.Session()
# 模拟登录（需分析登录接口）
login_data = {"username": "user", "password": "pass"}
session.post("https://www.example.com/login", data=login_data)
# 后续请求自动携带Cookie
response = session.get("https://www.example.com/protected-page")

5.2 随机请求头轮换‌

结合fake_useragent与代理IP，降低封禁风险：

from fake_useragent import UserAgent
import randomua = UserAgent()
headers_list = [{"User-Agent": ua.chrome}, {"User-Agent": ua.firefox}]# 随机选择请求头
headers = random.choice(headers_list)
response = requests.get(url, headers=headers)

5.3 请求频率控制‌

添加随机延迟，模拟人类操作：

import time
import randomfor page in range(1, 6):response = requests.get(f"https://example.com/page/{page}", headers=headers)time.sleep(random.uniform(1, 3))  # 随机延迟1~3秒

六、注意事项与合规建议‌

1. 法律合规‌：

• 遵守robots.txt协议（如豆瓣禁止部分路径抓取）。
• 禁止采集个人隐私或商业机密数据。

2. 道德规范‌：

• 控制请求频率，避免对目标服务器造成压力。
• 注明数据来源，尊重版权。

3. 异常监控‌：

• 捕获requests.exceptions（如超时、连接错误）。
• 监控响应内容是否包含反爬提示（如“请验证身份”）。

七、总结与扩展‌

1. 核心收获‌：

• 请求头（User-Agent/Cookie）是静态页面抓取的‌生命线‌，需精准配置。
• requests库灵活易用，结合BeautifulSoup可实现快速数据解析。

2. 进阶方向‌：

• ‌动态页面抓取‌：学习Selenium或Playwright处理JavaScript渲染。
• ‌分布式爬虫‌：使用Scrapy-Redis提升抓取效率。
• ‌数据存储‌：集成MySQL/MongoDB持久化数据。

Python爬虫相关文章（推荐）

Python爬虫介绍	Python爬虫（1）Python爬虫：从原理到实战，一文掌握数据采集核心技术
HTTP协议解析	Python爬虫（2）Python爬虫入门：从HTTP协议解析到豆瓣电影数据抓取实战
HTML核心技巧	Python爬虫（3）HTML核心技巧：从零掌握class与id选择器，精准定位网页元素
CSS核心机制	Python爬虫（4）CSS核心机制：全面解析选择器分类、用法与实战应用