概述
在进行网络数据抓取时，有些数据需要用户处于登录状态才能获取。这时就需要使用Cookie和Session来维持登录态。Cookie是服务器发给浏览器的小数据片段，存储在用户计算机中，用于在用户请求时辨识用户身份。Session则是存储在服务器端的用户会话信息，用于保持用户的活动状态。
什么是Cookie和Session
Cookie是一种小型文本文件，由网站服务器发送给用户浏览器，存储在用户本地计算机上。主要用于跟踪用户在网站上的活动，如登录信息、购物车内容等。每个Cookie都包含了一个键值对，用于识别用户和追踪其行为。通过携带Cookie信息，网站可以识别用户身份和保存用户的个性化设置，从而提供更好的用户体验。
Session是服务器端创建的关于用户会话的信息集合。在用户首次访问服务器时，服务器会为用户分配一个唯一的会话ID，并在服务器端存储与该ID相关的信息。通过Session，服务器可以跟踪用户的会话状态，保存用户的登录状态、购物车内容等数据，以确保用户在同一会话期间的连续性。Session通常用于保持用户登录状态，以及在用户跨页面进行交互时传递信息。与Cookie不同的是，Session数据存储在服务器端，相对更安全，但也需要更多的服务器资源来维护。
使用方式
在处理需要登录态的数据时，以下几种方式是常见且有效的：
方式一：将Cookie插入Headers请求头
import requestssession = requests.Session()# 将Cookie插入Headers请求头
headers = {'User-Agent': 'Mozilla/5.0','Cookie': 'your_cookie_here'
}
response = session.get("https://www.example.com", headers=headers)print(response.text)session.close()
方式二：Cookies直接作为requests方法的参数
import requestscookies = {'cookie_name': 'cookie_value'
}response = requests.get("https://www.example.com", cookies=cookies)print(response.text)
方式三：session会话保持
import requestssession = requests.Session()# 模拟登录操作
login_data = {'username': 'your_username', 'password': 'your_password'}
session.post('https://www.example.com/login', data=login_data)# 后续请求会自动携带会话信息
response = session.get('https://www.example.com/profile')print(response.text)session.close()
如何保持IP不变
在某些场景下，需要保持请求的IP地址不变，可以通过代理来实现。下面是一个简单的示例代码：
import requestssession = requests.Session()# 设置代理信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"proxy = {'http': f'http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}','https': f'http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}'
}
session.proxies = proxy# 发送请求
response = session.get("http://example.com")
print(response.text)session.close()
京东案例
下面我们以京东网站为例，演示如何使用Python爬虫携带Cookie与Session的应用技巧：
import requestssession = requests.Session()# 代理设置
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"
proxies = {"http": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}","https": f"https://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
}# 模拟登录京东
login_data = {'username': 'your_username', 'password': 'your_password'}
session.post('https://passport.jd.com/login', data=login_data, proxies=proxies)# 获取个人订单页
response = session.get('https://order.jd.com/myOrder', proxies=proxies)
print(response.text)session.close()
