cookie登陆适用场景： 适用场景：数据采集的时候，需要绕过登陆，然后进入到某个页面
# 适用场景：数据采集的时候，需要绕过登陆，然后进入到某个页面
import urllib.requesturl = 'https://weibo.cn/7122597640/info'headers = {# referer 判断当前路径是不是由上一个路径进来的 一般情况下 是做图片防盗链'referer': 'https://weibo.cn/','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.79',
}# 请求对象的定制
request = urllib.request.Request(url, headers=headers)
# 模拟浏览器发送请求
response = urllib.request.urlopen(request)
# 获取响应数据
content = response.read().decode('utf-8')
# 保存到本地
fp = open('files/weibo.html', 'w', encoding='utf-8')
fp.write(content)
报错
但是查看网页源码还是utf-8，是因为还没有进入到个人信息页面，而是跳转到了登陆界面，而登陆界面是gb2312编码，所以把
content = response.read().decode('utf-8')
改为
content = response.read().decode('gb2312')
但是爬取到的页面是登陆界面，所以还要在headers加上cookie和referer，因为cookie中携带着你的登陆信息，如果有登陆之后的cookie，那么我们就可以携带着cookie进入到任何页面，但是并不是所有的反爬都只有cookie，可能还会有referer等等（还有刚刚的gb2312修改回utf-8）
headers = {# cookie中携带着你的登陆信息 如果有登陆之后的cookie 那么我们就可以携带着cookie进入到任何页面'cookie':'',# referer 判断当前路径是不是由上一个路径进来的 一般情况下 是做图片防盗链'referer': 'https://weibo.cn/','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.79',
}
完整代码：
# 适用场景：数据采集的时候，需要绕过登陆，然后进入到某个页面
import urllib.requesturl = 'https://weibo.cn/7122597640/info'headers = {# cookie中携带着你的登陆信息 如果有登陆之后的cookie 那么我们就可以携带着cookie进入到任何页面'cookie': '',# referer 判断当前路径是不是由上一个路径进来的 一般情况下 是做图片防盗链'referer': 'https://weibo.cn/','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.79',
}# 请求对象的定制
request = urllib.request.Request(url, headers=headers)
# 模拟浏览器发送请求
response = urllib.request.urlopen(request)
# 获取响应数据
content = response.read().decode('utf-8')
# 保存到本地
fp = open('files/weibo.html', 'w', encoding='utf-8')
fp.write(content)
也可以尝试爬取一下QQ空间
