python requests session刷新_Python Requests Session set-cookie不生效的坑

我们知道 Python Requests库 中的 Session 模块有连接池和会话管理的功能,比如请求一个登录接口后,会自动处理 response 中的 set-cookie,下次再请求时会自动把 cookie 带上。但最近出现了一个诡异的事情,cookie 没有自动带上,导致请求 403。

一开始怀疑是登录接口错误了,没有 set-cookie,但抓包发现 response header 中有 set-cookie,打印请求的 response.cookies 也有需要的 cookie。又怀疑是 set-cookie 的格式不对或者其它问题,但用浏览器实际跑了下流程,发现系统一切正常,那基本就是 requests 库的问题了。

没办法,只能 debug 了,单步调试了几轮,基本了解了 requests 的处理方式,首先把请求参数转变为 Request 对象,然后对使用 prepare_request 对 Request 进行预处理,其中有一步 merge_cookies 的操作(还有各种其它处理),把传入的 cookies 和 self.cookies merge 到 RequestsCookieJar 对象上去,这一步也没啥问题,merged_cookies 变量也是对的。后续将预处理过的请求,通过内置的 http adapter 发送出去。http adapter 底层是通过 urllib3.poolmanager 获取到 urllib3.connectionpool 连接(这里是连接池的核心部分),再通过 conn.urlopen 实际发送请求。虽然跟踪了解到了整个请求逻辑,但最终发出的请求还是没有带上需要的 cookie。

问题定位一度陷入僵局,只能再回顾上面的流程,cookie 肯定就是在 merged_cookies 和 conn.urlopen 之间没的,再仔细观察发现,conn.urlopen 请求参数里面压根没有 cookie 字段。

1

2

3

4

5

6

7

8

9

10

11

12

13 # :param request: The :class:`PreparedRequest ` being sent.

resp=conn.urlopen(

method=request.method,

url=url,

body=request.body,

headers=request.headers,

redirect=False,

assert_same_host=False,

preload_content=False,

decode_content=False,

retries=self.max_retries,

timeout=timeout

)

查阅资料发现,urllib3 的作者说,连接池只处理底层连接,cookie 跟踪等事情应该上层来做。大胆猜测,那 cookie 应该是放在 header 里了,往前捣看看 request.headers 是怎么变动的(此时里面的 Cookie 字段确实不正确)。

再走查代码发现 prepare_request 里面是调用了 PreparedRequest.prepare,其中有一步 prepare_cookies,主要是调用了 cookielib.CookieJar.add_cookie_header 最终将 cookie 放到了 self.headers['Cookie']。但里面有个 request.has_header("Cookie") 的判断,header 中没有 Cookie 字段才会放,不知道为什么这么考虑(最新版 3.8 还是这样),估计是 merge cookie 比较麻烦,但问题确实就出在这里,这次请求之前,Requests Session 已经直接通过 headers['Cookie'] 设置了 cookie。复现代码(修改自官方示例):

1

2

3

4

5

6

7

8

9

10 importrequests

s=requests.Session()

s.headers.update({

'Cookie':'k=v'

})

s.get('https://httpbin.org/cookies/set/sessioncookie/123456789')

r=s.get('https://httpbin.org/cookies')

print(r.text)

# {"cookies":{"k":"v"}}

虽然找到了问题的原因,但又不好解决,总不能不让直接操作 headers['Cookie'] 吧,先不说无法限制使用者,而且之前的代码已经这样做了,改动量非常之大。不过好在,现在自己用的框架是在 Requests Session 上封装了一层,操作 header 都是调用的统一的 update_headers 方法:

1

2

3

4

5

6 defupdate_headers(self,headers):

"""

更新当前会话的header

:param headers: header字典

"""

self.headers.update(headers)

对 headers['Cookie'] 的操作拦截一下,变成对 cookies 的操作:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15 defupdate_headers(self,headers):

"""

更新当前会话的header

:param headers: header字典

"""

forheader_key,header_valueinheaders.items:

ifheader_key=='Cookie'orheader_key=='cookie':

c=Cookie.SimpleCookie()

c.load(header_value)

cookies={}

forkey,morselinc.items():

cookies[key]=morsel.value

requests.utils.add_dict_to_cookiejar(self.cookies,cookies)

delheaders[header_key]

self.headers.update(headers)

这样即不用改之前的调用方代码,也防止了后人掉坑。

参考资料

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/502537.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php redis与me m,Redis(十) —— 为php增加redis扩展

chenchen-ubuntu:~/download$ ls | grep phpredisphpredis-master.zip# 解压缩chenchen-ubuntu:~/download$ unzip phpredis-master.zip# 进入安装目录chenchen-ubuntu:~/download$ cd phpredis-master/chenchen-ubuntu:~/download/phpredis-master$ lsarrays.markdown debian …

php查询变量类型,php判断变量类型常用方法

php 判断变量类型常用的函数主要有下列几个:gettype()、is_array()、is_bool()、is_float()、is_double()、is_integer()、is_null()、is_numeric()、is_object()、is_resource()、is_scalar() 和 is_string()现在让我们了解下他们的具体的使用方法gettype() 返回 P…

mac 爱普生打印机驱动_高效打印企业首选 爱普生M2178黑白多功能一体机评测

提到打印机相信每一个公司都配备了一台,因为它是日常办公中不可缺少。尽管现在很多的工作流程都已经可以在线上执行,且提倡无纸化办公,但很多重要的材料还是需要打印出来存档、签字。因此打印机还是一个非常必要的配置。对于一个企业来讲&…

python线程池操作_Python mutiprocessing多线程池pool操作示例

本文实例讲述了Python mutiprocessing多线程池pool操作。分享给大家供大家参考,具体如下:python — mutiprocessing 多线程 pool脚本代码:root72132server:~/python/multiprocess# lsmultiprocess_pool.py multprocess.pyroot72132server:~/p…

php ajax 加载列表,Ajax点击不断加载数据列表(图文教程)

这篇文章主要介绍了Ajax点击不断加载数据列表的相关资料,需要的朋友可以参考下Ajax简介AJAX即“Asynchronous Javascript And XML”(异步JavaScript和XML),是指一种创建交互式网页应用的网页开发技术。AJAX 异步 JavaScript和XML(标准通用标记语言的子集)。AJAX 是…

python指定进程断网_python通过scapy模块进行arp断网攻击

前言:想实现像arpsoof一样的工具arp断网攻击原理:通过伪造IP地址与MAC地址实现ARP欺骗,在网络发送大量ARP通信量。攻击者只要持续不断发送arp包就能造成中间人攻击或者断网攻击。0x01:准备工作Linux环境下:(windows环境下各种错误&#xff0c…

linux版_微软爱 Linux:安全杀毒软件 Defender ATP 要出 Linux 版了! | Linux 中国

微软宣布将于 2020 年将其企业安全产品 Defender 高级威胁防护(ATP)引入 Linux。-- Abhishek Prakash微软的年度开发者大会 Microsoft Ignite 刚刚结束,会上发布了一些与 Linux 有关的重要公告。你可能已经知道微软将 Edge Web 浏览器引入 Linux,而下一个…

php下载文件与服务器有关吗,php 下载文件功能中下载后文件大小与服务器源文件大小不一致...

1.根据网上下载文件的函数public function putFile($file_dir, $file_name){$file_dir chop($file_dir);//去掉路径中多余的空格//得出要下载的文件的路径if($file_dir ! ){$file_path $file_dir;if(substr($file_dir,strlen($file_dir)-1,strlen($file_dir)) ! /)$file_path…

python哪个文字转语音好用_【python3】Python十行代码搞定文字转语音

都是copy的百度SDK文档,简单说说怎么用。1、没安装Python的参见此文:Python学习笔记系列 1 ——安装调试Python开发软件2、winr输入cmd打开命令行,输入:pip install baidu-aip,如下安装百度AI的模块。3、新建文本文档&…

php正则匹配怎么写,正则表达式 - 求助怎么写php的正则匹配

我要取出 字符串"userasdasd; tokendwwewee; typeassdfs" 里的token值dwwewee,php怎么写?真的不会写。。这样好像也不行preg_match("/(token)(.*?)(;|$)/i","userasdasd; tokendwwewee; typeassdfs", $matches);foreach …

msp430中如何连续对位进行取反_四元数数控:如何保养视觉对位平台?

视觉对位平台由于人工衍生出来的各种问题应运而生,诸如高度要求的良率,生产速度的大幅提升,人员无法达成的精准度等等,对于未来这种高度自动化程度的产业更是不可或缺的产品。视觉对位平台就是一种利用XY向的移动单元加上θ角的微量转向,达到两个工作物体的组合。而且对位平台是…

ic启动器怎么导入模组_5G手机主板专题报告:高阶产能紧俏,5G手机主板升级蛋糕怎么分...

(获取报告请登陆未来智库www.vzkoo.com)一、智能机进入 5G 时代,主板方案望迎阶数跃迁5G 手机主板需求升级或将带来行业高端产能供给偏紧,A 股高端 HDI 供应商望受益。 当前时点手机各个维度的创新升级都对主板技术路线产生影响,芯片 I/O 数增…

element tree不刷新视图_Vue项目布署后,刷新页面404的真正原因找到了

从一篇日记说起我是一个小前端,我有写日记的习惯2020年10月17 天气 晴今天天气不错,心情也跟着好起来了辛辛苦苦加班两个星期终于完成了产品需求,到了要上线的时候了,嘴里也不知不觉哼起了“劳资今晚不加班”的小曲一顿操作猛如虎…

php mate,[树莓派] ubuntu-mate配置nginx + php7.0环境

树莓派3b,系统 ubuntu-mate 16.041、安装 Nginx 和 PHP7sudo apt-get updatesudo apt-get install nginx php7.0-fpm php7.0-cli php7.0-curl php7.0-gd php7.0-mcrypt php7.0-cgi php7.0-sqlite3 php7.0-mysqlsudo service nginx startsudo service php7.0-fpm restart复制代码…

编程加速服务器_FPGA加速驱动新时代的数据洪流,下篇

目 录人工智能计算加速器产品系列的相关布局FPGA开发的痛点与潜在方案结语在《FPGA加速驱动新时代的数据洪流,上篇》中,老石介绍了英特尔应对大数据时代的整体战略布局,特别是基于FPGA的各类智能网卡和网络解决方案。在本篇中,老石…

respond with a status of 40_高中英语作文高分秘籍!50组高级替换词+40个高级句型+88个高级词组,还不快记下!...

很多同学都发现,高中阶段对于写作的考查要求更高,一篇没有错误但平淡无奇的文章是拿不到高分的,保证正确性的前提下,写作必须要有出彩之处才能得到阅卷老师的青睐,今天就为大家分享高中写作50组高级替换词40个高级句型…

try catch php 捕获,php try catch : 捕捉异常,抛出异常

php try catch : 捕捉异常,抛出异常:/*** 构造函数:自动加载连接数据库* param $database $key* return*/private function __construct($database array(), $key){try{$this->server $database[db_host];$this->username $database[db_user];$…

python信息管理系统实战_最新python入门+进阶+实战课堂教学管理系统开发全套完整版...

Pythonpillow图像编程1:pillow扩展库安装与基础用法.aviPythonpillow图像编程2:Image子模块用法1.aviPythonpillow图像编程3:Image子模块用法2.aviPythonpillow图像编程4:案例:计算任意椭圆中心.aviPythonpillow图像…

iphone分屏功能怎么用_iPhone上10个隐藏小技巧,怎么用怎么爽

离上一期iPhone技巧已经过了四个多月时间了,不少朋友在后台一直催小雷赶紧出下一期。为了不让你等太久,所以今天小雷就奉上新的一期(也是防止你们等得不耐烦了以至于想捶我)。这期干货实在太多,如果其中有一些你们之前get过的话,就…

apt-get install php5-redis,Ubuntu安装redis和php5-redis扩展

最近Ubuntu11被玩坏了,因为装个php5-redis找不到安装包引起的问题,在segmentfault上提问(http://segmentfault.com/q/1010000000735952)也没有真正得到解决。所以将系统换成最新的Ubuntu14,之前把环境什么都配置好了的,就连php5-r…