我们在构建网络请求的时候,不可避免地要添加请求头(headers),以mdn学习区为例(https://developer.mozilla.org/zh-CN/docs/learn),我们的请求头是这样的:
一般来说,我们只要添加user-agent和cookie就能满足绝大部分需求了,Python代码如下:
但是有些请求,我们要把特定的headers参数添加上才能获得正确的网络响应,不知道哪个参数是必要的情况下,就要先把所有参数都添加上,再逐个排除。
但是手动复制粘贴headers字典里的每一个键值对太费事了,一个不那么方便的解决方案:
- 正则表达式或者直接字符串替换,把headers字符串拷贝下来,转化为字典
有没有把网络请求快速构建成Python代码的方法呢?这里给大家介绍两个:
- 网站在线转换
- Postman
抓取网站:https://developer.mozilla.org/zh-CN/docs/learn
网站在线转换
1,Chrome打开开发者选项(f12),network选项卡,刷新页面,获取请求,找到页面信息对应的请求 (通过请求的名称、后缀和response来判断)
2,右键,copy,copy as cURL (bash),注意不是【copy as cURL (cmd)】
3,打开网站,https://curl.trillworks.com/,粘贴cURL (bash)到左边curl command,右边会自动出Python代码
4,生成代码如下图
5,print(response.text) 就可以打印网页源代码啦!
Postman
1,下载postman (Chrome有个postman的插件,操作应该差不多)
2,打开postman,弹出的界面可以直接关掉
3,import,paste raw text,在Chrome里复制curl(bash),粘贴到下面的对话框里,点击import按钮
4,点击send,模拟网络请求,下方可查看源代码
5,确保源代码正常后,点击code
6,左上角可以选择编程语言,右上角复制到剪贴板