linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

b74d3f2ecd1a0d3e3fce6a1fb804fe6d.png

我们在构建网络请求的时候,不可避免地要添加请求头(headers),以mdn学习区为例(https://developer.mozilla.org/zh-CN/docs/learn),我们的请求头是这样的:

b2cbf624c717196a2e524cf87fe576de.png

一般来说,我们只要添加user-agentcookie就能满足绝大部分需求了,Python代码如下:

3e6922683f7e24c3f39a06e914dd1025.png

但是有些请求,我们要把特定的headers参数添加上才能获得正确的网络响应,不知道哪个参数是必要的情况下,就要先把所有参数都添加上,再逐个排除。

但是手动复制粘贴headers字典里的每一个键值对太费事了,一个不那么方便的解决方案:

  • 正则表达式或者直接字符串替换,把headers字符串拷贝下来,转化为字典

有没有把网络请求快速构建成Python代码的方法呢?这里给大家介绍两个:

  • 网站在线转换
  • Postman

抓取网站:https://developer.mozilla.org/zh-CN/docs/learn

网站在线转换

1,Chrome打开开发者选项(f12),network选项卡,刷新页面,获取请求,找到页面信息对应的请求 (通过请求的名称、后缀和response来判断)

07d721a6e2585da20706ffc22e447d74.png

2,右键,copy,copy as cURL (bash),注意不是【copy as cURL (cmd)】

29b996e7a0616b95715e8ffdb0b20424.png

3,打开网站,https://curl.trillworks.com/,粘贴cURL (bash)到左边curl command,右边会自动出Python代码

ec6dc8bfd298ae34871ba118da067420.png

4,生成代码如下图

2a8d86268fd0b13f228ec7fcfdd6f087.png

5,print(response.text) 就可以打印网页源代码啦!

Postman

1,下载postman (Chrome有个postman的插件,操作应该差不多)

2,打开postman,弹出的界面可以直接关掉

0c433c32f12ac5357d8045b873067c63.png

3,import,paste raw text,在Chrome里复制curl(bash),粘贴到下面的对话框里,点击import按钮

fc84a26b9008d64d1c1fade252c30478.png

4,点击send,模拟网络请求,下方可查看源代码

226a1c4d6ca6e6185a7c94ff444b411c.png

5,确保源代码正常后,点击code

3a04fca75ba29a78d2d1e729fea5ba72.png

6,左上角可以选择编程语言,右上角复制到剪贴板

3954fdd41786d0c10f826d4b23b90d50.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/490163.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

xml转svg_C# Excel 转PDF/图片/HTML/TXT/XML/XPS/CSV/ODS/SVG/EMF

在日常工作中可能会遇到将某文件转换为其他格式的文件的情况,在本篇文章中将介绍如何在C#程序中将Excel文档转为PDF、IMAGE、HTML、TXT、XML、XPS、CSV、ODS、SVG、EMF、XLSM等格式的文件。工具使用:Free Spire.XLS http://for.NET(免费版&am…

全球大数据发展分析报告

来源:人工智能产业链联盟 国智清创雄安机器人研究院《2018全球大数据发展分析报告》由天府大数据国际战略与技术研究院联合中国科学院虚拟经济与数据科学研究中心、中国科学院大数据挖掘与知识管理重点实验室、成都市大数据协会共同发布。报告对大数据发展历程&am…

三维叉乘怎么算_3分钟做完这些题,你的CAD才算熟练

3分钟做完这些题,你的CAD才算熟练“有没有CAD教程”,“如何学习CAD?”......这样的留言每隔一段时间都能看到。CAD说简单其实也挺简单的,但是深入应用起来确实很难。而因为当中涉及繁杂的功能命令,自然也就成为出教程的…

C和指针 第四章 习题

4.1正数的n的平方根可以通过&#xff1a; ai1 (ai n / ai ) / 2 得到&#xff0c;第一个a1是1,结果会越来越精确。 #include <stdio.h>int main() {double input;double exp;scanf_s("%lf", &input);double aBefore 1;double aNow (aBefore input / a…

技术界与翻译界的交锋:机器翻译离我们还有多远? | 清华AI Time

来源&#xff1a;大数据文摘作为自然语言处理中一项非常重要的应用&#xff0c;现代意义上的机器翻译概念从上世纪40年代提出至今&#xff0c;经过了几代革新&#xff0c;现已初步实现了多场景的落地和应用。近几年随着机器翻译质量的提高&#xff0c;机器翻译代替人工翻译的声…

obs噪音抑制调多少合适_TVS瞬态抑制二极管的特性及应用

TVS瞬态抑制二极管的特性及应用瞬态电压抑制器&#xff08;Transient Voltage Suppressor&#xff09;简称TVS&#xff0c;是一种二极管形式的高效能保护器件。当TVS二极管的两极受到反向瞬态高能量冲击时&#xff0c;它能以10-12秒量级的速度&#xff0c;将其两极间的高阻抗变…

量子计算机混战:新贵离子 vs 老派超导体

来源&#xff1a;云头条作者&#xff1a;Paul Smith-Goodson是知名研究分析公司Moor Insights & Strategy的量子计算常驻分析师。英特尔公司正迅速取得进展&#xff0c;将超导量子计算测试芯片的量子位增加到更多数量&#xff1a;从7个量子位增加到17个量子位&#xff0c;现…

c++ opencv 通过网络连接工业相机_摄像头和机器人视觉开发中的「相机标定」,你了解多少?...

目前我们团队在做一个项目&#xff0c;通过采集到的人脸图像测量人脸上两个瞳孔间的实际距离。注意是实际距离&#xff0c;不是两个瞳孔之间隔多少个像素点。找了很久资料&#xff0c;好像“相机标定”可以解决我的问题&#xff0c;看了不少资料来理解【相机标定】&#xff0c;…

【GNN】一份完全解读:是什么使神经网络变成图神经网络?

图1&#xff1a;来自(Bruna等人&#xff0c;ICLR&#xff0c;2014)的图&#xff0c;描绘了3D领域内的MNIST图像。虽然卷积网络很难对球面数据进行分类&#xff0c;但是图网络可以很自然地处理它。可以把它当做是一个处理工具&#xff0c;但在实际应用程序中会出现许多类似的任务…

数学与 AI「融通」 ,徐宗本院士进行超强“迁移学习”

来源&#xff1a; AI科技评论 编辑 | 唐里徐宗本院士在数学与 AI 之间进行了一次超强的“迁移学习”。9 月 21 日至 22 日&#xff0c;为期两天的 CCAI 2019 正在秋意浓浓的中国青岛胶州隆重举行。本次会议选址室外体育馆召开&#xff0c;为原本严肃的学术会议增添了几分活泼、…

mac怎么合并两个容器_Mac怎么合并文件夹?macz不容错过的苹果mac教程分享

关于合并文件夹&#xff0c;与Windows操作不同的是&#xff1a;Mac中很可能会出现文件丢失。 因为它对相同名称文件的实际操作是替换而不是另命名复制&#xff01;你的Mac电脑是否有重复文件想要合并&#xff1f;想了解Mac电脑合并文件夹而不丢失文件&#xff1f;那一定不要错过…

JMX学习笔记(一)-MBean

JMX学习笔记(一)-MBean 标签&#xff1a; jmxstringjavainterfaceexceptionclass2010-12-07 22:20 15360人阅读 评论(5) 收藏 举报分类&#xff1a;JMX&#xff08;11&#xff09; JMX 即 Java Management Extensions Java管理扩展MBean 即 managed beans …

关于大脑未必是破解智能和意识之谜的钥匙探讨

来源&#xff1a;刘锋的未来课堂“人脑能创造11维结构”是瑞士的研究机构蓝脑&#xff08;Blue Brain&#xff09;的一个研究结论&#xff0c;蓝脑&#xff08;Blue Brain&#xff09;研究所主要目标是建立一个由超级计算机驱动的人脑模型。这篇短文主要是由《崛起的超级智能》…

结构化分析和面向对象分析的区别 例子_管理游戏测评例子

在测评中心技术中&#xff0c;有一个非常有趣的场景的模拟测评&#xff0c;打造敏捷高绩效团队&#xff0c;提高执行力(包括人才测评)&#xff0c;旨在帮助学生培养自主性&#xff0c;了解自己&#xff0c;以独立的意见做出决策&#xff0c;采取果断的行动&#xff1b;培养赋权…

qtablewidget 选中不改变背景_C4D制作不一样的核壳结构

在科研绘图中&#xff0c;三维模型图相对于二维平面图片可以展示更多的信息&#xff0c;尤其是在做纳米结构设计和制备时&#xff0c;三维模型图可以直观地表现出材料的设计思路和合成路径。比如在这篇发表于Joule杂志的高水平、高颜值、将纳米美学展现的淋漓尽致的paper中(Ref…

城科会刘朝晖:从互联网大脑模型看城市大脑

刘朝晖中国城市科学研究会城市大数据专业委员会副主任委员中国生态城市研究院首席科学家按照凯文凯利的观点&#xff0c;技术体和生命体都是一种进化现象。刘锋博士的《崛起中的超级智能》显然秉承了类似的视角&#xff0c;基于哲学高度和宇宙现象对我们这个时代正在爆发的人工…

java tostring方法_Java虚拟机如执行方法调用的(二)?

虚方法调用Java里所有非私有实例方法调用都会被编译成invokevirtual指令. 接口方法调用都会被编译成invokeinterface指令.这两种指令都属于Java虚方法的调用.在大多数情况下, Java虚拟机需要根据调用者的动态类型, 来确定虚方法调用的目标方法.这个过程被称为动态绑定. 那么相对…

[笔记]cin、cout与scanf、printf的效率差异对比分析

之前上传UVa227 puzzle时&#xff0c;好不容易AC了&#xff0c;但发现自己用时50(ms)&#xff0c;而在VJ上看到人家都是40ms、20ms&#xff0c;于是打开一个20ms的代码查看人家强在哪里。但结果研究了半天感觉差不多&#xff0c;于是想着应该不是算法的问题。然后又想到&#x…

“智联网与未来”——第14届中国信息技术年会院士精彩观点辑录

来源&#xff1a;科技导报编者按 以智慧互联为目标的智联网系统是未来信息网络的发展方向&#xff0c;将引发人类社会向智慧社会的重大变革。在中国电子学会、工业和信息化部电子科学技术委员会等主办的第14届中国信息技术年会上&#xff0c;学者热议“智联网与未来”&#xf…

什么是java的元数据_学习大数据,为什么要先学习Java?

是新朋友吗&#xff1f;记得先点蓝字关注我哦&#xff5e;今日课程菜单Java全栈开发 | Web前端H5大数据开发 | 数据分析人工智能Python | 人工智能物联网来源&#xff1a;小职(z_zhizuobiao)找我&#xff1a;✅ 解锁高薪工作 ✅ 免费获取干货教程未完待续很多人初学的第一门语言…