Python爬虫获取接口数据

- 正常人的操作
- 爬虫的思路
- - 标题获取请求信息
- 标题请求转换为代码
- 完整代码
- 请求返回信息
- 执行程序

获取静态网页数据的教程，适用于我们要爬取的数据在网页源代码中出现，但是还是有很多的数据是源代码中没有的，需要通过接口访问服务器来获得，下面我就来讲讲如何爬取这类数据。

以巨潮资讯网爬取比亚迪企业年报为例。

正常人的操作

打开巨潮资讯网官网
找到比亚迪的公告
在分类里面选择筛选信息，找到自己想要的信息

爬虫的思路

标题获取请求信息

在正常人的操作第三步，当我们选择一个类别时，毫无疑问浏览器肯定会对服务器发送请求信息，服务器返回信息后我们才能看到想要的信息，看一下怎么获取这个请求：
访问巨潮资讯网
按下F12或者是右键检查，进入网络，先清空乱七八糟的网络信息
在这里插入图片描述

当我们选择一个类别时会看到右边多出一个query请求，这个就是我们向服务器发出的请求

我们可以查看query这条请求的信息

标题请求转换为代码

上一步我们获取到了请求信息，我们就可以使用python造一个请求头，主要包含请求头和请求负载，我们荡当然可以使用比较奔的方法一个一个的复制粘贴，把东西搬到代码上，这里推荐一个工具能自动帮我们把请求格式化我们想要的

把请求复制下来
在这里插入图片描述

在Curl命令转代码工具 (sbox.cn)这个在线网站添加链接描述可以直接转换为python代码

完整代码

import requestscookies = {'JSESSIONID': 'CAD9F65CD46FDD1F77B67CFC6402D040','SF_cookie_4': '27783614','insert_cookie': '37836164','_sp_ses.2141': '*','routeId': '.uc1','_sp_id.2141': '1daed846-960d-4bc8-8264-49d6e32f05e9.1710837792.1.1710837937.1710837792.751f332b-bf90-48ab-b50a-bf568067731e','SID': '44cda023-0192-4967-a51a-18a09faa35e7','cninfo_user_browse': '002594,gshk0001211,%E6%AF%94%E4%BA%9A%E8%BF%AA',
}headers = {'Accept': 'application/json, text/javascript, */*; q=0.01','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8','Connection': 'keep-alive','Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',# 'Cookie': 'JSESSIONID=CAD9F65CD46FDD1F77B67CFC6402D040; SF_cookie_4=27783614; insert_cookie=37836164; _sp_ses.2141=*; routeId=.uc1; _sp_id.2141=1daed846-960d-4bc8-8264-49d6e32f05e9.1710837792.1.1710837937.1710