今日受害网站：
https://www.regulations.gov/docket/FDA-2016-D-1399/document
最终目标：爬取该网站中的新闻摘要
首先打开网页，刷新一下，观察都返回了哪些数据
然后我们ctrl+f进行关键字搜索
进一步，只过滤含有document接口的请求
选择有数据的那个包(4.3KB)
右键》 copy as cURL cmd
我们使用python爬虫工具将cURL转为requests
爬虫工具库网址：https://spidertools.cn
然后复制生成的测试代码尝试在pycharm当中运行
结果报错400，请求参数错误
这是因为网页转换的过程中，参数字符串出现了乱码
我们对照网页重新构造params即可
或者可以直接在url当中携带参数，这样就不用单独构造字典了（适用于参数固定的情况）
我们去除一部分不必要的参数
保留有用的参数（当然都保留也行，我们主要是想看一下哪些参数会对爬虫进行检查）
新的参数：
headers = {"authority": "api.regulations.gov","accept": "application/vnd.api+json","user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Core/1.94.253.400 QQBrowser/12.6.5678.400","x-api-key": "5F20SbTVakeYfU9i5gX1dxx96sw4KELUQxAHhcHa","origin": "https://www.regulations.gov","referer": "https://www.regulations.gov/","accept-language": "zh-CN,zh;q=0.9"
}
我们注释掉x-api-key返回了403，这个参数是必不可少的，而且有可能是动态生成用于检测爬虫的
我们接连注释了好几个参数发现都不影响其实
但是如果将origin和refer同时注释就会报错403，说明这里是一个检测点，服务端需要判断客户端是不是点击链接进来的，如果直接请求会失败
下面就是最后一个参数x-api-key的分析了
我们直接搜索x-api-key的值看看它是静态/动态参数
结果发现是静态参数，那么我们就需要定位它在文件当中的位置
排除掉在请求头当中的目标之后，我们顺利找到静态参数在文件当中的位置
所以我们应当首先请求网页接口获取参数x-api-key
先爬取下来返回的document，也就是html文档
然后搜索关键字5f205b...观察其在响应文本当中位置的特征
使用正则表达式提取出来静态参数x-api-key的值，为二次请求真正的摘要做准备
第一次请求的代码：
import re
import requestsheaders = {"authority": "api.regulations.gov","accept": "application/vnd.api+json","user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Core/1.94.253.400 QQBrowser/12.6.5678.400","x-api-key": "5F20SbTVakeYfU9i5gX1dxx96sw4KELUQxAHhcHa","origin": "https://www.regulations.gov","referer": "https://www.regulations.gov/","accept-language": "zh-CN,zh;q=0.9"
}# 第一次请求获取静态参数：x-api-key
doc_url = 'https://www.regulations.gov/docket/FDA-2016-D-1399/document'response = requests.get(doc_url, headers=headers, timeout=10)
print("第一次请求状态码：", response)
print(response.text)
api_key = re.search(r"apiKey%22%3A%22(.*?)%22%2C%22", response.text).group(1)
doc_id = re.search(r"/(FDA.*?)/document", doc_url).group(1)
headers.update({"x-api-key": api_key})第二次真正请求文档发现返回的是一个json串
我们解析相应的json串，拿到最终的摘要内容：
第二次请求代码如下：
# 第二次请求获取真正的文档内容
url = "https://api.regulations.gov/v4/documents"
params = {'filter[docketId]': doc_id,'page[number]': 1,'sort': '-commentEndDate'
}
response_doc = requests.get(url, headers=headers, params=params)
print("第二次请求状态码：", response_doc)
print(response_doc.text)
print('爬取到的摘要内容：')
for item in response_doc.json()['data']:abstract = item['attributes']['title']print(abstract)最后附上本文所使用的完整代码：
import re
import requestsheaders = {"authority": "api.regulations.gov","accept": "application/vnd.api+json","user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Core/1.94.253.400 QQBrowser/12.6.5678.400","x-api-key": "5F20SbTVakeYfU9i5gX1dxx96sw4KELUQxAHhcHa","origin": "https://www.regulations.gov","referer": "https://www.regulations.gov/","accept-language": "zh-CN,zh;q=0.9"
}# 第一次请求获取静态参数：x-api-key
doc_url = 'https://www.regulations.gov/docket/FDA-2016-D-1399/document'response = requests.get(doc_url, headers=headers, timeout=10)
print("第一次请求状态码：", response)
# print(response.text)
api_key = re.search(r"apiKey%22%3A%22(.*?)%22%2C%22", response.text).group(1)
doc_id = re.search(r"/(FDA.*?)/document", doc_url).group(1)
headers.update({"x-api-key": api_key})# 第二次请求获取真正的文档内容
url = "https://api.regulations.gov/v4/documents"
params = {'filter[docketId]': doc_id,'page[number]': 1,'sort': '-commentEndDate'
}
response_doc = requests.get(url, headers=headers, params=params)
print("第二次请求状态码：", response_doc)
print(response_doc.text)
print('爬取到的摘要内容：')
for item in response_doc.json()['data']:abstract = item['attributes']['title']print(abstract)以上就是本次js逆向的全部内容了，喜欢的朋友欢迎一键三连支持一下哦~🥰🥰
)