说明：仅供学习使用，请勿用于非法用途，若有侵权，请联系博主删除
作者：zhu6201976
一、目标站点
有道词典网页版：网易有道
二、目标接口
url：https://dict.youdao.com/jsonapi_s?doctype=json&jsonversion=4
method：POST
formdata：
如图所示，需要解决参数sign、t的算法逆向，难度：中
三、部分样例代码
1. sign、t参数生成逻辑
def generate_sign_t(q, w):"""sign/t 生成:params q: 搜索词:params w: 网页中获取return: sign, t"""time_ = len(f'{q}webdict') % 10r = f'{q}webdict'o = hashlib.md5(r.encode('utf-8')).hexdigest()n = f'web{q}{time_}{w}{o}'f = hashlib.md5(n.encode('utf-8')).hexdigest()return f, time_2. 搜索接口请求构造
url = f'{self.root_url}/jsonapi_s?doctype=json&jsonversion=4'headers = {'Content-Type': 'application/x-www-form-urlencoded','Referer': 'https://www.youdao.com/',}sign, t = self.generate_sign_t(q)data = {'q': q,'le': 'en','t': f'{t}','client': 'web','sign': f'{sign}','keyfrom': 'webdict'}yield scrapy.FormRequest(url, headers=headers, formdata=data, method='POST', callback=self.parse)
