某查查请求头参数加密分析(含JS加密算法与Python爬虫源码)

文章目录

  • 1. 写在前面
  • 2. 请求分析
  • 3. 断点分析
  • 4. 扣加密JS
  • 5. Python爬虫代码实现

【作者主页】:吴秋霖
【作者介绍】:Python领域优质创作者、阿里云博客专家、华为云享专家。长期致力于Python与爬虫领域研究与开发工作!
【作者推荐】:对JS逆向感兴趣的朋友可以关注《爬虫JS逆向实战》,对分布式爬虫平台感兴趣的朋友可以关注《分布式爬虫平台搭建与开发实战》
还有未来会持续更新的验证码突防、APP逆向、Python领域等一系列文章

1. 写在前面

  先前写过一篇关于APP端自动化方案的文章,对于基础数据获取的话相对还是比较稳定的,当时单台设备测试一天数据量在1W+,单账号未被风控!感兴趣的可以移步阅读:使用Python爬取某查查APP端(Appium自动化篇)

如果除了基础数据想要获取更多类型的数据(风险信息、知识产权、法律诉讼…)可以直接从Web端入手,请求头参数加密!Web的话主要还是对账号的全方面风控策略~

在这里插入图片描述

2. 请求分析

抓包分析,大部分需要VIP权限,所以我这里找了一个非VIP数据项查看的接口(经营风险信息)。请求可以看到在Headers里面有两个参数是密文,如下所示:

在这里插入图片描述

X-Pid参数的值在网页源代码即可获取,无需分析,如下所示:

在这里插入图片描述

3. 断点分析

分析另一个加密参数,是一个键值对的数据,Key跟Value都是密文,这里通过XHR跟堆栈以及全距搜索的方式都可以定位到Headers处理部分的JS代码,如下所示:

在这里插入图片描述

如上图点击a.default跳转到请求头Key的加密具体方法:

在这里插入图片描述

点击r.default跳转到请求头Value的加密具体方法:

在这里插入图片描述

其中o.default是加密算法!先分析Key跟Value的加密算法o.default,在JS中可以看到WebPack加载了856562,跟着断点继续走,o.default的加密如下所示:

在这里插入图片描述

SHA512的加密函数,借助JS内CryptoJS一行代码即可实现,如下所示:

// HMAC SHA512加密函数
function hmacSHA512(data, key) {return CryptoJS.HmacSHA512(data, key).toString();
}

a.default是干啥的?是数据处理,JS代码如下所示:

在这里插入图片描述

如上代码o.default.no.default.codes取值字典内字段,内容如下:

在这里插入图片描述

如上显示这里的o.default是一个字典,定义实现如下:

o = {}
o.default = {"n": 20,"codes": {"0": "W","1": "l","2": "k","3": "B","4": "Q","5": "g","6": "f","7": "i","8": "i","9": "r","10": "v","11": "6","12": "A","13": "K","14": "N","15": "k","16": "4","17": "L","18": "1","19": "8" }   
}

4. 扣加密JS

通过上面断点分析,找到了Headers请求头内Key、Value的加密实现代码以及加密代码内的其他调用方法,最终加密算法如下:

const CryptoJS = require('crypto-js');// HMAC SHA512加密函数
function hmacSHA512(data, key) {return CryptoJS.HmacSHA512(data, key).toString();
}// 默认的配置和编码映射
const config = {"n": 20,"codes": {"0": "W", "1": "l", "2": "k", "3": "B", "4": "Q","5": "g", "6": "f", "7": "i", "8": "i", "9": "r","10": "v", "11": "6", "12": "A", "13": "K", "14": "N","15": "k", "16": "4", "17": "L", "18": "1", "19": "8"}
};// 根据给定的字符串生成编码
function generateCode(str) {let result = "";for (let char of str) {const code = char.charCodeAt() % config.n;result += config.codes[code];}return result;
}// 生成密钥
function generateKey(path, data = {}) {const encodedPath = encodeURIComponent(path).toLowerCase();const encodedData = JSON.stringify(data).toLowerCase();const hashedPathData = hmacSHA512(encodedPath + encodedData, generateCode(encodedPath)).toLowerCase();return hashedPathData.substr(8, 20);
}// 生成值
function generateValue(path, data = {}, tid = "") {const encodedPath = encodeURIComponent(path).toLowerCase();const encodedData = JSON.stringify(data).toLowerCase();return hmacSHA512(encodedPath + "pathString" + encodedData + tid, generateCode(encodedPath)).toLowerCase();
}// 主函数运行
function run(path, tid, data = {}) {const headers = {};headers[generateKey(path, data)] = generateValue(path, data, tid);return headers;
}// 测试数据
const tid = '53f97a8d50bcf99d4a9a3a36c6cdd9c2'; //企业加密ID
// 数据接口
const path = 'https://www.qcc.com/api/datalist/zhuanlilist';
const jsonData = {"keyNo": "6b242b475738f45a4dd180564d029aa9",
};console.log(run(path, tid, jsonData));

上述JS加密算法代码中generateCode函数实现的是a.default的数据操作处理,hmacSHA512函数实现的是o.default的加密方法

运行测试上面Key、Value的加密算法程序,结果如下所示:

在这里插入图片描述

5. Python爬虫代码实现

import re
import execjs
import requests# cookies信息自行设定
cookies = {'qcc_did': '','UM_distinctid': '','acw_tc': '','QCCSESSID': '','_uab_collina': '','CNZZDATA1254842228': ''
}def load_javascript_function():with open('./qcc_k_v.js', 'r', encoding='utf-8') as file:js_code = file.read()return execjs.compile(js_code)def generate_headers(url, pid, tid, json_data=None):headers = {'x-pid': pid} # 其他headers请求头信息自行补充path = re.findall(r'(/api.*)', url)[0]js_ctx = load_javascript_function().call('run', path, tid, json_data)for key, value in js_ctx.items():headers[key] = valuereturn headersdef make_post_request(url, pid, tid, json_data=None):headers = generate_headers(url, pid, tid, json_data)return requests.post(url, cookies=cookies, headers=headers, json=json_data)def make_get_request(url, pid, tid):headers = generate_headers(url, pid, tid)return requests.get(url, cookies=cookies, headers=headers)if __name__ == '__main__':# 企业加密唯一ID(自行选择测试)key_no = '3f603703d59a04cbe427e5825099a565'pid = '' # HTML中搜索并自行填充tid = '' # HTML中搜索并自行填充# 示例GET请求get_url = 'https://www.qcc.com/api/datalist/guarantorlist?keyNo=3f603703d59a04cbe427e5825099a565'print(make_get_request(get_url, pid, tid).json())# 示例POST请求post_url = 'https://www.qcc.com/api/datalist/zhuanlilist'json_data = {'keyNo': '3f603703d59a04cbe427e5825099a565'}print(make_post_request(post_url, pid, tid, json_data).json())

以上是最终的爬虫代码,根据注释完善即可!测试(经营风险|信息、知识产权)接口如下:

在这里插入图片描述

  好了,到这里又到了跟大家说再见的时候了。创作不易,帮忙点个赞再走吧。你的支持是我创作的动力,希望能带给大家更多优质的文章

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/611581.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于SELinux三权分立配置方法

1.系统安装 系统安装完成后,系统当前的SELinux配置为: # cat /etc/selinux/config SELINUX=enforcing SELINUXTYPE=targeted 2.SELinux环境准备 # yum install setools policycoreutils.x86_64 selinux-policy-mls.noarch setroubleshoot.x86_64 setools-console -y 3.SELin…

嵌入式c语言学习笔记:可重入函数与不可重入函数

什么是可重入函数与不可重入函数? 在一个多任务环境中,一个函数如果可以被多次重复调用,或者被多个任务并发调用,函数在运行过程中可以随时随地被打断,并不影响该函数的运行结果,我们称这样的函数为可重入…

Redis 常用的数据类型及用法

1. 字符串(Strings) 字符串是最基本的 Redis 数据类型。它可以包含任何形式的数据,比如文本、数字或二进制数据。 基本用法: 设置值: SET key value获取值: GET key删除键: DEL key自增: INCR key追加值: APPEND key value 示…

vue element plus TimePicker 时间选择器

用于选择或输入日期 TIP 在 SSR 场景下&#xff0c;您需要将组件包裹在 <client-only></client-only> 之中 (如: Nuxt) 和 SSG (e.g: VitePress). 任意时间点# 可以选择任意时间 提供了两种交互方式&#xff1a;默认情况下通过鼠标滚轮进行选择&#xff0c;打开…

三、java线性表(顺序表、链表、栈、队列)

java线性表 三、线性表1.1 顺序表1.2 链表1.2.1 单向链表&#xff08;Singly Linked List&#xff09;1.2.2 双向链表&#xff08;Doubly Linked List&#xff09; 1.3 LinkedList VS ArrayList1.3.7 使用 LinkedList 的场景 1.4 栈1.5 队列 三、线性表 线性表是一种经典的数据…

LeetCode2696. Minimum String Length After Removing Substrings

文章目录 一、题目二、题解 一、题目 You are given a string s consisting only of uppercase English letters. You can apply some operations to this string where, in one operation, you can remove any occurrence of one of the substrings “AB” or “CD” from s…

手撕单链表(单向,不循环,不带头结点)的基本操作

&#x1d649;&#x1d65e;&#x1d658;&#x1d65a;!!&#x1f44f;&#x1f3fb;‧✧̣̥̇‧✦&#x1f44f;&#x1f3fb;‧✧̣̥̇‧✦ &#x1f44f;&#x1f3fb;‧✧̣̥̇:Solitary-walk ⸝⋆ ━━━┓ - 个性标签 - &#xff1a;来于“云”的“羽球人”。…

mercury靶机

文章妙语 不与伪君子争名&#xff0c;不与真小人争利&#xff0c;不与执拗人争理&#xff0c;不与匹夫争勇&#xff0c;不与酸儒争才。不与蠢人施恩 一、信息收集 主机探测 端口探测 探测主机详细版本信息 8080开了http服务 目录扫描 robots.txt目录下什么也没有 二&#xff0…

Python | Iter/genartor | 一文了解迭代器、生成器的含义\区别\优缺点

前提 一种技术的出现&#xff0c;需要考虑&#xff1a; 为了实现什么样的需求&#xff1b;遇到了什么样的问题&#xff1b;采用了什么样的方案&#xff1b;最终接近或达到了预期的效果。 概念 提前理解几个概念&#xff1a; 迭代 我们经常听到产品迭代、技术迭代、功能迭代…

oracle常用内部表和视图

Oracle数据库中存在大量内部表和视图&#xff0c;主要用于系统管理和维护。这里列出一些常用的内部视图&#xff08;数据字典视图&#xff09;和内部表&#xff1a; **常用内部视图&#xff08;Data Dictionary Views&#xff09;&#xff1a;** 1. **用户权限相关视图&#…

零基础学习数学建模——(二)数学建模的步骤

本篇博客将详细介绍数学建模的步骤。 文章目录 引例&#xff1a;年夜饭的准备第一步&#xff1a;模型准备第二步&#xff1a;模型假设第三步&#xff1a;模型建立第四步&#xff1a;模型求解第五步&#xff1a;结果分析第六步&#xff1a;模型检验第七步&#xff1a;模型应用及…

爬虫案例—抓取小米商店应用

爬虫案例—抓取小米商店应用 代码如下&#xff1a; # 抓取第一页的内容 import requests from lxml import etree url ‘https://app.mi.com/catTopList/0?page1’ headers { ‘User-Agent’: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (K…

go中for range的坑以及解决方案

一、for range的坑 相信小伙伴都遇到过以下的循环变量的问题&#xff0c;那是因为循环的val变量是重复使用的&#xff0c;即仅有一份。也就是说&#xff0c;每次循环后赋给val的值就会把前面循环赋给val的值替换掉&#xff0c;所以打印出来的值都是最后一次循环赋给val的值。 …

openeuler的安装和两台linux主机配置ssh实现互相免密登陆

一、openeuler的安装 下载OpenEuler - 网址&#xff1a;https://www.openeuler.org/zh/download/archive/ - 版本选择&#xff1a;openEuler 22.03 LTS SP2 &#xff08;镜像文件&#xff09; &#xff0c;即长期更新版 设置自定义硬件 内存&#xff1a;推荐2GB 处理器&…

oracle基本用户管理和权限分配

1.用户与模式的关系&#xff0c;一一对应的关系 2.创建与管理用户 2.1创建用户语法 CREATE user wdf IDENTIFIED by tiger--创建用户wdf,密码tiger DEFAULT tablespace users--用户的默认表空间 quota 10M on users;--在表空间的占用最大空间 注意&#xff1a;用户创建以后…

rke2 Offline Deploy Rancher v2.8.0 latest (helm 离线部署 rancher v2.8.0)

文章目录 预备条件为什么是三个节点&#xff1f;​预备条件配置私有仓库介质清单安装 helm安装 cert-manager下载介质镜像入库helm 部署卸载 安装 rancher镜像入库helm 安装 验证 预备条件 所有支持的操作系统都使用 64-bit x86 架构。Rancher 兼容当前所有的主流 Linux 发行版…

如何通过兴趣爱好选职业?

一个错误的选择&#xff0c;可能造成终身的遗憾&#xff0c;一个正确的选择&#xff0c;可以让我们少奋斗几十年。所以无论现在付出多少代价&#xff0c;多花一些时间&#xff0c;去研究以下未来的职业方向&#xff0c;这是值得的。 职业定位&#xff08;专业定位&#xff09;…

深兰科技AI医疗健康产品获3000台采购订单

12月6日&#xff0c;武汉某企业与深兰科技签署协议&#xff0c;一次性采购3000台深兰科技AI生理健康检测仪——扁鹊。 深兰科技AI生理健康检测仪——扁鹊是深兰科技推出的人体生理指标检测产品。基于AI生物技术、融合互联网医疗及AIoT技术&#xff0c;深兰科技AI生理健康检测仪…

YOLOv8-Seg改进:轻量化改进 | 华为Ghostnet,超越谷歌MobileNet | CVPR2020

🚀🚀🚀本文改进: Ghost bottleneck为堆叠Ghost模块 ,与YOLOV8建立轻量C2f_GhostBottleneck 🚀🚀🚀YOLOv8-seg创新专栏:http://t.csdnimg.cn/KLSdv 学姐带你学习YOLOv8,从入门到创新,轻轻松松搞定科研; 1)手把手教你如何训练YOLOv8-seg; 2)模型创新,提…

HubSpot CRM:卓越客户服务的关键引擎

在数字化时代&#xff0c;提供卓越的客户服务是企业成功的关键之一。HubSpot CRM以其强大的功能和灵活性&#xff0c;成为实现卓越客户服务的关键引擎&#xff0c;以下是强调HubSpot CRM在客户服务中的应用的关键方面&#xff1a; 1. 全面的客户视图 HubSpot CRM集成了全面的…