1.jsonpath
2.通过jsonpath实战
一.Jasonpath核心符号
1)$:
-
含义：表示 JSON 文档的根节点。
-
用法：所有 JSONPath 表达式都以
$开头，表示从根节点开始查询。
{"store": {"book": [{"title": "Book 1", "price": 10},{"title": "Book 2", "price": 20}]}
}$ 表示整个 JSON 文档。
2) . :
-
含义：用于访问对象的属性。
-
用法：通过点号
.可以访问对象的属性。
$.store 表示获取 store 对象。
$.store.book 表示获取 store 对象中的 book 数组。
from jsonpath import jsonpath
data={"store": {"book": [{"title": "Book 1", "price": 10},{"title": "Book 2", "price": 20}]}
}
store=jsonpath(data,"$.store")
book = jsonpath(data,"$.store.book")
print(store)
print(book)[{'book': [{'title': 'Book 1', 'price': 10}, {'title': 'Book 2', 'price': 20}]}]
[[{'title': 'Book 1', 'price': 10}, {'title': 'Book 2', 'price': 20}]]3) [ ]:
-
含义：用于访问数组元素或对象的属性（支持属性名或索引）。
-
用法：
-
访问数组元素：
[index] -
访问对象属性：
['property']
-
$.store.book[0] 表示获取 book 数组的第一个元素。
$['store']['book'][0] 也可以用于访问属性。
from jsonpath import jsonpath
data={"store": {"book": [{"title": "Book 1", "price": 10},{"title": "Book 2", "price": 20}]}
}
a = jsonpath(data,"$.store[book]")
b = jsonpath(data,"$[store][book][0]")
print(a)
print(b)[[{'title': 'Book 1', 'price': 10}, {'title': 'Book 2', 'price': 20}]]
[{'title': 'Book 1', 'price': 10}]4) .. :
-
含义：递归下降，表示从当前节点开始递归搜索所有子节点。
-
用法：用于查找 JSON 文档中所有符合条件的节点。
$..title 表示在整个 JSON 文档中查找所有 title 属性。
$..book 表示查找所有 book 节点。
from jsonpath import jsonpath
data={"store": {"book": [{"title": "Book 1", "price": 10},{"title": "Book 2", "price": 20}]}
}
a = jsonpath(data,"$..title")
b = jsonpath(data,"$..book")
print(a)
print(b)['Book 1', 'Book 2']
[[{'title': 'Book 1', 'price': 10}, {'title': 'Book 2', 'price': 20}]]5)@:
-
含义：在过滤器表达式中表示当前节点。
-
用法：用于在
?()中引用当前节点。
$.store.book[?(@.price < 10)] 中的 @ 表示当前 book 元素。
6)?():
-
含义：过滤器表达式，用于根据条件筛选数据。
-
用法：在
?()中编写条件表达式，筛选符合条件的节点。
$.store.book[?(@.price < 10)] 表示获取 book 数组中价格小于 10 的所有元素。
$.store.book[?(@.category == 'fiction')] 表示获取 category 为 fiction 的书籍。
二.实战
当网页返回的源代码为json格式时,使用JSONPATH进行网页爬取
1.通过判断,腾讯网 为异步加载,所以要查看Fetch/XHR
2.在通过jsonpath获取想要的信息部分
import requests
from jsonpath import jsonpath
import random
def get_data(url,headers,payload):response = requests.post(url, headers=headers,json=payload)if response.status_code == 200:html_data = response.json()return html_dataelse:print("请求代码:",response.status_code)def parse_json(html_data):titles = jsonpath(html_data,'$.data..title')times = jsonpath(html_data,'$..publish_time')hrefs = jsonpath(html_data,'$..link_info[url]')for title,time,href in zip(titles,times,hrefs):print("新闻标题:",title)print("发布时间:",time)print("新闻链接:",href)if __name__ == '__main__':url="https://i.news.qq.com/web_feed/getHotModuleList"USER_AGENTS = ["Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)","Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)","Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)","Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)"]headers = {"user-agent": random.choice(USER_AGENTS),"cookie": "你的cookies"}payload={"你的浏览器requests payload"}html_data = get_data(url,headers,payload)parse_json(html_data)
