Python从入门到网络爬虫（JSON详解）

前言

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式。和XML相比，JSON更加简洁和易于读写，同时也更加易于解析和生成。JSON的基本数据类型包括字符串、数字、布尔、null以及数组和对象两种复合类型。各种编程语言都可以很方便地生成和解析JSON数据。

Python中内置了一个JSON模块，可以很方便地进行JSON数据的生成和解析。该模块包括四个函数：dumps、dump、loads和load，分别用于将Python对象转换为JSON格式的字符串、将Python对象转换为JSON格式并存储到一个文件中、将JSON字符串转换为Python对象和将JSON格式的文件读取并转换为Python对象。

json库是处理JSON格式的Python标准库，json库主要包括两类函数：操作函数和解析函数。

（1）操作函数：主要完成外部JSON格式和程序内部数据类型之间的转换功能。

（2）解析函数：主要用于解析键值对内容

（3）json格式包括对象和数组，用大括号{}和方括号[]表示，分别对应键值对的组合关系和对等关系，使用json库时需要注意json格式的“对象”和"数组"概念与Python语言中"字典"和"列表"的区别于联系。

（4）一般来说，JSON格式的对象将被json库解析为字典，JSON格式的数组将被解析为列表。

json包含两个过程，那就是编码和解码。编码是将Python数据类型变换成JSON格式，解码是从JSON格式中解析数据对应到Python数据类型的过程。

四个常用方法总结：

dump( )	将Python对象转换为JSON格式并存储到一个文件中
dumps( )	将Python对象转换为JSON格式的字符串
load( )	将JSON字符串转换为Python对象
loads( )	将JSON格式的文件读取并转换为Python对象

1. 将Python对象转换为json字符串

import jsondata = [{'hive': 1, 'hadoop': 2, 'hbase': 3, 'flink': 4, 'ambari': 5}]
print("data数据类型: ", type(data))# 将一个Python数据类型列表进行json格式的编码
data2 = json.dumps(data)
print("data2数据类型: ", type(data2))
print(data2)

jsonStr = json.dumps(arr)

2. 将Python对象转换为json数据并保存到文件中

使用dump方法可以将Python的字典对象转为json数据后并输出到文件中，下面代码实现读取Excel文件，并将读取的数据转换为json数据并保存到json文件中

import xlrd
import jsonworkbook = xlrd.open_workbook("E:\\studyproject\\python\\Excel数据读取\\费县摸排数据\\水源地.xls")worksheet = workbook.sheet_by_name('Sheet1')# 获取所有行数和列数
rows = worksheet.nrows
cols = worksheet.ncolsarr = []
for row in range(rows):obj = {}for col in range(cols):obj[worksheet.cell_value(0, col)] = worksheet.cell_value(row, col)arr.append(obj)fp = open('geo.json','w',encoding='utf-8')
jsonStr = json.dumps(arr)
json.dump(arr,fp,ensure_ascii=False)

注意：导出json文件是，json数据中文编码为unicode问题，这个时候需要在open()时设置encoding='utf-8‘参数，在dump方法中传入参数ensure_ascii=False

3. 将json字符串序列化为Python对象

使用Python进行接口数据爬取时，接口经常返回json数据格式，下面的代码示例中使用loads()函数将Python爬取今日头条文章列表接口返回的json数据转换为Python对象，并保存到数据库中。

# 浏览器自动化工具
from selenium import webdriver
from selenium.webdriver.common.by import By
# 时间工具
from time import sleep
from time import time
# 网络请求工具
import requests
# JSON解析工具
import json
# 数据库链接工具
import pymysql
# re库
import re# 创建一个浏览器实例
#browser = webdriver.Chrome() #谷歌
browser = webdriver.Firefox()# 获取请求地址
browser.get("file:///E:/studyproject/python/toutiao/getSig.html")#链接MySQL
mysqlCon = pymysql.connect(host="127.0.0.1",port=3306,user="root",password="123456",database="toutiao"
)
# 匹配模版
matchTemplate = ""sleep(10)while True:# 自动化获取js代码计算的sig数据值sigTag = browser.find_element(By.ID,"sigUrl")url = sigTag.textheaders = {# 设置User-Agent，模拟浏览器发送请求'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36',# 设置Cookie，用于身份验证或其他需要的信息'Cookie': '__ac_signature=_02B4Z6wo00f01Lz3yHgAAIDB3.0IExdN.9i818zAAEpR33;tt_webid=7309719685489198604;ttcid=fb73866ceb7a44cdb848344abfc11b6364;s_v_web_id=verify_lpur8vrr_aKDsfWBn_AThk_4UlU_8RpK_Ci9lGCzIBKbb; _ga=GA1.1.1051493470.1701926754; local_city_cache=%E4%B8%B4%E6%B2%82; csrftoken=4561fa578aa7c7bc7d3ac8f87ac7fad1; __feed_out_channel_key=entertainment; passport_csrf_token=a296ea89de4f632e00534cd16812d593; passport_csrf_token_default=a296ea89de4f632e00534cd16812d593; msToken=Lhx7DAYTtQJiiCVIVmYNqtpQkUVKq8RzEzhUZAslgKw_w5gJ_vSlmCJKsQoQUyXXoJzHhluRQFpfceUoT2n2IoACypVJ-aD7RCuXC7iI; tt_scid=0lfkb7lPohYDsWmjDuFAe7L3oLDo0KsbKzlhKzl1CQ2im2TQypCzPCKr.jkBHxexd641; ttwid=1%7CVPO9aK7JwsvyYUFWA3MR5i_pw1b4nic0TD5-jp-zjVc%7C1702450449%7C067c9bd8be4c0a21dc4e60bc225ee29072184eeb24503d5d6cc26b9554d20d26; _ga_QEHZPBE5HH=GS1.1.1702455638.13.0.1702455638.0.0.0.0.0'}# 请求接口获取json数据res = requests.get(url,headers=headers)json_obj = json.loads(res.text)# 通过遍历每条数据，过滤热门文章for item in json_obj['data']:# 计算文章分享数量shareCount = item['share_info']['share_type']['pyq']+item['share_info']['share_type']['qq']+item['share_info']['share_type']['qzone']+item['share_info']['share_type']['wx']imageList = ""# 判断文章路径是否是站内文章路径if re.match(matchTemplate,item['article_url']):# 多条件判断是否是较新的热门文章if item['read_count'] >= 3000:# 创建游标对象cursor = mysqlCon.cursor()# 执行 SQL 查询语句cursor.execute("select * from happy where item_id ="+item['item_id'])# 获取查询结果result = cursor.fetchall()# 判断是否已经插入if len(result) == 0:# 将热门文章保存到数据库sql = "insert into happy (id,item_id,title,abstract,publish_time,like_count,read_count,comment_count,share_count,image_list,article_url,gather_time,transport_time,source) values (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"values = (None,item['item_id'],item['title'],item['Abstract'],item['publish_time'],item['like_count'],item['read_count'],item['comment_count'],shareCount,imageList,item['article_url'],time(),0,"toutiao")cursor.execute(sql,values)mysqlCon.commit()else:print("已经存在")# 固定时间获取一次url地址sleep(180)# 关闭数据库链接
# cursor.close()
# mysqlCon.close()sleep(5)
browser.quit()