前言
本文是该专栏的第59篇,后面会持续分享python爬虫干货知识,记得关注。
处理爬虫项目的时候,相信很多同学都会遇到这样的需求。需要你将爬虫抓取到的数据以json格式进行存储,尤其需要将数据存入mongo数据库的时候。以csv,txt,mysql等形式进行存储,本专栏前面都有详细介绍,在本文中笔者就不过多详述。
而本文,笔者将详细介绍针对“爬虫抓取的数据以json格式进行存储”。下面,笔者将以某网的爬虫案例为例子,将抓取的数据以json格式进行保存。具体的逻辑和实现思路,直接往下看正文详细内容。(附带完整代码)
正文
1. 场景介绍
为了更详细的说明以及介绍让爬虫抓取的数据,直接以json进行存储,笔者将结合一个实际的爬虫案例为说明。
import json # 创建列表
data = [ {"name": "John", "age": 30, "city": "New York"}, {"name": &#