jsonl - JSON Lines

文章目录

- 一、关于 JSON Lines
- - 1.UTF-8编码
  - 2.每一行都是有效的JSON值
  - 3.行分隔符为`'\n' `
  - 4.建议的惯例
- 二、示例
- - 1、Better than CSV
  - 2、Easy Nested Data
- 三、Json 相关工具应用

一、关于 JSON Lines

官网：https://jsonlines.org （下文翻译自此）
json 官网：https://www.json.org/json-en.html
Validator : https://jsonlines.org/validator/

jsonl：JSON Lines，也称为换行分隔的JSON。

JSON Lines是一种方便的格式，用于存储可以一次处理一条记录的结构化数据。它可以很好地与unix风格的文本处理工具和shell管道配合使用。这是一个很好的日志文件格式。它也是一种在协作进程之间传递消息的灵活格式。

JSON Lines格式有三个要求：

1.UTF-8编码

JSON允许只使用ASCII转义序列对Unicode字符串进行编码，但是在文本编辑器中查看这些转义时很难读取。JSON Lines文件的作者可以选择转义字符来处理纯ASCII文件。

UTF-8以外的编码在解码为UTF-8时不太可能有效，因此有可能意外误解字符JSON Lines文件中的行数较低。

2.每一行都是有效的JSON值

最常见的值是对象或数组，但允许使用任何JSON值。

参见json.org有关JSON值的更多信息。

3.行分隔符为`'\n'`

这意味着还支持 \r\n，因为在解析JSON值时会隐式忽略周围的空白。

文件*中的最后一个字符可能是行分隔符，它将被视为不存在行分隔符。

4.建议的惯例

JSON Lines文件可以使用文件扩展名.jsonl保存。

建议使用流压缩器（如 gzip 或 bzip2）以节省空间，从而生成 .jsonl.gz 或 .jsonr.bz2 文件。

MIME类型可以是 application/jsonl，但这还没有标准化；如果能为编写RFC提供任何帮助，我们将不胜感激（请参阅问题)。

文本编辑程序将文本文件的第一行称为“第1行”。JSON Lines文件中的第一个值也应称为“值1”。

二、示例

1、Better than CSV

["Name", "Session", "Score", "Completed"]
["Gilbert", "2013", 24, true]
["Alexa", "2013", 29, true]
["May", "2012B", 14, false]
["Deloise", "2012A", 19, true]

CSV似乎很容易，以至于许多程序员都自己编写了代码来生成它，而且几乎每个实现都是不同的。

处理损坏的CSV文件是一项常见且令人沮丧的任务。CSV没有标准编码，没有标准的列分隔符和多字符转义标准。字符串是单元格值唯一支持的类型，因此一些程序试图猜测正确的类型。

JSON Lines干净无歧义地处理表格数据。单元格（Cells）可以使用标准的JSON类型。

最大的缺失是流行的电子表格程序的导入/导出过滤器，以便非程序员可以使用这种格式。

2、Easy Nested Data

{"name": "Gilbert", "wins": [["straight", "7♣"], ["one pair", "10♥"]]}
{"name": "Alexa", "wins": [["two pair", "4♠"], ["two pair", "9♠"]]}
{"name": "May", "wins": []}
{"name": "Deloise", "wins": [["three of a kind", "5♣"]]}

JSON Lines’ biggest strength is in handling lots of similar nested data structures. One .jsonl file is easier to work with than a directory full of XML files.

If you have large nested structures then reading the JSON Lines text directly isn’t recommended. Use the “jq” tool to make viewing large structures easier:

JSON Lines最大的优势在于处理大量类似的嵌套数据结构。

一个.jsonl文件比一个满是XML文件的目录更容易使用。

如果您有大型嵌套结构，则不建议直接读取 JSON Lines文本。使用 jq 工具可以更容易地查看大型结构：

grep pair winning_hands.jsonl | jq .
{"name": "Gilbert", "wins": [["straight", "7♣"], ["one pair", "10♥"]]
}
{"name": "Alexa", "wins": [["two pair", "4♠"], ["two pair", "9♠"]]
}