simdjson 高性能JSON解析C++库

simdjson 是什么

simdjson 是一个用来解析JSON数据的 C++ 库，它使用常用的 SIMD 指令和微并行算法来每秒解析千兆字节的 JSON，在Velox, ClickHouse, Doris 中均有使用。

加载和解析 JSON documents

出于性能考虑，simdjson 需要一个末尾有几个字节（simdjson::SIMDJSON_PADDING）的字符串，这些字节可以被读取，但它们的内容不会影响解析。实际上，这意味着 JSON 输入应存储在末尾带有 simdjson::SIMDJSON_PADDING 额外字节的内存区域中。用户不需要对这些额外的字节指定值。

simdjson 库提供了一个类似树的 API，可以通过创建 ondemand::parser 并调用 iterate() 方法来访问它。 iterate() 方法可以快速索引输入字符串，并且可以检测到一些错误（JSON不合法）。以下是针对不同字符串表达方式的示例:

ondemand::parser parser;
auto json = padded_string::load("twitter.json"); // load JSON file 'twitter.json'.
ondemand::document doc = parser.iterate(json); // position a pointer at the beginning of the JSON data

ondemand::parser parser;
auto json = "[1,2,3]"_padded; // The _padded suffix creates a simdjson::padded_string instance
ondemand::document doc = parser.iterate(json); // parse a string

ondemand::parser parser;
char json[3+SIMDJSON_PADDING];
strcpy(json, "[1]");
ondemand::document doc = parser.iterate(json, strlen(json), sizeof(json));

std::string data = "my data";
simdjson::padded_string my_padded_data(data); // copies to a padded buffer

建议不要在应用程序中创建许多 std::string 或许多 std::padding_string 实例来存储 JSON 数据，而是重用相同的缓冲区并限制内存分配。

Documents 就是迭代器

simdjson 解析JSON是按需的，document 并不是被完全解析后的JSON，他是一个用于迭代JSON文本的迭代器。当你在迭代时会触发解析原始的JSON文本，处理括号、逗号之类的分隔符，保证你能够得到结果。这么做对于性能提升非常关键，可以跳过不需要的解析动作

Parser, document 和 JSON的作用域

为了代码合法，需要在解析JSON时保证（1）parser 实例（2）输入的JSON string（3）document实例 都存活。并且要遵守以下两点：

  1. 一个 parser 实例同时最多有一个 document，因为它持有用于解析而分配的内存。
  2. 按照设计，每个JSON文档应该只有一个 document 实例。因此，如果必须将文档实例按引用传递给函数以避免复制，避免按值传递。

在 iterate 调用期间，原始 JSON 文本永远不会被修改——只能读取。用完 document 后，可以安全地丢弃数据源（无论是文件还是字符串）。

为了获得最佳性能，Parser实例应该在多个文件上重用：否则会不必要地重新分配内存，这是一个开销较大的过程。

如果需要同时解析多个 document，则应该有多个parser实例。

string_view

simdjson使用std::string_view表示已解析的字符串。string_view避免了复制数据的需要和以空字符结尾的C字符串的陷阱。它使用户更容易将数据复制到他们自己喜欢的类实例中。std::string_view 实例实际上只是指向内存中表示字符串的区域的指针。在 simdjson 中，我们返回 std::string_view 实例，这些实例要么指向您解析的输入字符串内或parser实例内的临时字符串缓冲区，该缓冲区在parser实例被销毁或使用它来解析另一个document之前一直有效。

使用解析后的 JSON

需要牢记以下规则：

  1. 当访问 document 时，document 实例应保留在作用域内：它是“迭代器”，用于跟踪您在 JSON 文档中的位置。根据设计，每个 JSON 文档有且仅有一个document实例。
  2. 因为 document 实际上只是一个迭代器，所以在访问同级对象或数组之前，您必须完全消耗当前对象或数组。
  3. 值只能使用一次，如果打算多次需要它们，应该获取并存储它们。应该只访问对象的键一次。应该只检查一次数组的值

以下具体说明指示如何在启用异常时使用 JSON：

  • 校验使用的东西。调用iterate时，document 会被快速索引。如果它不是有效的Unicode（UTF-8）字符串，或者如果存在未关闭的字符串，则可能会立即报告错误。但是它没有完全验证整个JSON。仅完全验证被使用的值和相关结构。这意味着在遍历document的每一步，都可能遇到错误。可以处理带有异常或错误代码的错误。

  • 提取值。可以将 JSON元素转换为 native type：double(element)。这适用于std::string_view, double, uint64_t, int64_t, bool, ondemand::object and ondemand::array. 也有显示方法 get_string(), get_double(), get_uint64(), get_int64(), get_bool(), get_object() and get_array(). 当调用显式或隐式的转换方法后，可能会抛出无法转换的异常。

  • 字段访问。要获取对象中“foo”字段的值，请使用 object["foo"]。这将扫描对象，查找具有匹配字符串的字段，并进行逐个字符的比较。如果对象中没有这样的键，可能会生成错误 simdjson::NO_SUCH_FIELD，可能会抛出异常。为了获得最佳性能，应该尝试按照键在文档中出现的顺序来查询键。

  • 输出成string。给定 JSON 文档中的文档、值、数组或对象，您可以输出适合再次解析为 JSON 内容的 JSON 字符串版本： simdjson::to_json_string(element).对 to_json_string 的调用会完全consume该元素：如果将其应用于 document，则 JSON 指针将前进到document的末尾。to_json_string 函数不应与获取字符串实例的值相混淆，该字符串实例是使用指向parser实例内的内部字符串缓冲区的轻量级 std::string_view 实例进行转义和表示的。为了说明这一点，以下两个代码段中的第一个将打印带有引号的未转义字符串“test”，而第二个代码段将打印字符串的转义内容（不带引号）:test。

    // serialize a JSON to an escaped std::string instance so that it can be parsed again as JSON
auto silly_json = R"( { "test": "result"  }  )"_padded;
ondemand::document doc = parser.iterate(silly_json);
std::cout << simdjson::to_json_string(doc["test"]) << std::endl; // Requires simdjson 1.0 or better

    // retrieves an unescaped string value as a string_view instance
auto silly_json = R"( { "test": "result"  }  )"_padded;
ondemand::document doc = parser.iterate(silly_json);
std::cout << std::string_view(doc["test"]) << std::endl;

  • 还有一些其他的，详见官方文档

错误处理

默认情况下，simdjson 库会在出现错误时引发异常 (simdjson_error)。如果在代码中省略了 try-catch，未捕获的异常将停止程序，有两种方法处理错误，一是单个 try/catch 子句进行错误处理，二是使用无异常方法。

  1. try/catch 子句进行错误处理

     bool simple_error_example_except() {TEST_START();ondemand::parser parser;auto json = R"({"bad number":3.14.1 })"_padded;try {ondemand::document doc = parser.iterate(json);double x = doc["bad number"].get_double();std::cout << "Got " << x << std::endl;return true;} catch(simdjson_error& e) {// e.error() == NUMBER_ERRORstd::cout << e.error() << std::endl;return false;}}

  2. 使用异常和单个 try/catch 子句进行错误处理使代码变得简单，但它使您无法控制错误。为了更轻松地调试或更强大的错误处理，您可能需要考虑使用无异常方法。整个 simdjson API 都可以使用无异常方法。所有可能失败的 simdjson API 都会返回 simdjson_result，它是一个 <value, error_code> 对。可以使用 .get() 检索值而不生成异常，如下所示：

    ondemand::document doc;
auto error = parser.iterate(json).get(doc);
if (error) { cerr << error << endl; exit(1); }

    如果没有错误，则返回错误代码 simdjson::SUCCESS：它的计算结果为布尔值 false。有几个错误代码来指示错误，它们的计算结果为布尔值为 true。当使用无异常的API时，有责任在使用结果之前检查错误：如果有错误，结果值将无效，使用它将导致未定义的行为。

    用一个例子来说明，我们尝试访问一个无效的值（3.14.1）。如果我们想继续而不抛出和捕获异常，我们可以这样做：

    bool simple_error_example() {ondemand::parser parser;auto json = R"({"bad number":3.14.1 })"_padded;ondemand::document doc;if (parser.iterate(json).get(doc) != SUCCESS) { return false; }double x;auto error = doc["bad number"].get_double().get(x);// returns "simdjson::NUMBER_ERROR"if (error != SUCCESS) {std::cout << error << std::endl;return false;}std::cout << "Got " << x << std::endl;return true;
}

    参考

    https://github.com/simdjson/simdjson/blob/master/doc/basics.md

    https://simdjson.org/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/28943.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

2024年高考：计算机相关专业前景分析与选择建议

2024年高考：计算机相关专业前景分析与选择建议

2024年高考结束&#xff0c;面对计算机专业是否仍具有吸引力的讨论&#xff0c;本文将从行业趋势、就业市场、个人兴趣与能力、专业选择建议等多个角度进行深入分析&#xff0c;以帮助考生和家长做出明智的决策。 文章目录 一、行业趋势与就业市场1. 计算机行业的发展与变革2. …
阅读更多...
49.Chome浏览器有三种清缓存方式

49.Chome浏览器有三种清缓存方式

49.Chome浏览器有三种清缓存方式&#xff1a;正常重新加载、硬件重新加载、清空缓存并硬性重新加载 1、【正常重新加载】 触发方式&#xff1a;①F5　　②CtrlR　　③在地址栏上回车　　④点击链接 如果缓存不过期会使用缓存。这样浏览器可以避免重新下载JavaScript文件、图像、…
阅读更多...
LINUX 精通 3.2

LINUX 精通 3.2

main里怎么实现 accept_cb 里的regist部分抽出来 // regist拉出来 int event_register(int fd, int event) {if (fd < 0) return -1;conn_list[fd].fd fd;conn_list[fd].r_action.recv_callback recv_cb;conn_list[fd].send_callback send_cb;memset(conn_list[fd].rbuff…
阅读更多...
【吉林大学Java程序设计】第8章：IO流

【吉林大学Java程序设计】第8章：IO流

第8章&#xff1a;IO流 1.流与相关类1.1 流的概念1.2 File类1.3 字节流及其方法1.4 字符流及其方法1.5 其他IO流&#xff08;1&#xff09;节点流&#xff08;2&#xff09;处理流&#xff08;过滤流&#xff09;&#xff08;3&#xff09;文件流基于字节的文件流基于节符的文件…
阅读更多...
Shell脚本(.sh文件)如何执行完毕之后不自动关闭？

Shell脚本(.sh文件)如何执行完毕之后不自动关闭？

Shell脚本异常傲娇&#xff0c;出错后、执行完根本不给你机会让你查看报错信息、输出信息&#xff0c;直接闪退。 废话不多说&#xff0c;调教方法如下&#xff0c;直接在Shell脚本末尾加上如下代码&#xff1a; 1、实现方式一 1.1 使用read命令达到类似bat中的pause命令效果…
阅读更多...
深度解析响应式异步编程模型

深度解析响应式异步编程模型

上一篇文章中我们聊了一下线程池，基于线程池的多线程编程是我们在高并发场景下提升系统处理效率的有效手段，但却不是唯一的。今天我们来看一下另一种异步开发的常用手段-响应式编程模型 传统多线程模型的缺陷 多线程模型是目前应用最为广泛的并发编程手段，但凡遇到什么性能…
阅读更多...
语义分割——mmsegmentation框架使用

语义分割——mmsegmentation框架使用

目录 1.mmsegmentation简介 2.mmsegmentation安装 3.mmsegmentation使用&#xff08;代码结构介绍&#xff09; 4.mmsegmentation使用实战&#xff08;deeplab v3为例&#xff09; 4.1配置 4.2训练&#xff1a; 4.3预测&#xff1a; 1.mmsegmentation简介 mmsegmentatio…
阅读更多...
LogicFlow 学习笔记——11. 对齐线 和 键盘快捷键

LogicFlow 学习笔记——11. 对齐线 和 键盘快捷键

对齐线 Snapline 对齐线能够在节点移动过程中&#xff0c;将移动节点的位置与画布中其他节点位置进行对比&#xff0c;辅助位置调整。位置对比有如下两个方面。 节点中心位置节点的边框 对齐线使用 普通编辑模式下&#xff0c;默认开启对齐线&#xff0c;也可通过配置进行关…
阅读更多...
自己想要公开自己的学习方法，但是自己很害怕自己的学习方法是一个错误的，因为对于自己而言，专升本的机会只有一次

自己想要公开自己的学习方法，但是自己很害怕自己的学习方法是一个错误的，因为对于自己而言，专升本的机会只有一次

分享自己的学习方法可能需要一定的勇气&#xff0c;特别是当你担心可能会受到批评或是不被理解时。以下是一些建议&#xff0c;可以帮助你克服这种恐惧&#xff1a;&#xff08;kimi编辑器自己对于这些内容的基础批注&#xff09; 自我肯定&#xff1a;首先&#xff0c;认识到你…
阅读更多...
安裝了windows，Ubuntu双系統，windows系統时间不对的修正方法

安裝了windows，Ubuntu双系統，windows系統时间不对的修正方法

当你在电脑上安装双系统（如 Windows 和 Ubuntu）时，系统时间不同步的问题通常是由于这两个操作系统处理系统时间的方式不同而引起的。Windows 默认使用本地时间（Local Time），而 Ubuntu 和其他基于 Linux 的系统通常使用协调世界时（UTC）。 为了解决这个问题，可以选择让…
阅读更多...
小程序开发的费用简介篇

小程序开发的费用简介篇

小程序的价格跟很多因素有关系&#xff0c;比如你想要的复杂度、功能多不多等等 今天我就来具体说说开发一款APP&#xff0f;小程序到底需要多少 ❶功能复杂度&#xff1a;功能越多越复杂&#xff0c;开发时间和费用就越高&#xff0c;费用就会高 ❷设计要求&#xff1a;高级的…
阅读更多...
RAG系列之：深入浅出 Embedding

RAG系列之：深入浅出 Embedding

RAG系列之&#xff1a;深入浅出 Embedding 什么是文本向量化&#xff1f; 文本向量化就是将文本数据转成数字数据&#xff0c;例如&#xff1a;将文本 It was the best of times, it was the worst of times. 转成 [0, 1, 0, 2, 2, 2, 2, 2, 0, 1]。 为什么要进行文本向量化…
阅读更多...
深入Linux Core文件生成与自定义命名规则

深入Linux Core文件生成与自定义命名规则

Linux 作为广泛使用的运行平台&#xff0c;在程序运行崩溃时能及时记录 错误信息&#xff0c;是很方便的查询问题的方式&#xff0c;这里对怎么使用 Linux下的 错误信息记录 core文件&#xff0c;进行总结介绍。 引言 在Linux系统开发中&#xff0c;当程序发生崩溃时&#xf…
阅读更多...
FinalShell 连接虚拟机超时，主机ping不通虚拟机，解决

FinalShell 连接虚拟机超时，主机ping不通虚拟机，解决

出现问题&#xff1a; 连接主机...java.net.ConnectException: Connection timed out: connect 在排查错误时发现&#xff1a; 虚拟机内能互相ping通&#xff0c;虚拟机能ping通主机 但是主机的cmd命令ping不通虚拟机 问题原因&#xff1a; 虚拟机内能互相ping通&#xff0…
阅读更多...
shop APP UI

shop APP UI

APP和微信小程序不一样&#xff0c; APP的客户端需要两个(一个安卓&#xff0c;一个苹果IOS); APP的服务端需要&#xff08;管理端后台&#xff0c;接口&#xff09;&#xff1b;
阅读更多...
CSS 列表样式（ul）全面解析

CSS 列表样式（ul）全面解析

CSS 列表样式是前端开发中常用的一种技术&#xff0c;用于定义无序列表&#xff08;ul&#xff09;的外观和行为。无序列表在网页布局和内容展示中扮演着重要角色&#xff0c;从导航菜单到内容清单&#xff0c;无所不在。通过CSS可以对无序列表的各个方面进行自定义&#xff0c…
阅读更多...
【Docker】解决访问难题：搭建私有的Docker镜像代理

【Docker】解决访问难题：搭建私有的Docker镜像代理

什么是Nexus 3 Nexus 3是由Sonatype公司开发的一款强大的包管理和仓库服务工具&#xff0c;它广泛应用于自动化的构建系统和持续集成/持续部署(CI/CD)流程中。Nexus 3支持多种包格式&#xff0c;包括但不限于Maven、npm、Docker、NuGet等&#xff0c;能够为软件开发中的依赖管…
阅读更多...
vivado PIN

vivado PIN

描述 引脚是基元或层次单元上的逻辑连接点。引脚允许 要抽象掉单元格的内容&#xff0c;并简化逻辑以便于使用。引脚可以 是标量的&#xff0c;包含单个连接&#xff0c;或者可以定义为对多个进行分组的总线引脚 信号在一起。 相关对象 引脚连接到一个单元&#xff0c;并且可以…
阅读更多...
tyflow线相关教程二

tyflow线相关教程二

线条生长一 生长静脉二 绳索动画三 两个球线连接四 扫帚五
阅读更多...
HCIA-Datacom H12-811 题库

HCIA-Datacom H12-811 题库

LDP 邻居发现有不同的实现机制和规定&#xff0c;下面关于LDP 邻居发现的描述错误的是&#xff1a; A&#xff1a;LDP发现机制包括LDP基本发现机制和LDP扩展发现机制 B&#xff1a;LDP基本发现机制可以自动发现直连在同条链路上的LDP Peers C&#xff1a;LDP扩展发现机制够发现…
阅读更多...
最新文章

Copyright @ 2022~2023