如何使用字节序列化双精度数组（二进制增量编码，用于低差单调浮点数据集）...

低延迟系统需要高性能的消息处理和传递。 由于在大多数情况下，数据必须通过有线传输或进行序列化才能保持持久性，因此编码和解码消息已成为处理管道的重要组成部分。 高性能数据编码的最佳结果通常涉及应用程序数据细节的知识。 本文介绍的技术是一个很好的例子，说明了如何利用数据的某些方面在延迟和空间复杂度方面使编码受益。

通常，高频交易系统周围传递的最大消息以订单簿摘录的形式表示某种交换状态。 即，典型的市场数据（报价）消息包含标识工具的信息和代表订单簿顶部的一组值。 数据集的强制性成员是以实数表示的价格/汇率信息（用于买卖双方）。

从优化的角度来看，使该数据集非常有趣的原因是：

  1. 单调的
  2. 低方差
  3. 非负*

因此，在实践中，我们处理的是浮点数集，这些浮点数不仅经过排序（升序出价和降价要求），而且相邻值彼此相对“接近”。 请记住，消息处理延迟对于大多数交易系统而言至关重要，因此市场行情波动，因为关键实体之一需要尽可能高效地传递。

让我演示如何利用所有这些功能将数字数据编码为非常紧凑的二进制形式。 首先，两个预告情节说明了不同序列化方法之间的区别：

图片1

到目前为止，我们可以看到，与基于标准ByteBuffer的序列化相比，增量编码在编码时间上可获得更好的结果，但是一旦数组长度超过40，它就会比Kryo （最流行的高性能序列化库之一）更差。不过，在这里重要的是一个典型的用例场景，对于高频交易，市场消息恰好适合阵列长度的10-40

当我们检查生成的消息大小（作为数组长度的函数）时，它会变得更加有趣：

image2

此时，应用增量编码的好处将变得显而易见（蓝色曲线同样适用于字节缓冲区和Kryo​​序列化）。 这里发生的是，在掌握了一些有关要处理的数据的特定知识之后，可以安全地做出一些假设，从而导致序列化占用更多的CPU资源，但是在空间方面却效率高得多。 增量压缩背后的想法非常简单。 让我们从一个整数数组开始：

  • [85103、85111、85122、85129、85142、85144、85150、85165、85177]

如果这些是整数，则不进行任何压缩就必须使用4 * 9 = 36字节来存储数据。 在这组数字中，特别有趣的是它们彼此相对紧密地聚集在一起。 我们可以通过引用第一个值轻松地减少存储数据所需的字节数，然后生成一个对应的增量数组：

  • 参考：85103，[8、19、26、39、41、47、62、74]

哇！ 现在我们可以缩小为字节数组。 让我们再次进行计算。 我们需要4个字节作为参考值（仍为int），每个增量= 8 * 1个字节= 12个字节。

与原始的36个字节相比，这是一个很大的改进，但仍有一些优化的余地。 与其从参考值计算增量，不如依次存储每个前任的差异：

  • 参考：85103，[8、11、7、13、2、6、15、12]

结果是一组具有低方差和标准偏差的非单调数字。 我希望事情已经明确了。 尽管如此，还是值得详细说明。

至此，我们基本上得出的是一个非常适合二进制编码的集合。 对于我们的示例，这仅意味着可以在单个字节中容纳2个增量。 我们只需要一个半字节（4位）即可容纳0-15范围内的值，因此我们可以轻松地最终将原始数组压缩为4（供参考）+ 8 * 1/2 = 8个字节。

由于价格是用十进制数表示的，因此应用带有二进制编码的增量压缩将涉及建立最大支持的精度并将小数视为整数（将它们乘以10 ^精度），从而使精度为6的1.12345678成为1123456整数。 到目前为止，所有这些都是纯粹的理论推测，本文开头有一些预告片。 我想这是演示如何使用2个非常简单的类在Java中实现这些想法的恰当时机。

我们将从编码方面开始： 

package eu.codearte.encoder;import java.nio.ByteBuffer;import static eu.codearte.encoder.Constants.*;public class BinaryDeltaEncoder {public static final int MAX_LENGTH_MASK = ~(1 << (LENGTH_BITS - 1));public ByteBuffer buffer;public double[] doubles;public int[] deltas;public int deltaSize, multiplier, idx;public void encode(final double[] values, final int[] temp, final int precision, final ByteBuffer buf) {if (precision >= 1 << PRECISION_BITS) throw new IllegalArgumentException();if ((values.length & MAX_LENGTH_MASK) != values.length) throw new IllegalArgumentException();doubles = values; deltas = temp; buffer = buf;multiplier =  Utils.pow(10, precision);calculateDeltaVector();if (deltaSize > DELTA_SIZE_BITS) throw new IllegalArgumentException();buffer.putLong((long) precision << (LENGTH_BITS + DELTA_SIZE_BITS) | (long) deltaSize << LENGTH_BITS | values.length);buffer.putLong(roundAndPromote(values[0]));idx = 1;encodeDeltas();}private void calculateDeltaVector() {long maxDelta = 0, currentValue = roundAndPromote(doubles[0]);for (int i = 1; i < doubles.length; i++) {deltas[i] = (int) (-currentValue + (currentValue = roundAndPromote(doubles[i])));if (deltas[i] > maxDelta) maxDelta = deltas[i];}deltaSize = Long.SIZE - Long.numberOfLeadingZeros(maxDelta);}private void encodeDeltas() {if (idx >= doubles.length) return;final int remainingBits = (doubles.length - idx) * deltaSize;if (remainingBits >= Long.SIZE || deltaSize > Integer.SIZE) buffer.putLong(encodeBits(Long.SIZE));else if (remainingBits >= Integer.SIZE || deltaSize > Short.SIZE) buffer.putInt((int) encodeBits(Integer.SIZE));else if (remainingBits >= Short.SIZE || deltaSize > Byte.SIZE) buffer.putShort((short) encodeBits(Short.SIZE));else buffer.put((byte) encodeBits(Byte.SIZE));encodeDeltas();}private long encodeBits(final int typeSize) {long bits = 0L;for (int pos = typeSize - deltaSize; pos >= 0 && idx < deltas.length; pos -= deltaSize)bits |= (long) deltas[idx++] << pos;return bits;}private long roundAndPromote(final double value) {return (long) (value * multiplier + .5d);}
}

在详细介绍之前，请先介绍几句话。 该代码不是完整的，成熟的解决方案。 它的唯一目的是演示提高应用程序序列化协议的某些位的难易程度。 由于它受到了微基准测试，它也不会引起gc压力，因为即使是最快的次要gc的影响也会严重扭曲最终结果，从而使api变得丑陋。 该实现也是次优的，尤其是在CPU方面，但是证明微优化不是本文的目标。 话虽如此，让我们看看它的作用（大括号中的行号）。

编码方法首先进行一些基本的健全性检查{17,18}，计算将十进制转换为整数{20}所用的乘数，并计算calculateDeltaVector（）。 这又有两个影响。

  1. 通过将小数转换为整数，从前任减去，最后将结果存储在临时数组{33}中，计算整个集合的滚动增量
  2. 作为副作用，得出表示增量{34,36}所需的最大位数

然后，encode（）方法存储正确反序列化所需的一些元数据。 它以位为单位打包精度，增量大小，并以前64位{24}打包数组长度。 然后，它存储参考值{25}并启动二进制编码{27}。

编码增量执行以下操作：

  1. 检查它是否已经处理了所有数组条目，如果已​​退出则退出{40}
  2. 计算要编码的剩余位数{41}
  3. 选择最合适的类型（给定大小，以位为单位），对剩余的位进行编码，然后将这些位写入缓冲区{43-46}
  4. 递归{47}

可能需要详细说明的最后一点是encodeBits（）方法本身。 根据在参数中传递的类型大小（以位为单位），它会循环一个临时long，其唯一目的是用作位集，并写入代表从long值的最高有效部分到最低有效部分的连续增量的位（范围为字号）。

正如预期的那样，解码与编码完全相反，并且主要是关于使用元数据来重建原始double数组，直至达到指定的精度： 

package eu.codearte.encoder;import java.nio.ByteBuffer;import static eu.codearte.encoder.Constants.DELTA_SIZE_BITS;
import static eu.codearte.encoder.Constants.LENGTH_BITS;public class BinaryDeltaDecoder {private ByteBuffer buffer;private double[] doubles;private long current;private double divisor;private int deltaSize, length, mask;public void decode(final ByteBuffer buffer, final double[] doubles) {this.buffer = buffer; this.doubles = doubles;final long bits = this.buffer.getLong();divisor = Math.pow(10, bits >>> (LENGTH_BITS + DELTA_SIZE_BITS));deltaSize = (int) (bits >>> LENGTH_BITS) & 0x3FFFFFF;length = (int) (bits & 0xFFFFFFFF);doubles[0] = (current = this.buffer.getLong()) / divisor;mask = (1 << deltaSize) - 1;decodeDeltas(1);}private void decodeDeltas(final int idx) {if (idx == length) return;final int remainingBits = (length - idx) * deltaSize;if (remainingBits >= Long.SIZE) decodeBits(idx, buffer.getLong(), Long.SIZE);else if (remainingBits >= Integer.SIZE) decodeBits(idx, buffer.getInt(), Integer.SIZE);else if (remainingBits >= Short.SIZE) decodeBits(idx, buffer.getShort(), Short.SIZE);else decodeBits(idx, buffer.get(), Byte.SIZE);}private void decodeBits(int idx, final long bits, final int typeSize) {for (int offset = typeSize - deltaSize; offset >= 0 && idx < length; offset -= deltaSize)doubles[idx++] = (current += ((bits >>> offset) & mask)) / divisor;decodeDeltas(idx);}}

带有一些测试类的源代码可以在这里找到。 请记住，即使事实证明该代码可以正常工作，也不适合生产。 您绝对可以使它工作而无需临时阵列，用聪明的方法代替最大阵列大小时，可以代替全阵列扫描，也可以通过采用倒数近似除法而无需进行重量级除法。 随意选择这些提示或进行不同的微优化，并构建自己的专有增量编码协议。 对于对延迟敏感的交易应用程序而言，它具有很大的区别，可将液体工具的市场数据消息大小减小20-30倍。 当然，如果切换到增量压缩二进制编码会对您的应用程序生态系统带来任何价值，那么您必须弄清楚自己。 随便发表您的发现与评论！

参考： 如何从Fast的 JCG合作伙伴 Wojciech Kudla 获得一个带有字节的双精度数组的序列化（二进制delta编码，用于低差单调浮点数据集） 。 快点。 怪胎的博客。

翻译自: https://www.javacodegeeks.com/2014/01/how-to-serialize-an-array-of-doubles-with-a-byte-binary-delta-encoding-for-low-varianced-monotonic-sets-of-floating-point-data.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/369419.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

error

error

for(int i1;i<size;i) { if(ba[i]) { pos i1; break; } }输入&#xff1a; a{4,5,7,4,6,8},b4 输出&#xff1a; 位置是4&#xff08;错误&#xff0c;这儿应该是1&#xff0c;但程序未失败。&#xff09;改成&#xff1a;for(int i0;i<size;i) { if(ba[i]) { pos i1; …
阅读更多...
c语言第一次作业,C语言培训班第一次作业 (1)

c语言第一次作业,C语言培训班第一次作业 (1)

1、以下叙述中正确的是()(A)、用户所定义的标识符不允许使用关键字。(B)、分号是C语句之间的分隔符&#xff0c;不是语句的一部分。(C)、花括号“&#xff5b;&#xff5d;”只能作为函数体的定界符。(D)、构成C程序的基本单位是函数&#xff0c;所有函数都可以由用户命名。1、…
阅读更多...
2.Python爬虫入门二之爬虫基础了解

2.Python爬虫入门二之爬虫基础了解

1.什么是爬虫 爬虫&#xff0c;即网络爬虫&#xff0c;大家可以理解为在网络上爬行的一直蜘蛛&#xff0c;互联网就比作一张大网&#xff0c;而爬虫便是在这张网上爬来爬去的蜘蛛咯&#xff0c;如果它遇到资源&#xff0c;那么它就会抓取下来。想抓取什么&#xff1f;这个由你来…
阅读更多...
对request.getSession(false)的理解（附程序员常疏忽的一个漏洞）

对request.getSession(false)的理解（附程序员常疏忽的一个漏洞）

本文属于本人原创&#xff0c;转载请注明出处&#xff1a;http://blog.csdn.net/xxd851116/archive/2009/06/25/4296866.aspx 【前面的话】 在网上经常看到有人对request.getSession(false)提出疑问&#xff0c;我第一次也很迷惑&#xff0c;看了一下J2EE1.3 API&#xff0c;看…
阅读更多...
实现自定义的未来

实现自定义的未来

上一次我们学习了java.util.concurrent.Future<T>背后的原理 。 我们还发现&#xff0c; Future<T>通常由库或框架返回。 但是没有什么可以阻止我们在有意义的情况下自行实现所有功能。 它不是特别复杂&#xff0c;可以显着改善您的设计。 我尽力为我们的示例选择有…
阅读更多...
c语言中的两个百分号什么意思,百分号的用法，特别是在两个量词之间的用法，例如50%—70%和50—70%...-百分号-语文-彭都宰同学...

c语言中的两个百分号什么意思,百分号的用法，特别是在两个量词之间的用法，例如50%—70%和50—70%...-百分号-语文-彭都宰同学...

概述&#xff1a;本道作业题是彭都宰同学的课后练习&#xff0c;分享的知识点是百分号&#xff0c;指导老师为屠老师&#xff0c;涉及到的知识点涵盖&#xff1a;百分号的用法&#xff0c;特别是在两个量词之间的用法&#xff0c;例如50%—70%和50—70%...-百分号-语文&#xf…
阅读更多...
Markdown 语法和 MWeb 写作使用说明

Markdown 语法和 MWeb 写作使用说明

# Markdown 语法和 MWeb 写作使用说明 ## Markdown 的设计哲学 > Markdown 的目標是實現「易讀易寫」。> 不過最需要強調的便是它的可讀性。一份使用 Markdown 格式撰寫的文件應該可以直接以純文字發佈&#xff0c;並且看起來不會像是由許多標籤或是格式指令所構成。>…
阅读更多...
微信小程序 引入公共页面的几种情况

微信小程序 引入公共页面的几种情况

1、不带参数 首先在pages文件夹中新建一个template文件夹&#xff0c;文件夹中新建一个template.wxml文件&#xff0c;代码如下 <!--template.wxml--> <template name"msgItem"><view><text>This is template.wxml文件&#xff0c;我是一个…
阅读更多...
Python学习笔记----基础篇10----模块2

Python学习笔记----基础篇10----模块2

8&#xff09;json& pickle 用于序列化的两个模块 json&#xff0c;用于处理字符串和python数据类型间进行转换 pickle&#xff0c;用于python特有的类型和python的数据类型间进行站换 Json模块提供了四个功能&#xff1a;dumps、dump、loads、load pickle模块提供了四个功…
阅读更多...
易语言自定义数据类型转c,一步一步跟我学易语言之自定义数据类型

易语言自定义数据类型转c,一步一步跟我学易语言之自定义数据类型

自定义数据类型什么是“自定义数据类型”&#xff1f;顾名思义&#xff0c;就是用户可以随时在程序中自行定义新的数据类型。自定义数据类型时需要设置数据类型的名称及其成员。数据类型成员各属性的设置方法等同于变量设置时相应属性的设置方法。双击“程序”中的“自定义数据…
阅读更多...
（第2部分，共3部分）：有关性能调优，Java中的JVM，GC，Mechanical Sympathy等的文章和视频的摘要...

（第2部分，共3部分）：有关性能调优，Java中的JVM，GC，Mechanical Sympathy等的文章和视频的摘要...

这是以前的文章&#xff08;第3部分&#xff0c;共1部分&#xff09;的继续&#xff1a;有关性能调优&#xff0c;Java中的JVM&#xff0c;GC&#xff0c;Mechanical Sympathy等的文章和视频的提要 。 事不宜迟&#xff0c;让我们开始使用我们的下一组博客和视频&#xff0c;印…
阅读更多...
Redis初步整理

Redis初步整理

1&#xff0c;Redis 简介 Redis 是完全开源免费的&#xff0c;遵守BSD协议&#xff0c;是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点&#xff1a; Redis支持数据的持久化&#xff0c;可以将内存中的数据保持在磁盘中&#xff0c;重启的时…
阅读更多...
阶段十-物业项目

阶段十-物业项目

可能遇到的错误&#xff1a; 解决jdk17javax.xml.bind.DatatypeConverter错误 <!--解决jdk17javax.xml.bind.DatatypeConverter错误--><dependency><groupId>javax.xml.bind</groupId><artifactId>jaxb-api</artifactId><version>…
阅读更多...
echarts中triggeron与trigger不能同时出现吗_好物|痛风、血糖高、虚不受补能吃它吗？你想知道的阿胶十问十答一锅出！...

echarts中triggeron与trigger不能同时出现吗_好物|痛风、血糖高、虚不受补能吃它吗？你想知道的阿胶十问十答一锅出！...

最近百草君在整理粉丝留言的时候&#xff0c;发现关于阿胶四物膏的留言不少&#xff0c;并且有重复问题。百草君特意整理出来几个粉丝们特别关注的问题&#xff0c;给大家统一解答&#xff0c;顺序不分前后&#xff1a;Q1阿胶四物膏什么口感&#xff0c;甜不甜&#xff1f;阿胶…
阅读更多...
【移动端 Web】怎么循序渐进地开发一个移动端页面

【移动端 Web】怎么循序渐进地开发一个移动端页面

1. 移动页面开发基础 1.1 像素——什么是像素 像素是 Web 页面布局的基础&#xff0c;那么到底什么才是一个像素呢&#xff1f; 像素&#xff1a;一个像素就是计算机屏幕所能显示一种特定颜色的最小区域。这是像素的概念&#xff0c;实际上&#xff0c;Web 前端开发领域&…
阅读更多...
带有Spring的JavaFX 2

带有Spring的JavaFX 2

我将从一个大胆的声明开始&#xff1a;我一直很喜欢Java Swing或applet。 在那里&#xff0c;我说了。 如果我进行一些自我分析&#xff0c;那么这种钦佩可能是在我入门Java时开始的。 Swing&#xff08;实际上&#xff09;是我使用Java所做的第一件事&#xff0c;它给出了一些…
阅读更多...
c语言怎么样文件存储数据,急求如何将下列C语言程序数据存储到文件中？

c语言怎么样文件存储数据,急求如何将下列C语言程序数据存储到文件中？

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼求如何改动才能将下列程序的存储输入或输出数据(或两者一起)到指定的文件(或运行时直接创立一个文件)如Arrangement中。#include int n0;int rest[7][7]; //全局声明,以供全局调用int main(){void perm(int list[],int ,int );int …
阅读更多...
PHP面试题之优化

PHP面试题之优化

* PHP性能问题 * 1.PHP语法使用的不恰当 * 2.使用PHP语言做了它不擅长的事 * 3.使用PHP语言链接的服务不给力 * 4.PHP自身做不了的事情 * * PHP的性能问题的解决方向 * 1.PHP语言级的性能优化(代码优化) * 2.PHP周边问题的性能优化(linux,mysql,磁盘等) * 3.PHP语言性能的优化…
阅读更多...
3.4 内置函数(1)

3.4 内置函数(1)

3.4转载于:https://www.cnblogs.com/Jermy/articles/10940658.html
阅读更多...
c++ 分页展示_分合相宜 Excel透视报表生成分页和汇总报表

c++ 分页展示_分合相宜 Excel透视报表生成分页和汇总报表

我们经常要利用Excel生成指定类型的报表&#xff0c;但是很多报表原始数据是混杂在一起&#xff0c;或者是分布在各个子表中。现在利用Excel透视报表的功能&#xff0c;我们可以快速将混杂的数据分离为分页报表&#xff0c;或者将独立子表整合为汇总报表。简单分页&#xff0c;…
阅读更多...
最新文章

Copyright @ 2022~2023