如何使用字节序列化双精度数组(二进制增量编码,用于低差单调浮点数据集)...

低延迟系统需要高性能的消息处理和传递。 由于在大多数情况下,数据必须通过有线传输或进行序列化才能保持持久性,因此编码和解码消息已成为处理管道的重要组成部分。 高性能数据编码的最佳结果通常涉及应用程序数据细节的知识。 本文介绍的技术是一个很好的例子,说明了如何利用数据的某些方面在延迟和空间复杂度方面使编码受益。

通常,高频交易系统周围传递的最大消息以订单簿摘录的形式表示某种交换状态。 即,典型的市场数据(报价)消息包含标识工具的信息和代表订单簿顶部的一组值。 数据集的强制性成员是以实数表示的价格/汇率信息(用于买卖双方)。

从优化的角度来看,使该数据集非常有趣的原因是:

  1. 单调的
  2. 低方差
  3. 非负*

因此,在实践中,我们处理的是浮点数集,这些浮点数不仅经过排序(升序出价和降价要求),而且相邻值彼此相对“接近”。 请记住,消息处理延迟对于大多数交易系统而言至关重要,因此市场行情波动,因为关键实体之一需要尽可能高效地传递。

让我演示如何利用所有这些功能将数字数据编码为非常紧凑的二进制形式。 首先,两个预告情节说明了不同序列化方法之间的区别:

图片1

到目前为止,我们可以看到,与基于标准ByteBuffer的序列化相比,增量编码在编码时间上可获得更好的结果,但是一旦数组长度超过40,它就会比Kryo (最流行的高性能序列化库之一)更差。不过,在这里重要的是一个典型的用例场景,对于高频交易,市场消息恰好适合阵列长度的10-40

当我们检查生成的消息大小(作为数组长度的函数)时,它会变得更加有趣:

image2

此时,应用增量编码的好处将变得显而易见(蓝色曲线同样适用于字节缓冲区和Kryo​​序列化)。 这里发生的是,在掌握了一些有关要处理的数据的特定知识之后,可以安全地做出一些假设,从而导致序列化占用更多的CPU资源,但是在空间方面却效率高得多。 增量压缩背后的想法非常简单。 让我们从一个整数数组开始:

  • [85103、85111、85122、85129、85142、85144、85150、85165、85177]

如果这些是整数,则不进行任何压缩就必须使用4 * 9 = 36字节来存储数据。 在这组数字中,特别有趣的是它们彼此相对紧密地聚集在一起。 我们可以通过引用第一个值轻松地减少存储数据所需的字节数,然后生成一个对应的增量数组:

  • 参考:85103,[8、19、26、39、41、47、62、74]

哇! 现在我们可以缩小为字节数组。 让我们再次进行计算。 我们需要4个字节作为参考值(仍为int),每个增量= 8 * 1个字节= 12个字节。

与原始的36个字节相比,这是一个很大的改进,但仍有一些优化的余地。 与其从参考值计算增量,不如依次存储每个前任的差异:

  • 参考:85103,[8、11、7、13、2、6、15、12]

结果是一组具有低方差和标准偏差的非单调数字。 我希望事情已经明确了。 尽管如此,还是值得详细说明。

至此,我们基本上得出的是一个非常适合二进制编码的集合。 对于我们的示例,这仅意味着可以在单个字节中容纳2个增量。 我们只需要一个半字节(4位)即可容纳0-15范围内的值,因此我们可以轻松地最终将原始数组压缩为4(供参考)+ 8 * 1/2 = 8个字节。

由于价格是用十进制数表示的,因此应用带有二进制编码的增量压缩将涉及建立最大支持的精度并将小数视为整数(将它们乘以10 ^精度),从而使精度为6的1.12345678成为1123456整数。 到目前为止,所有这些都是纯粹的理论推测,本文开头有一些预告片。 我想这是演示如何使用2个非常简单的类在Java中实现这些想法的恰当时机。

我们将从编码方面开始:

package eu.codearte.encoder;import java.nio.ByteBuffer;import static eu.codearte.encoder.Constants.*;public class BinaryDeltaEncoder {public static final int MAX_LENGTH_MASK = ~(1 << (LENGTH_BITS - 1));public ByteBuffer buffer;public double[] doubles;public int[] deltas;public int deltaSize, multiplier, idx;public void encode(final double[] values, final int[] temp, final int precision, final ByteBuffer buf) {if (precision >= 1 << PRECISION_BITS) throw new IllegalArgumentException();if ((values.length & MAX_LENGTH_MASK) != values.length) throw new IllegalArgumentException();doubles = values; deltas = temp; buffer = buf;multiplier =  Utils.pow(10, precision);calculateDeltaVector();if (deltaSize > DELTA_SIZE_BITS) throw new IllegalArgumentException();buffer.putLong((long) precision << (LENGTH_BITS + DELTA_SIZE_BITS) | (long) deltaSize << LENGTH_BITS | values.length);buffer.putLong(roundAndPromote(values[0]));idx = 1;encodeDeltas();}private void calculateDeltaVector() {long maxDelta = 0, currentValue = roundAndPromote(doubles[0]);for (int i = 1; i < doubles.length; i++) {deltas[i] = (int) (-currentValue + (currentValue = roundAndPromote(doubles[i])));if (deltas[i] > maxDelta) maxDelta = deltas[i];}deltaSize = Long.SIZE - Long.numberOfLeadingZeros(maxDelta);}private void encodeDeltas() {if (idx >= doubles.length) return;final int remainingBits = (doubles.length - idx) * deltaSize;if (remainingBits >= Long.SIZE || deltaSize > Integer.SIZE) buffer.putLong(encodeBits(Long.SIZE));else if (remainingBits >= Integer.SIZE || deltaSize > Short.SIZE) buffer.putInt((int) encodeBits(Integer.SIZE));else if (remainingBits >= Short.SIZE || deltaSize > Byte.SIZE) buffer.putShort((short) encodeBits(Short.SIZE));else buffer.put((byte) encodeBits(Byte.SIZE));encodeDeltas();}private long encodeBits(final int typeSize) {long bits = 0L;for (int pos = typeSize - deltaSize; pos >= 0 && idx < deltas.length; pos -= deltaSize)bits |= (long) deltas[idx++] << pos;return bits;}private long roundAndPromote(final double value) {return (long) (value * multiplier + .5d);}
}

在详细介绍之前,请先介绍几句话。 该代码不是完整的,成熟的解决方案。 它的唯一目的是演示提高应用程序序列化协议的某些位的难易程度。 由于它受到了微基准测试,它也不会引起gc压力,因为即使是最快的次要gc的影响也会严重扭曲最终结果,从而使api变得丑陋。 该实现也是次优的,尤其是在CPU方面,但是证明微优化不是本文的目标。 话虽如此,让我们看看它的作用(大括号中的行号)。

编码方法首先进行一些基本的健全性检查{17,18},计算将十进制转换为整数{20}所用的乘数,并计算calculateDeltaVector()。 这又有两个影响。

  1. 通过将小数转换为整数,从前任减去,最后将结果存储在临时数组{33}中,计算整个集合的滚动增量
  2. 作为副作用,得出表示增量{34,36}所需的最大位数

然后,encode()方法存储正确反序列化所需的一些元数据。 它以位为单位打包精度,增量大小,并以前64位{24}打包数组长度。 然后,它存储参考值{25}并启动二进制编码{27}。

编码增量执行以下操作:

  1. 检查它是否已经处理了所有数组条目,如果已​​退出则退出{40}
  2. 计算要编码的剩余位数{41}
  3. 选择最合适的类型(给定大小,以位为单位),对剩余的位进行编码,然后将这些位写入缓冲区{43-46}
  4. 递归{47}

可能需要详细说明的最后一点是encodeBits()方法本身。 根据在参数中传递的类型大小(以位为单位),它会循环一个临时long,其唯一目的是用作位集,并写入代表从long值的最高有效部分到最低有效部分的连续增量的位(范围为字号)。

正如预期的那样,解码与编码完全相反,并且主要是关于使用元数据来重建原始double数组,直至达到指定的精度:

package eu.codearte.encoder;import java.nio.ByteBuffer;import static eu.codearte.encoder.Constants.DELTA_SIZE_BITS;
import static eu.codearte.encoder.Constants.LENGTH_BITS;public class BinaryDeltaDecoder {private ByteBuffer buffer;private double[] doubles;private long current;private double divisor;private int deltaSize, length, mask;public void decode(final ByteBuffer buffer, final double[] doubles) {this.buffer = buffer; this.doubles = doubles;final long bits = this.buffer.getLong();divisor = Math.pow(10, bits >>> (LENGTH_BITS + DELTA_SIZE_BITS));deltaSize = (int) (bits >>> LENGTH_BITS) & 0x3FFFFFF;length = (int) (bits & 0xFFFFFFFF);doubles[0] = (current = this.buffer.getLong()) / divisor;mask = (1 << deltaSize) - 1;decodeDeltas(1);}private void decodeDeltas(final int idx) {if (idx == length) return;final int remainingBits = (length - idx) * deltaSize;if (remainingBits >= Long.SIZE) decodeBits(idx, buffer.getLong(), Long.SIZE);else if (remainingBits >= Integer.SIZE) decodeBits(idx, buffer.getInt(), Integer.SIZE);else if (remainingBits >= Short.SIZE) decodeBits(idx, buffer.getShort(), Short.SIZE);else decodeBits(idx, buffer.get(), Byte.SIZE);}private void decodeBits(int idx, final long bits, final int typeSize) {for (int offset = typeSize - deltaSize; offset >= 0 && idx < length; offset -= deltaSize)doubles[idx++] = (current += ((bits >>> offset) & mask)) / divisor;decodeDeltas(idx);}}

带有一些测试类的源代码可以在这里找到。 请记住,即使事实证明该代码可以正常工作,也不适合生产。 您绝对可以使它工作而无需临时阵列,用聪明的方法代替最大阵列大小时,可以代替全阵列扫描,也可以通过采用倒数近似除法而无需进行重量级除法。 随意选择这些提示或进行不同的微优化,并构建自己的专有增量编码协议。 对于对延迟敏感的交易应用程序而言,它具有很大的区别,可将液体工具的市场数据消息大小减小20-30倍。 当然,如果切换到增量压缩二进制编码会对您的应用程序生态系统带来任何价值,那么您必须弄清楚自己。 随便发表您的发现与评论!

参考: 如何从Fast的 JCG合作伙伴 Wojciech Kudla 获得一个带有字节的双精度数组的序列化(二进制delta编码,用于低差单调浮点数据集) 。 快点。 怪胎的博客。

翻译自: https://www.javacodegeeks.com/2014/01/how-to-serialize-an-array-of-doubles-with-a-byte-binary-delta-encoding-for-low-varianced-monotonic-sets-of-floating-point-data.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/369419.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

微信小程序 引入公共页面的几种情况

1、不带参数 首先在pages文件夹中新建一个template文件夹&#xff0c;文件夹中新建一个template.wxml文件&#xff0c;代码如下 <!--template.wxml--> <template name"msgItem"><view><text>This is template.wxml文件&#xff0c;我是一个…

易语言自定义数据类型转c,一步一步跟我学易语言之自定义数据类型

自定义数据类型什么是“自定义数据类型”&#xff1f;顾名思义&#xff0c;就是用户可以随时在程序中自行定义新的数据类型。自定义数据类型时需要设置数据类型的名称及其成员。数据类型成员各属性的设置方法等同于变量设置时相应属性的设置方法。双击“程序”中的“自定义数据…

Redis初步整理

1&#xff0c;Redis 简介 Redis 是完全开源免费的&#xff0c;遵守BSD协议&#xff0c;是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点&#xff1a; Redis支持数据的持久化&#xff0c;可以将内存中的数据保持在磁盘中&#xff0c;重启的时…

阶段十-物业项目

可能遇到的错误&#xff1a; 解决jdk17javax.xml.bind.DatatypeConverter错误 <!--解决jdk17javax.xml.bind.DatatypeConverter错误--><dependency><groupId>javax.xml.bind</groupId><artifactId>jaxb-api</artifactId><version>…

echarts中triggeron与trigger不能同时出现吗_好物|痛风、血糖高、虚不受补能吃它吗?你想知道的阿胶十问十答一锅出!...

最近百草君在整理粉丝留言的时候&#xff0c;发现关于阿胶四物膏的留言不少&#xff0c;并且有重复问题。百草君特意整理出来几个粉丝们特别关注的问题&#xff0c;给大家统一解答&#xff0c;顺序不分前后&#xff1a;Q1阿胶四物膏什么口感&#xff0c;甜不甜&#xff1f;阿胶…

【移动端 Web】怎么循序渐进地开发一个移动端页面

1. 移动页面开发基础 1.1 像素——什么是像素 像素是 Web 页面布局的基础&#xff0c;那么到底什么才是一个像素呢&#xff1f; 像素&#xff1a;一个像素就是计算机屏幕所能显示一种特定颜色的最小区域。这是像素的概念&#xff0c;实际上&#xff0c;Web 前端开发领域&…

带有Spring的JavaFX 2

我将从一个大胆的声明开始&#xff1a;我一直很喜欢Java Swing或applet。 在那里&#xff0c;我说了。 如果我进行一些自我分析&#xff0c;那么这种钦佩可能是在我入门Java时开始的。 Swing&#xff08;实际上&#xff09;是我使用Java所做的第一件事&#xff0c;它给出了一些…

c++ 分页展示_分合相宜 Excel透视报表生成分页和汇总报表

我们经常要利用Excel生成指定类型的报表&#xff0c;但是很多报表原始数据是混杂在一起&#xff0c;或者是分布在各个子表中。现在利用Excel透视报表的功能&#xff0c;我们可以快速将混杂的数据分离为分页报表&#xff0c;或者将独立子表整合为汇总报表。简单分页&#xff0c;…

【springBoot】之定制Banner

springboot启动时控制台打印图案如下: 1、假如我们不想看到这个图案 public static void main(String[] args) {SpringApplication applicationnew SpringApplication(Application.class);/*** OFF G关闭* CLOSED 后台控制台输出&#xff0c;默认就是这种* LOG 日志输出*/appli…

Web前端体系的脉络结构

Web前端技术由 html、css 和 javascript 三大部分构成&#xff0c;是一个庞大而复杂的技术体系&#xff0c;其复杂程度不低于任何一门后端语言。而我们在学习它的时候往往是先从某一个点切入&#xff0c;然后不断地接触和学习新的知识点&#xff0c;因此对于初学者很难理清楚整…

无法访问netflix服务_Choerodon 的微服务之路(三):服务注册与发现

本文是 Choerodon 的微服务之路系列推文第三篇。在上一篇《Choerodon的微服务之路&#xff08;二&#xff09;&#xff1a;微服务网关》中&#xff0c;介绍了Choerodon 在搭建微服务网关时考虑的一些问题以及两种常见的微服务网关模式&#xff0c;并且通过代码介绍了Choerodon …

excel中如何取消自动超链接?

最近做的表格有点多&#xff0c;年终述职也到了。总有一些地方生疏了&#xff0c;幸好还有点小印象。记录下来&#xff0c;以后可以回来看看。方法一 适合单个链接的取消 1输入网址后&#xff0c;按回车键确认&#xff0c;快捷键ctrlz&#xff0c;即可取消&#xff0c;这种不好…

大根堆的删除c语言,大根堆和小根堆的C语言实现

大根堆小根堆的实现&#xff1a;以PPT形式呈现大根堆构建的理论过程1、首先涉及到一个堆的调整&#xff0c;这也是算法的核心部分。假设树中&#xff0c;节点i的子树已经为两个大根堆。这两个子树再加上i节点的话&#xff0c;可能是大根堆也可能不是&#xff0c;因此需要对节点…

网页结构 盒模型

HTML是个什么鬼&#xff1f; 前端开发人员要想和浏览器沟通&#xff0c;就要用到浏览器才能够识别的语言&#xff08;HTML超文本标记语言&#xff09;&#xff0c;所以他是一门浏览器能够识别的语言。是一种由标签组成的超文本标记语言&#xff0c;而非编程语言。一个html文档…

idea创建git分支

此时只是在本地创建好了分支&#xff0c;修改源代码后add&#xff0c;commit将本地分支提交到远程仓库分支已创建&#xff0c;其它成员此时就可以从git拉分支转载于:https://www.cnblogs.com/qianqiu-1026/p/8589218.html

已知华氏温度f c语言,编程题:已知两种温度的换算公式C=(5/9)(F-32),试编写一个程序输入华氏度F,输出摄氏度。...

使用python的写法为&#xff1a;valinput("请输入带有温度表示符号的温度值(例如&#xff1a;32c)")if val[-1] in ["C","c"]:f1.8*float(val[0:-1])32print("转换后的温度为&#xff1a;%.2fF"%f)elif val[-1] in ["F",&qu…

golang ffmpeg 做网络直播

最近在公司做在线视频转码的工作&#xff0c;研究了下ffmpeg 最后直接研究了下网络直播&#xff0c;我是在我自己的mac 上面测试的&#xff0c;效果&#xff0c;还可以&#xff0c;先看看效果图吧 ffmpeg 我是通过brew安装 的&#xff0c;这步就略了 VLC这个播放器怎么安装的也…

androidstudio带pom的上传到jcenter_输送机@网带输送机@304网带输送机@304不锈钢网带输送机@输送机网带厂家定制...

输送机网带输送机食品网带输送机304网带输送机304不锈钢网带输送机输送机网带厂家定制输送机主要用于运输食品原料或成品。食品输送机根据输送带不同可分为皮带的&#xff0c;链板的&#xff0c;网带的。输送形式有&#xff1a;直行的&#xff0c;爬坡提升的&#xff0c;清洗的…

box-sizing -- 盒模型

项目开发中&#xff0c;在浏览同事的代码&#xff0c;发现他经常用一个属性--box-sizing&#xff0c;很好奇是什么&#xff0c;于是乎&#xff0c;上网查阅资料学了起来。  首先我们先复习一下盒模型的组成&#xff1a;一个div通常由 content(内容) margin padding border组成…

转载大神的一篇文章----【如何选择开源许可证?】

原文地址&#xff1a;http://www.ruanyifeng.com/blog/2011/05/how_to_choose_free_software_licenses.html 如何为代码选择开源许可证&#xff0c;这是一个问题。 世界上的开源许可证&#xff0c;大概有上百种。很少有人搞得清楚它们的区别。即使在最流行的六种----GPL、BSD、…