HSF/Dubbo序列化时的LocalDateTime, Instant的性能问题

来源

在对Dubbo新版本做性能压测时,无意中发现对用例中某个TO(Transfer Object)类的一属性字段稍作修改,由Date变成LocalDateTime,结果是吞吐量由近5w变成了2w,RT由9ms升指90ms。

在线的系统,拼的从来不仅仅是吞吐量,
而是在保证一定的RT基础上,再去做其他文章的, 也就是说应用的RT是我们服务能力的基石所在, 拿压测来说, 我们能出的qps/tps容量, 必须是应用能接受的RT下的容量,而不是纯理论的数据,在集团云化的过程中计算过,底层服务的RT每增加0.1ms,在应用层就会被放大,

整体的成本就会上升10%以上。

要走向异地,首先要面对的阿喀琉斯之踵:延时,长距离来说每一百公里延时差不多在1ms左右,杭州和上海来回的延迟就在5ms以上,上海到深圳的延迟无疑会更大,延时带来的直接影响也是响应RT变大,
用户体验下降,成本直线上升。 如果一个请求在不同单元对同一行记录进行修改, 即使假定我们能做到一致性和完整性, 那么为此付出的代价也是非常高的,想象一下如果一次请求需要访问
10 次以上的异地 HSF 服务或 10 次以上的异地 DB调用, 服务再被服务调用,延时就形成雪球,越滚越大了。

普遍性

关于时间的处理应该是无处不在,可以说离开了时间属性,99.99%的业务应用都无法支持其意义,特别是像监控类的系统中更是面向时间做针对性的定制处理。

在JDK8以前,基本是通过java.util.Date来描述日期和时刻,java.util.Calendar来做时间相关的计算处理。JDK8引入了更加方便的时间类,包括Instant,LocalDateTime、OffsetDateTime、ZonedDateTime等等,总的说来,时间处理因为这些类的引入而更加直接方便。

Instant存的是UTC的时间戳,提供面向机器时间视图,适合用于数据库存储、业务逻辑、数据交换、序列化。LocalDateTime、OffsetDateTime、ZonedDateTime等类结合了时区或时令信息,提供了面向人类的时间视图,用于向用户输入输出,同一个时间面向不同用户时,其值是不同的。比如说订单的支付、发货时间买卖双方都用本地时区显示。可以把这3个类看作是一个面向外部的工具类,而不是应用程序内部的工作部分。

简单说来,Instant适用于后端服务和数据库存储,而LocalDateTime等等适用于前台门面系统和前端展示,二者可以自由转换。这方面,国际化业务的同学有相当多的体感和经验。

在HSF/Dubbo的服务集成中,无论是Date属性还是Instant属性肯定是普遍的一种场景。

问题复现

  • Instant等类的性能优势

以常见的格式化场景举例

    @Benchmark@BenchmarkMode(Mode.Throughput)public String date_format() {Date date = new Date();return new SimpleDateFormat("yyyyMMddhhmmss").format(date);}@Benchmark@BenchmarkMode(Mode.Throughput)public String instant_format() {return Instant.now().atZone(ZoneId.systemDefault()).format(DateTimeFormatter.ofPattern("yyyyMMddhhmmss"));}

在本地通过4个线程来并发运行30秒做压测,结果如下。

Benchmark                            Mode  Cnt        Score   Error  Units
DateBenchmark.date_format           thrpt       4101298.589          ops/s
DateBenchmark.instant_format        thrpt       6816922.578          ops/s

可见,Instant在format时性能方面是有优势的,事实上在其他操作方面(包括日期时间相加减等)都是有性能优势,大家可以自行搜索或写代码测试来求解。

  • Instant等类在序列化时的陷阱

针对Java自带,Hessian(淘宝优化版本)两种序列化方案,压测序列化和反序列化的处理性能。

Hessian是集团内应用的HSF2.2和开源的Dubbo中默认的序列化方案。

    @Benchmark@BenchmarkMode(Mode.Throughput)public Date date_Hessian() throws Exception {Date date = new Date();byte[] bytes = dateSerializer.serialize(date);return dateSerializer.deserialize(bytes);}@Benchmark@BenchmarkMode(Mode.Throughput)public Instant instant_Hessian() throws Exception {Instant instant = Instant.now();byte[] bytes = instantSerializer.serialize(instant);return instantSerializer.deserialize(bytes);}@Benchmark@BenchmarkMode(Mode.Throughput)public LocalDateTime localDate_Hessian() throws Exception {LocalDateTime date = LocalDateTime.now();byte[] bytes = localDateTimeSerializer.serialize(date);return localDateTimeSerializer.deserialize(bytes);}

结果如下。可以看出,在Hessian方案下,无论还是Instant还是LocalDateTime,吞吐量相比较Date,都出现“大跌眼镜”的下滑,相差100多倍;通过通过分析,每一次把Date序列化为字节流是6个字节,而LocalDateTime则是256个字节,这个放到网络带宽中的传输代价也是会被放大。 在Java内置的序列化方案下,有稍微下滑,但没有本质区别。

Benchmark                         Mode  Cnt        Score   Error  Units
DateBenchmark.date_Hessian       thrpt       2084363.861          ops/s
DateBenchmark.localDate_Hessian  thrpt         17827.662          ops/s
DateBenchmark.instant_Hessian    thrpt         22492.539          ops/s
DateBenchmark.instant_Java       thrpt       1484884.452          ops/s
DateBenchmark.date_Java          thrpt       1500580.192          ops/s
DateBenchmark.localDate_Java     thrpt       1389041.578          ops/s

分析解释

Hession中其实是有针对Date类做特殊处理,遇到Date属性,都是直接获取long类型的相对来做处理。

通过分析Hessian对Instant类的处理,无论是序列化还是反序列化,都需要Class.forName这个耗时的过程。。。,怪不得throughput急剧下降。

延展思考

1) 可以通过扩展实现Instant等类的com.alibaba.com.caucho.hessian.io.Serializer,并注册到SerializerFactory,来升级优化Hessian。但会有前后兼容性上,这个是大问题,在集团内这种上下游依赖比较复杂的场景下,极高的风险也会让此不可行。从这个角度看,只有建议大家都用Date来做个TO类的首选的时间属性。

2) HSF的RPC协议从严格意义上讲是 Session握手层的协议定义,其中的版本识别也是这个层面的行为,而业务数据的presentation展示层是通过Hessian等自描述的序列化框架来实现,这一层其实是缺少版本识别,从而导致升级起来就异常困难。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/518661.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java-数组的声明与创建

public class ArrayDemo01 {// 变量的类型 变量的名字 变量的值;public static void main(String[] args) {// 数组定义方式有两种,但是推荐第一个int[] nums; // 1. 声明一个数组 // int nums1[];nums new int[10]; // 2. 创建一个数组// …

云上快速搭建Serverless AI实验室

Serverless Kubernetes和ACK虚拟节点都已基于ECI提供GPU容器实例功能,让用户在云上低成本快速搭建serverless AI实验室,用户无需维护服务器和GPU基础运行环境,极大降低AI平台运维的负担,显著提升整体计算效率。 如何使用GPU容器实…

Vim快速移动光标至行首和行尾

1、 需要按行快速移动光标时,可以使用键盘上的编辑键Home,快速将光标移动至当前行的行首。除此之外,也可以在命令模式中使用快捷键"^"(即Shift6)或0(数字0)。 2、 如果要快速移动光标…

十分钟上手 ES 2020 新特性

作者 | 浪里行舟责编 | 郭芮ES2020 是 ECMAScript 对应 2020 年的版本。这个版本不像 ES6 (ES2015)那样包含大量新特性。但也添加了许多有趣且有用的特性。本文的代码地址:https://github.com/ljianshu/Blog本文以简单的代码示例来介绍 ES2020新特性。这样&#xff…

时延敏感业务低概率超时问题分析

前言 作为阿里云底层提供的基础设施,内部的物理网络和许多网络产品在数据平面给客户的可操作性并不高,从一定程度上来说是个黑盒。当然,在传统的IDC环境,业务和物理网络之间也存在同样的隔阂。所以在遇到业务卡顿、延迟、不通等问…

Java-数组 三种初始化及内存分析

声明的时候数组并不存在,创建的时候数组才真正的存在 数组初始化 除了八大基本类型,其他都是引用类型 public class ArrayDemo02 {public static void main(String[] args) {// 静态初始化: 创建 赋值int[] a {1,2,3,4};System.out.print…

十分钟上线 - 函数计算构建支付宝小程序的后端

阿里云函数计算服务(FunctionCompute,FC)是一个事件驱动的全托管计算服务。通过函数计算与云端各个服务的广泛集成,开发者只需要编写函数代码,就能够快速地开发出弹性高可用的后端系统。接下来我们使用FC,来快速实现一个图片转换服…

用Java开发自己的Kubernetes控制器,想试试吗?

作者 | Nicolas Frnkel译者 | 天道酬勤 责编 | 徐威龙封图| CSDN 下载于视觉中国在本文中,我们将开始开发自己的Kubernetes控制器。 技术栈可以是Python、NodeJS或Ruby。因为这个博客被命名为为“ Java极客”,因此选择Java是很正常的。 作为一个用例&…

SpringBoot 扫描包

文章目录1. 默认扫描2.指定扫描3.指定扫描21. 默认扫描 默认扫描: 在启动类WikiApplication上的SpringBootApplication注解,默认SpringBoot 扫描范围是当前包(com.gblfy.wiki)以及子包controller包等等 2.指定扫描 扫描项目包但不能扫描第三方的包&a…

揭秘阿里云背后神秘而富有能量的一群人

作为某创业公司CTO兼CTO兼CFO,带领众子弟行走于云端计算,累计犒赏已达757157.09银两,江湖人称紫龙,就是众多阿里云大使中低调内敛的一位。其话不多,一个典型的技术男,但又热心钻研传播推广,不到…

Java-数组下标越界及小结

https://www.bilibili.com/video/BV12J41137hu?p54&spm_id_frompageDriver

SpringBoot配置文件 【自定义配置项】

默认加载resource包下的application.properties、application.yml 2种类型文件 或者 在resource包下新建config包application.properties、application.yml 2种类型文件 优先级高于resource包下配置文件 或者 bootstrap.properties 单个SpringBoot项目不会加载bootstrap.prope…

如何给女朋友解释什么是撞库、脱库和洗库?

来源 | 漫话编程最近,安全圈又有一个大新闻,微博名为安全_云舒的微博用户在发文称:“很多人的手机号码泄露了,根据微博账号就能查到手机号……已经有人通过微博泄露查到我的手机号码,来加我微信了。”并且,…

OceanBase数据库实践入门——性能测试建议

概述 本文主要分享针对想压测OceanBase时需要了解的一些技术原理。这些建议可以帮助用户对OceanBase做一些调优,再结合测试程序快速找到适合业务的最佳性能。由于OceanBase自身参数很多、部署形态也比较灵活,这里并没有给出具体步骤。 数据库读写特点 …

Istio 在阿里云容器服务的部署及流量治理实践

目标 在阿里云容器服务 Kubernetes 集群上部署 Istio 服务网格实践灰度发布、故障注入、熔断等 Istio 流量管理特性 准备工作 安装和设置 kubectl 客户端,请参考不同的操作系统,如果已经安装请忽略: macOS curl -LO https://kubectl.oss-cn…

mysql创建操作用户

使用root用户创建一个新的数据库wiki 创建一个新的连接 由于新建的用户名下没有表,因此会抛出异常 就好了

Java-数组的使用

public class ArrayDemo03 {public static void main(String[] args) {int[] arrays {1,2,3,4,5};// JDK1.5, 没有下标,增强写法 // for (int array : arrays) { // System.out.println(array); // }printArray(arrays);Syste…

为何你的 SaaS 想法总是失败?没想清楚这 4 个原因可能会继续失败!

作者 | Elliot Bonneville译者 | 天道酬勤 责编 | 徐威龙封图| CSDN 下载于视觉中国最初,作者是准备进行一个”7 天 SaaS 挑战“的,但当他真正坐下来的时候就面临了第一个问题:他还没有决定要做什么。不过幸好的是,作者有一个完整…

重磅开源|AOP for Flutter开发利器——AspectD

问题背景 随着Flutter这一框架的快速发展,有越来越多的业务开始使用Flutter来重构或新建其产品。但在我们的实践过程中发现,一方面Flutter开发效率高,性能优异,跨平台表现好,另一方面Flutter也面临着插件,…