Dubbo 3.0 前瞻系列 | 2020双11,Dubbo3.0 在考拉的超大规模实践

很多开发者一直以来好奇:阿里自己有没有在用Dubbo,会不会用Dubbo?在刚刚结束的双11,我们了解到阿里云今年提出了“三位一体”的理念,即将“自研技术”、“开源项目”、“商业产品”形成统一的技术体系,最大化技术的价值。终于,在2020的双11,阿里巴巴经济体也用上了Dubbo!本文是阿里双十一在考拉大规模落地 Dubbo3.0 的技术分享,系统介绍了 Dubbo3.0 在性能、稳定性上对考拉业务的支撑。

覃柳杰(花名:未宇)Github ID: qinliujie,Apache Dubbo PMC;阿里巴巴微服务框架 HSF 负责人,负责 HSF 研发及 Dubbo 在阿里的落地。

HSF 是阿里内部的分布式的服务框架,作为集团中间件最重要的中间件之一,历经十多届双十一大促,接受万亿级别流量的锤炼,十分的稳定与高效。另外一方面,Dubbo 是由阿里中间件开源出来的另一个服务框架,并且在 2019 年 5 月以顶级项目身份从 Apache 毕业,坐稳国内第一开源服务框架宝座,拥有非常广泛的用户群体。

在集团业务整体上云的大背景下,首要挑战是完成 HSF 与 Dubbo 的融合,以统一的服务框架支持云上业务,同时在此基础上衍生出适应用下一代云原生的服务框架 Dubbo 3.0,最终实现自研、开源、商业三位一体的目标。今年作为 HSF&Dubbo 融合之后的 Dubbo 3.0 在集团双十一落地的第一年,在兼容性、性能、稳定性上面都面临着不少的挑战。可喜的是,在今年双十一在考拉上面大规模使用,表现稳定,为今后在集团大规模上线提供了支撑。

Dubbo 3.0 总体方案

1.png

在上面的方案中,可以看出来我们是以 Dubbo 为核心,HSF 作为功能扩展点嵌入到其中,同时保留 HSF 原有的编程 API,以保证兼容性。为什么我们选址以 Dubbo 为核心基础进行融合,主要这两点的考量:

1.Dubbo 在外部拥有非常广泛的群众基础,以 Dubbo 为核心,符合开源、商业化的目标;

2.HSF 也经历过核心升级的情况,我们拥有比较丰富的处理经验,对于 Dubbo 3.0 新核心内部落地也是处于可控的范围之内。

选定这个方案之后,我们开始朝着这个方向努力,由于 Dubbo 开源已久,不像 HSF 这样经历过超大规模集群的考验验证,那么我们是如何去保证它的稳定性呢?

稳定性

为了保证新核心的稳定,我们从各个方面进行巩固,保证万无一失

1.功能测试

HSF3 共有集成用例数百个, 100% 覆盖到了 HSF 的核心功能;HSF3 的单测共有上千个,行覆盖率达到了 51.26%

2.混沌测试

为了面对突发的异常情况,我们也做了相应的演练测试,例如 CS 注册中心地址停推空保护测试、异常注入、断网等情况,以此验证我们的健壮性;例如,我们通过对部份机器进行断网,结果我们发现有比较多的异常抛多。

2.png

原因是 Dubbo 对异常服务端剔除不够及时,导致还会调用到异常服务器,出现大量报错。

同时,我们也构建了突发高并发情况下的场景,发现了一些瓶颈,例如:

3.png

瞬间大并发消耗掉绝大部分 CPU 。

3.性能优化

Dubbo 核心之前未经历过超大规模集团的考验,性能上面必将面临着巨大的挑战;对于 Dubbo 来说,优化主要从地址推送链路和调用服务链路两个链路来进行。对于地址推送链路,主要是减少内存的分配,优化数据结构,减少静态时地址占用内存对应用的影响,从而减少 ygc/fgc 造成的抖动问题。我们利用测试同学提供的风暴程序,模拟了反复推送海量地址的场景,通过优化,120万个 Dubbo 服务地址常态内存占用从 8.5G 下降到 1.5G,有效降低 GC 频率

4.png

另外一方面,在调用链路上,我们主要对选址过程、LoadBalacer、Filter 等进行优化,总体 CPU 下降达到 20%,RT 也有一个比较明显的下降。

5.png

成果

6.png

在双十一考拉零点高峰,某个 Dubbo 接口,总的流量达到了数百万次/每分钟 ,全程稳定顺滑,达到了预定的目标,Dubbo 3.0 是至重启开源以来,首次在这么大规模的场景进行验证,充分证明了 Dubbo 3.0 的稳定性。

结语

在本次双11考拉落地 Dubbo 3.0 只是在阿里内部全面落地 Dubbo3.0 的第一步,现在 Dubbo 3.0 云原生的新特性也如火如荼的进行开发与验证,如应用级服务发现、新一代云原生通信协议 Triple 等已经开始在集团电商应用开始进行 Beta 试点。

阿里微服务体系完成了通过开源构建生态和标准,通过云产品 MSE、EDAS 等完成产品化和能力输出,通过阿里内部场景锻炼高性能和高可用的核心竞争力。从而完成了三位一体的正向循环,通过标准持续输出阿里巴巴的核心竞争力,让外部企业快速享有阿里微服务能力,加速企业数字化转型!

 


原文链接
本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/514655.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenStack管理界面开源啦!

日前,木兰开源社区TOC召开了孵化项目审议会议,其项目分别覆盖数据库、大数据处理、网络、流媒体、云计算等关键领域。其中,浪潮数据纯自研产品Skyline成功入围。 自开源至今,OpenStack常被诟病的一点是原生界面不太好用&#xff…

厂商 push 不通排查指南

简介: MPS 集成多个三方渠道,保障 push 使命必达的必须知道的几件事。 为了提升「MPS 消息推送」的推送的到达率,mPaaS 集成了华为、小米等厂商的推送功能,从而有效地提高用户留存率,提升用户体验。在日常运维过程中&a…

Hologres助力飞猪双11实时数据大屏秒级响应

简介: 本文重点介绍Hologres如何落地阿里巴巴飞猪实时数仓场景,并助力飞猪双11实时数据大屏3秒起跳,全程0故障。 摘要:刚刚结束的2020天猫双11中,MaxCompute交互式分析(下称Hologres)实时计算F…

燧原科技首发国内第二代人工智能训练芯片“邃思2.0”

7月7日,燧原科技发布第二代人工智能训练产品——“邃思2.0”芯片、基于邃思2.0的“云燧T20”训练加速卡和“云燧T21”训练OAM模组,全面升级的“驭算TopsRider”软件平台以及全新的“云燧集群”,成为国内首家发布第二代人工智能训练产品组合的…

高德最佳实践:Serverless 规模化落地有哪些价值?

作者 | 何以然(以燃) 导读:曾经看上去很美、一直被观望的 Serverless,现已逐渐进入落地的阶段。今年的"十一出行节",高德在核心业务规模化落地 Serverless,由 Serverless 支撑的业务在流量高峰期…

Java全能手册火了!Redis/Nginx/Dubbo/Spring全家桶/啥都有

前言本文是为了帮大家快速回顾了Java中知识点,这套面试手册涵盖了诸多Java技术栈的面试题和答案,相信可以帮助大家在最短的时间内用作面试复习,能达到事半功倍效果。本来想将文件上传到github上,但由于文件太大有的都无法显示所以…

存储计算解耦合,构建中国人英语语音数据库

简介: 通过阿里云为流利说量身打造的数据湖解决方案,解决了流利说多种应用的各类数据的统一存储,帮助流利说构建数据规模高达上千亿的“中国人英语语音数据库”。 公司介绍 流利说是世界领先的科技驱动的教育公司,作为智能教育的…

Hologres+Flink流批一体首次落地4982亿背后的营销分析大屏

简介: 本篇将重点介绍Hologres在阿里巴巴淘宝营销活动分析场景的最佳实践,揭秘FlinkHologres流批一体首次落地阿里双11营销分析大屏背后的技术考验。 概要:刚刚结束的2020天猫双11中,MaxCompute交互式分析(下称Hologr…

Service Mesh微服务熔断、限流的骚操作

在微服务架构中,随着服务调用链路变长,为了防止出现级联雪崩,在微服务治理体系中,熔断、限流作为服务自我保护的重要机制,是确保微服务架构稳定运行的关键手段之一。那么什么是熔断、限流?在传统Spring Clo…

pca主成分分析用matlab实现,PCA (主成分分析)详解 (写给初学者) 结合matlab

一、简介PCA(Principal Components Analysis)即主成分分析,是图像处理中经常用到的降维方法,大家知道,我们在处理有关数字图像处理方面的问题时,比如经常用的图像的查询问题,在一个几万或者几百万甚至更大的数据库中查…

微服务最佳实践:MSE 微服务引擎

简介: 微服务引擎 MSE(Microservice Engine)是一个面向业界主流开源微服务框架 Spring Cloud 和 Dubbo 的一站式微服务平台。其由四个主要部分组成:微服务治理中心、微服务注册中心、微服务配置中心、微服务网关。 MSE 是什么 微…

异地多活之企业架构案例

简介: 异地多活之企业架构案例 1. 前言 多活容灾 MSHA(Multi-Site High Availability),是在阿⾥巴巴电商业务环境演进出来的多活容灾架构解决⽅案,可以将业务恢复和故障恢复解耦,有基于灵活的规则调度、跨…

WAIC|高精准、低成本,九章云极DataCanvas突破AutoML难题

2021 年世界人工智能大会(WAIC)于 7 月 8 日 在上海世博中心拉开帷幕。九章云极DataCanvas董事长方磊受邀参加由世界人工智能大会组委会主办、机器之心承办的“2021 WAICAI开发者论坛”,并发表“Hypernets:自动化机器学习的基础框…

matlab样条插值如何用,三次样条插值matlab实现

%三次样条差值-matlab通用程序 - zhangxiaolu2015的专栏 - CSDN博客 https://blog.csdn.net/zha%【图文】三次样条插值算法详解_百度文库 https://wenku.baidu.com/view/14423f2e1711cc7931b716clcclearxinput(请按照格式[x1,x2,x3...]格式输入yf(x)函数已知点的横坐标xi); %三…

在阿里淘系6个月能有哪些收获成长?

本文作者:刘博文(Berwin),花名“玖五”,畅销书《深入浅出Vue.js》作者、知名技术博主、讲师、阿里巴巴淘系技术部前端技术专家,现负责淘系618、双11等超大型营销活动主会场的终端渲染架构。 回想起年初刚来…

matlab 向前欧拉公式,向前欧拉公式在Matlab解微分方程初值解的问题

向前欧拉公式在Matlab解微分方程初值解的问题0fuqilin1202013.07.04浏览527次分享举报用向前欧拉公式(10.8)求解初值问题,dy/dx-3x8x-7,y(0)1,分别取n10,n100,并将计算结果与精确解作比较,写出在每个子区间[xk,xk1]上的局部截断误差公式&…

我在阿里巴巴做 Serverless 云研发平台

简介: Serverless 云研发平台经过这半年多的蜕变,已经从简单的解决工程链路的平台演进成一个面向研发、上线、运维的全生命周期研发平台,后续要解决的命题会集中在用户低门槛上。 作者 | 林昱(苏河) 技术的成熟度源自大规模的实践&#xff0…

从Gartner报告,看中国数据库崛起

简介: 阿里云,在Gartner公布2020年度全球数据库魔力象限评估结果,作为中国科技公司代表,首次挺进全球数据库第一阵营——领导者(LEADERS)象限,这也是中国数据库40年来首次进入全球顶级数据库行列…

一套存储承载全场景,XSKY星辰天合发布企业级SDS V5系列

编辑 | 宋慧 出品 | CSDN云计算 头图 | XSKY星辰天合V5发布会现场 2021年7月15日,国内数据基础设施技术平台提供商XSKY星辰天合正式发布了企业级软件定义存储V5(以下简称“XSKY SDS V5”)系列产品,通过DATA OS数据操作系统底座升…

首次揭秘云原生Hologres存储引擎

简介: 本文将会首次对外公开介绍Hologres的存储引擎,深度剖析其实现原理和核心技术优势。 概要:刚刚结束的2020天猫双11中,MaxCompute交互式分析(Hologres)实时计算Flink搭建的云原生实时数仓首次在核心数…