重磅下载 | 核心系统100%上云,揭秘双11背后的云原生实践

2019 双11,订单创新峰值达到 54.4 万笔/秒,单日数据处理量达到 970PB,面对世界级的流量洪峰,今年的阿里交出了一份亮眼的云原生技术成绩单,并实现了100% 核心应用以云原生的方式上云:

  • 双11 基础设施 100% 上云
  • 支撑 双11 在线业务容器规模达到 200 万
  • 采用神龙弹性裸金属服务器计算性价比提升 20% 

这些数据背后是对一个个技术问题的反复尝试与实践。这一次,我们对云原生技术在 双11 的实践细节进行深挖,将 22 篇代表性的文章进行编排,整理成书《不一样的 双11 技术:阿里巴巴经济体云原生实践》旨在为行走在云原生路上的开发者打开新思路、提供一些有益的参考。

许多经过精心设计的架构,平时运行稳定,但在 双11 的演练中都暴露出了大量的细节问题,双11 这个独一无二的场景是阿里技术的试金石。今年 双11,我们把“最要命”的系统全都放到了云上,实现了核心系统 100% 上云,撑住了 双11 的世界级流量洪峰。
这离不开云原生技术的创新,希望本书能对开发者和企业客户产生借鉴意义,共享云计算技术红利。—— 小邪

在 All in Cloud 的时代企业 IT 架构正在被重塑,而云原生已经成为释放云计算价值的最短路径。2019 年阿里 双 11 核心系统 100% 以云原生的方式上云,基于神龙服务器、轻量级容器和兼容 K8s 的调度、集群管理技术,通过云原生开放应用模型 OAM,构建高效和自动化的应用交付体系,大大加快了上云速度;通过升级微服务和服务网格,将服务治理与应用解耦并下沉到基础设施层,提升治理能力和迭代速度,整体向 Serverless 极致弹性、按用计费、无需运维的架构演进,全面实现核心系统上云,让双 11 更稳定让业务创新更敏捷。
希望通过将阿里的上云和云原生技术落地最佳实践通过电子书的形式输出,对开发者和企业客户产生借鉴意义,加速技术演进共享云计算技术红利。——叔同

我们采访了上云总架构师毕玄,以下是他们对于 双11 核心系统 100% 上云背后云原生的技术思考。

与客户在同一架“飞机”上

王坚院士曾在很多场合都和阿里的技术人员讲到:阿里云作为一家输出技术的公司,我们需要做到和我们的客户在同一架“飞机”上,而不仅仅是“造飞机”或看着“飞机”在空中飞,阿里经济体云化最重要的就是要做到让我们和客户在同一架“飞机”上。

早在几年前,阿里巴巴经济体就开始借助阿里云的机器资源来支撑 双11 零点的高峰,云的弹性资源优势使得 双11 的机器资源投入成本下降超过 50% 以上,但在这些机器资源上部署的却是我们自己的技术体系,例如容器、中间件、数据库、缓存等,也就意味着我们和客户其实是在不同类型的“飞机”上,而且阿里巴巴经济体在的“飞机”是专为阿里巴巴定制打造的,外部客户是买不到的,这是一个典型的从 Hosting 演进到 Cloud Hosting 的阶段。为了切实做到和客户在同一架“飞机”上,在今年 3 月份,阿里云智能事业群 CTO 张建锋(花名:行癫)正式对外宣布未来一到两年,阿里巴巴百分之百的业务要跑在公共云上,成为“云上的阿里巴巴”。

从 Cloud Hosting 到 Cloud Native

阿里巴巴经济体云化是阿里技术发展史上继之前的分布式架构、异地多活后的又一轮巨大的架构升级,这次架构升级需要把我们从 Cloud Hosting 演进到 Cloud Native,Cloud Native 作为技术圈最火热的名词,不同的人的眼中有不同的定义,我们认为 CloudNative 带来的是一次系统构建方式的巨大变革,Cloud Native 是指业务系统的构建从基于自有、封闭的技术体系,走向基于开放、公共的 Cloud 的技术体系。

在 Cloud Native 时代之前,多数公司随着业务的发展,或多或少都会打造出自有、封闭的技术体系,这一方面造成了巨大的投入,使得公司的技术人才力量没有完全专注的投入在业务上,另一方面也造成了这个行业人才流动的困难,因为知识体系的不同,每到一家新的公司几乎都是全新的一套,这个一定程度上影响了业务创新的速度,尽管很多的开源产品在一定程度上有助于解决这个问题,但还不足以体系化,而在 Cloud Native 时代,我们认为会有两个典型的特征:

  1. 对于业务系统端而言,在做系统设计的技术选型上,Cloud 提供了远比自有技术体系更为丰富了多的选择,这使得架构师可以更好的根据业务的状况、阶段等来进行更合理、合适的技术选型,最后表现出来的特征会是业务系统基于 Cloud 的技术体系来搭建,而越来越少的自建或自研,就像 Cloud Hosting 带来的越来越少的公司自己 Hosting 机器的变化一样;
  2. 对于云厂商而言,会提供越来越多开放、主流的技术栈的技术产品,从而让客户有更为丰富和自主的选择权,同时云厂商会去做到让这些技术产品的互通性更好,这样客户才能真正做到对于不同类型的业务选择不同的技术产品和体系。

按照这样的思路,阿里巴巴经济体云化在走向 Cloud Native 的道路上,我们的原则是:

  1. 业务系统不再采用自有、封闭的技术产品,而是阿里云上对外提供哪些技术产品,我们就基于这些来重构、新建我们的业务系统;
  2. 阿里云上提供相应技术领域的主流技术产品,同时根据阿里业务的需求去新增、完善、改造相应的技术产品,并增强不同技术产品的互通性、开放性。

按照这样的原则,随着阿里经济体云化项目的进展,阿里的业务系统就必将完成从基于自有、封闭的自有体系构建,进化到和阿里云的客户一样,基于阿里云上公共的技术产品的体系来构建,从而实现和客户在同一架“飞机”上。

不一样的双11,云原生技术亮点

在这个双11,我们在以下几个方面有了一些不错的进展:

超大规模 Kubernetes 实践 

2017 年下半年,阿里集团开始尝试使用 Kubernetes API 来改造内部自研平台,并开始了对应用交付链路的改造,以适配 Kubernetes。2018 年下半年,阿里集团和蚂蚁金服共同投入 Kubernetes 技术生态的研发,力求通过 Kubernetes 替换内部自研平台,实现了小规模的验证,支撑了当年部分 双11 的流量。

2019 年初,阿里经济体开始进行全面上云改造,阿里集团通过重新设计 Kubernetes 落地方案,适配云化环境,改造落后运维习惯,在 618 前完成了云化机房的小规模验证。2019 年 618 之后,阿里集团内部开始全面推动 Kubernetes 落地,在大促之前完成了全部核心应用运行在 Kubernetes 的目标,并完美支撑了 双11 大考。

阿里巴巴超大规模 Kubernetes 落地,经受了双11大促真实场景的考验, 单集群能支撑万级别 Node、十万级别 POD 的规模。我们推进了三个方面改造:面向终态的改造;自愈能力改造;不可变基础设施改造。相比原有传统的运维链路,扩容效率提升了 50%,集群节点在线率达到了99.9%以上。

阿里巴巴云原生化的最佳组合:Kubernetes+容器+神龙

今年 双11,我们通过 K8s+容器+神龙的最佳组合实现了阿里核心系统 100%以云原生的方式上云,完美支撑了 54.4w 峰值流量以及 2684 亿的成交量。基于 0 虚拟化开销的神龙裸金属,通过使用行业标准的容器与调度、编排、管理技术,推动经济体云原生技术全面升级。容器性能提升 10%、神龙节点可调度率达到 99% 以上、容器稳定性与在线率全面提升。

Service Mesh 超大规模落地

阿里巴巴在 双11 的部分电商核心应用上落地了完整的 Service Mesh 解决方案,借助 双11 的严苛业务场景完成了规模化落地前的初步技术验证;蚂蚁金服也实现了 Service Mesh 的大规模落地。Service Mesh 所带来的变化体现于:服务治理手段从过去的框架思维向平台思维转变;技术平台的建设从面向单一编程语言向面向多编程语言转变。

Service Mesh 创造了一次以开发者为中心去打造面向未来的分布式应用开发平台的机会,给其他技术产品创造了重新思考在云原生时代发展的机会,给技术基础设施如何与业务基础技术更好地协同提供了一次探索机会,并为探索面向未来的异地多活、应用永远在线的整体技术解决方案打开了一扇大门。

点击下载


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/517315.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

./mysqld: error while loading shared libraries: libnuma.so.1: cannot open shared object file: No suc

./mysqld: error while loading shared libraries: libnuma.so.1: cannot open shared object file: No such file or directory解决方案: yum -y install numactl

MongoDB与阿里云达成战略合作,最新数据库独家上线阿里云!

11月26日,开源数据库厂商MongoDB与阿里云在北京达成战略合作,作为合作的第一步,最新版MongoDB 4.2数据库产品正式上线阿里云平台。 目前阿里云成为全球唯一可提供最新版MongoDB服务的云厂商,双方合作打通了企业在云上使用最新版开…

程序员:我受够了!不想再在小厂里干Java了!

你是否熟悉这样的情形:每天10点到公司,打开电脑:10个小时的增删改查,搬砖写代码的一天就这样开始了。刚毕业时候的你踌躇满志,按照自己的原定计划,这时候应该混到了阿里P6。可现在在小厂苦苦挣扎&#xff0…

AnalyticDB for MySQL技术架构解析

企业数据需求不断变化,近年来变化趋势日益明显,从数据的3V特性看:体积,速度和变化;Big Data强调数据量,PB级以上,是静态数据。而Fast Data在数据量的基础上,意味着速度和和变化&…

双十一|又快又稳!闲鱼实时事件规则计算驱动平台

闲鱼双十一金鳞抽奖玩法 相信今年在11月7日-11月11日期间使用过闲鱼的用户,可能已经被如下图所示的幸运海星“砸”到过了。只要用户进入到指定的几个页面,或者在某些指定的页面有点击行为,就会触发到这样一个幸运之星。这就是今年闲鱼双十一…

“编程能力差的程序员,90%会输在这点上”谷歌AI专家:其实都是瞎努力

最近几年,我看过市面上很多 Python和人工智能的教程和书籍,它们大都这样讲:先从 Python 人工智能的历史讲起开始,再介绍的基本语法规则,Python 的 list, dict, tuple 等数据结构,最后学习机器学习、深度学习…

阿里科学家再获世界级荣誉,平头哥首席科学家谢源当选AAASFellow

11月27日,美国科学促进会(AAAS)公布了2019年度会士(Fellow)增选结果,阿里巴巴平头哥首席科学家、达摩院高级研究员谢源当选,这也是信息、计算和通信领域新当选的24名Fellow之一,一同…

开放下载!从RCNN到SSD,这应该是最全的一份目标检测算法盘点

导读:从简单的图像分类到3D姿势识别,计算机视觉从来不缺乏有趣的问题和挑战。通过肉眼我们可以检测出一张宠物照中的猫和狗,可以识别出梵高作品《星夜》中的星星和月亮,那如何通过算法赋予机器“看”的智能,就是我们接…

全网最详细TCP参数讲解,再也不用担心没有面试机会了......

作者 | 小林coding责编 | 王晓曼封图 | CSDN 下载自视觉中国前言TCP 性能的提升不仅考察 TCP 的理论知识,还考察了对于操作系统提供的内核参数的理解与应用。TCP 协议是由操作系统实现,所以操作系统提供了不少调节 TCP 的参数。Linux TCP 参数如何正确有…

图片的缩放与拖拽

这个图片的缩放的流畅度还是很好的&#xff0c;需要引入touch.js,好像是百度团队那边写的 <script src"./js/touch.min.js" type"text/javascript"></script> $(function() { //放大缩小var scaleVal 1;var initialScale scaleVal || …

为了帮助卖家成交,闲鱼工程师做了些什么?

引言 闲鱼是一个C2C平台&#xff0c;提高卖家活跃度不仅有利于成交的提升&#xff0c;对于用户增长也有积极意义。而其中的关键点就在于其成交的效率。而个人卖家由于其专业程度不如专业卖家&#xff0c;成交效率往往并不高。我们希望可以实现两个提升&#xff1a; 能帮助卖家…

TOP互联网公司都在用,为什么SRE比传统运维更抢手?

阿里妹导读&#xff1a;双11的完美收官&#xff0c;2684亿的销售奇迹及顺滑极致的客户体验让双11背后的技术再次被推到风头浪尖。而双11技术热点话题&#xff0c;不得不提集团核心系统100%上云这一技术创举。 作为集团上云的底座产品&#xff0c;ECS承担了集团上云基础设施的重…

***error*** (zip#Browse) unzip not available on your system

文章目录1. 修改jar配置文件2. 现象3. 解决方法1. 修改jar配置文件 vim xxx.jar2. 现象 用不同用户打开&#xff0c;效果是不一样的&#xff0c;下图分别是 root账号、普通用户打开的 root账号显示异常还不明显&#xff0c;切换成普通用户后发现就很明显了&#xff0c;原来…

帅爆了!3个月0基础转型头条数据分析师,他做对了什么?

年初的黑天鹅打乱了我的求职阵脚&#xff0c;专业不对口&#xff0c;无实习经验&#xff0c;在求职路上的竞争优势几乎为0&#xff0c;然而&#xff0c;开启自救模式后&#xff0c;我顺利成为了头条数据分析师&#xff0c;下面我就讲讲人生是怎么开挂的。随着人工智能普及&…

淘宝如何保障业务稳定性——诺亚(Noah)自适应流控

作者|哲良、八风、泽彬 出品|阿里巴巴新零售淘系技术部 诺亚(Noah) 自适应流控解决方案 基于自动控制算法&#xff0c;解决了人工限流配置疏漏或过时的痛点&#xff0c;大幅提升应用抵抗流量冲击的能力。在刚过去的双11中&#xff0c;诺亚(Noah)保障了大量业务应用系统&#x…

倒计时1天 | 张钹院士领衔,AI开发者大会20大论坛全攻略!

2020年7月3—4日&#xff0c;由 CSDN 主办的第三届 AI 开发者大会&#xff08;AI ProCon 2020&#xff09;&#xff08;大会官网&#xff1a;https://aiprocon.csdn.net/&#xff09;将以线上直播的形式与大家相见。本次大会历时2天&#xff0c;一次性设立6大主题、20大精彩分论…

使用html5+的plus调起相机拍照,使用canvas压缩图片,转成base64传到后台

html代码&#xff1a; <div class"form-com door"><label for"">门头照&#xff1a;</label><a href"javascript:void(0);" onclick"getImage(1)"><img id"img1" class"img" src&quo…

1亿人点赞的晚会,如何做技术沉淀?

阿里妹导读&#xff1a;今年是双11的第11年&#xff0c;猫晚的第5年。今年的天猫双11狂欢夜(简称“猫晚”)有超200个国家和地区通过优酷APP观看猫晚直播。5144万人通过猫晚公益直播间观看明星卖农货&#xff0c;网友在淘宝直播间点赞1亿次&#xff0c;海外艺人参与的节目超过了…

K8s 集群节点在线率达到 99.9% 以上,扩容效率提升 50%,我们做了这 3 个深度改造

导读&#xff1a;2019 年阿里巴巴核心系统 100% 以云原生方式上云&#xff0c;完美地支撑了 双11 大促。这次上云的姿势很不一般&#xff0c;不仅是拥抱了 Kubernetes&#xff0c;而且还以拥抱 Kubernetes 为契机进行了一系列对运维体系的深度改造。 Kubernetes 作为云原生的最…