在家“隔离”这1个月,阿里云视频云这些工程师都经历了什么?

战"疫”当前,没有谁会置身事外。从1月底开始,一场全民疫情阻击战拉开帷幕,企业停工、学校停课、商场停业,城市街道分外冷清,相反的是,无法出门的数亿网民却在互联网上掀起了一阵不小的流量热潮。距离2月10号的那次流量洪峰,已经过去整一个月了。此时的喻义正在组织内部视频会议,对这一个月以来的工作进行复盘。在他看来:危难面前,更能检验技术力量,这是一场前所未有的硬仗,也是一个身为技术人特有的高光时刻。在这场战“疫”中,有一些故事值得被记录。

疫情之下 时刻在线

春节假期期间,喻义所在的阿里云视频云团队刚刚完成了春晚直播的护航,如果是往年,到了大年初二,他们就可以放下紧张的情绪,将注意力回归到家庭了。但今年不同,受到疫情影响,1.8亿家庭蜂拥网上看贺岁片,4000万网友在线云监工火神山,2亿人集体在家复工,全国中小学生空中开课……海量视频数据汹涌而来,在互联网之上奔流涌动。

喻义从春晚护航开始就一直紧盯CDN资源大盘,眼看着数据节节攀升,作为CDN产品架构和边缘基础设施团队的负责人,他接到任务,将为这次互联网流量遭遇战挂帅出征。

对于任何互联网服务来说,用户的稳定、流畅、高效地使用都是体验的基础。而CDN的任务就是要确保这条“互联网信息高速公路”的顺畅通行,避免因为拥塞而导致出行效率的降低。

“说实话当时虽然业务有点紧迫,但是我们还没有对接下来的流量大爆发有充分的预感,所以前期基本是在复用之前的技术方案,加之每年双11期间和一场场大活动的经验积累,我们还是很快就把方案跑通了。”喻义说。

喻义工作照.JPG
(在家办公,喻义占用了女儿的小书桌)

然而在2月1日的时候,工程师们就觉得不对了,来势汹汹的新冠病毒给他们打了一个措手不及。大批线下流量转移到线上,用户和在线时长的爆发式增长,也带来了带宽需求的井喷。提出扩容需求的客户越来越多,系统预估在接下来几周的推流和带宽业务量将大大超出之前预期的数据。

整个钉钉群里充斥着这样的话语:“客户要加量,下周一要翻10倍,快做方案!”、“这波峰值平稳过了,预测下一波在2小时后”、“客户端质量数据拉出来了,半小时后拉会拍优化方案”、“这个流的视频码率要稳定控制在850Kbps,谁来配合我搞一下?”、“这延迟肯定不行,调不好不能给客户上线”、“节点水位已经接近安全阈值了”……喻义的心也跟着悬了起来。

被卷入这场战役的每个人都不容易。时间紧任务重,这群工程师要在短短几天时间内要完成资源储备和调度,调整直播技术方案,做足应急预案,同步还要确保对线上客户的问题响应和护航,跟他们一起扛住一波又一波的流量高峰。

千锤百炼 “疫”不容辞

为什么要扩容?当遭遇网络流量骤增、用户请求量增长时,平台面临着下行流量带宽水涨船高,服务器压力变大的问题,站点响应慢、连麦效果变差、音画不同步、互动不及时等一系列连锁反应都会出现,在线教育、视频会议、互动直播等视频类业务首当其冲。为了确保用户体验不受影响,不让带宽成为业务增长的阻力,提前“备粮”是不二之选。

比如兄弟团队钉钉,他们在阿里云上紧急扩容1万台云服务器,保障业务的连续稳定。同时也向阿里云CDN提出了扩容需求,确保钉钉视频会议、群直播的用户流畅体验。

钉钉在家办公.png
(图片摘自网络:这个开工季,钉钉视频会议是常态)

所有人都知道流量一定会增长,但是到底会涨多少,在什么时间点迎来爆发,谁也不敢下保证。这么频繁的扩容和庞大的体量也给了CDN系统带来了不小的挑战:

第一,特殊时期依旧要确保交付效率

疫情来的太过突然,流量的迅猛增长给系统带来的冲击不亚于每年双11,然而留给所有人准备的时间往往只有几天,保持带宽资源的充足、弹性,在较短时间内为众多客户应急扩容是一个很大的挑战,加之疫情期间封路、封城、施工人员隔离等各种不可控因素,扩容之路异常艰辛;

第二,平台流量越多,对调度系统的考验越大

当CDN平台上有越来越多的流量涌入,如何更高效地进行资源规划,实现全网负载均衡?如何实现精准的流量预测与控制?如何赋予业务必要的弹性?如何智能分析流量画像,准确判断和预估出每一路直播的CPU和带宽消耗,精细粒度的调度资源这些都是难点;

第三,极限场景下的业务稳定性保障

疫情期间存在各种客观因素制约,直播链路涉及到推流、转码、录制、截图、时移、分发等等环节非常长,怎样预先避免资源瓶颈这类极限场景?如果出现了,有哪些应急手段可解?怎样把对客户的影响降到最小?

第四,重保每一个客户

疫情期间每一个在线教育和远程办公平台背后都承载着一份希望,工程师们远离客户现场,很多都是隔离在家,却依旧要保持对临时需求变更的迅速响应和高质量交付。

“挑战再大,也不能把为客户服务的脚步给吓停了。从2014年阿里云CDN上线到现在,这种挑战无时无刻不存在,所以我们的武器(技术)才能被磨的更光更亮,我们还是有信心能打赢这场遭遇战的。”喻义说道。

首先,在资源部署上,阿里云分布CDN全球2800+边缘节点和130Tbps带宽储备,已经具备足够的弹性容量,团队也成立疫情支持专项小组,其中专门负责资源管理和建设的同学7*18小时盯盘跟进资源扩容,确保弹性。其次,在调度系统上,阿里云智能调度系统可以做到15%业务弹性自动化兼容,确保节点水位平稳跑在80%,基于全球LDNS进行画像和基于分钟级日志精准分析,以此完成偏差在5%以内的流量精准预测,同时保证调度策略秒级生效。第三,经过了11年双11和2018年俄罗斯世界杯的打磨之后,CDN对视频高并发这类业务场景已经比较熟悉,具备一套成熟的解决方案和完整的应急预案。在服务30多万客户的过程中,针对点播、直播、HTTPS、大文件、客户端、内容安全防护等不同业务类型,系统的技术储备也比较充足,可以为客户提供场景化、针对性的加速方案,使得收益最大化。

每次的商业变革都将催化新技术的创新和应用,这次极限拉练也给了阿里云视频云不少新技术大展身手的机会,帮助在线教育行业解决了低延时、高并发、大带宽等行业通用难题。其中,超低延时直播RTS(Real-time Streaming)服务在疫情期间支持了大量在线教育平台,在直播推流端、播放端通过SDK嵌入的方式集成阿里云私有协议,实现直播延迟降级到百毫秒级;多中心百万级并发推流解决方案,提供专门应对海量推流场景的全链路优化,可助平台更从容应对短时间的并发开课;自适应码率解决方案采用机器学习手段,通过分析历史编码信息和待编码帧的复杂度,在不影响人眼主观观看质量的情况下,减少低复杂度场景的码率消耗,确保每一帧都能以最合适的码率编码,从而针对在线教育场景降低50%以上码率,大幅节省带宽成本。

“过去几年的护航经验和专业的技术储备让团队底气很足,接下来的几波流量高峰也平稳度过了。看着客户的直播稳了,CDN大盘稳了,我们才能安稳得睡一觉。”喻义说道。

使命必达 上路即狂奔

过去的1个多月里,合作多年的在线教育平台不断加码、各地教育部门发起的空中课堂频繁上线、和兄弟团队的合作紧锣密鼓,阿里云视频云不曾停歇。

1月31日起,在线教育群雄四起,CDN和边缘节点服务开始为各大平台扩容重保,为猿辅导、好未来、VIPKID等数十家平台提供技术支持。

2月3日,特殊开工日,CDN护航了钉钉上1000万家企业的在线开工,为视频会议、群直播的顺畅访问提供有力保障。

2月3日,阿里云视频云与保利威联手搭建“空中课堂”,帮助黄冈中学高三班重回课堂,确保在整个线上直播系统在增长数倍的情况下,依旧能保持高清的画质和流畅的交互体验。

2月6日,阿里云视频云发布停课不停学在线教育专项扶持计划,用免费产品套件和千万补贴基金全方位驰援教育机构和SaaS合作伙伴,通过视频点播、视频直播、RTC等产品技术赋能教育客户更快速、更经济地搭建多端远程授课应用。

2月10日,阿里云同天喻教育、微吼科技共同建设的武汉教育云“空中课堂”上线。也是在这一天,全国60万教师在钉钉直播上课,CDN保障全国5000万学生“在家上课”低延迟、流量的体验。

13e8-iprtayz1894383.png
(国家中小学网络云平台上线)

2月17日,国家中小学网络云平台正式开通。在此之前的7天内,阿里云完成了全部CDN资源部署,确保平台网络带宽充足和视频传输链路的稳定。

2月19日,宁波教育局“甬上云校”累计浏览量突破2500万次,总流量达到1200T,相当于300万节课已经被浏览,阿里云视频云为其提供了多直播中心部署和就近的优质节点接入,为百万学生的上课体验保驾护航。

截至目前,停课不停学在线教育专项扶持计划发布1个月有余,已经累计为数千名中小企业提供专项技术扶持和免费产品服务。不止如此,阿里云视频云也为全民“云拜年、云聚餐、云蹦迪”筑起了一道坚实、极速的流量长城,此时此刻,故事还在继续。

屏幕快照 2020-02-06 上午9.17.52.png
(在线教育专项扶持活动部分免费产品)

暖春花开 未来已来

疫情给国民生命和经济带来了打击,也给大家日常工作和生活都带来了很多不便。但是客观环境的改变,却让在线教育、线上办公、互动直播等“在线”业务迎来了意外的发展机遇。未来,零售、金融、政务、医疗……越来越多的行业会将目光瞄准“在线”, 在线化、数字化转型将会使得作为IT基础设施的云计算技术提出更高的要求,而CDN则是在线业务坚守“流畅、稳定、可靠”的最佳防线。

为了做好数字经济的流量底座,阿里云视频云不仅在资源和产品服务上加大投入,也聚焦在智能中台、边缘安全等领域做了不少技术投入:“我们已经建成了从智能运维,实时数据监控、全网动态实施故障感知到智能自修复的全链路智能运营支撑平台,用于提升系统稳定性,确保业务724365可靠。而针对政府网站、金融、企业办公这类对安全有特殊需求的业务场景,我们也在CDN上纳入了边缘防护能力,支持边缘WAF、DDoS防护,防CC,防Web应用攻击、HTTPS传输加密,同时面向客户提供防爬、防篡改、防盗链、防劫持等防护手段。CDN也已经通过了等保2.0三级认证,希望能为客户带来安全与加速的一站式体验。”喻义介绍到。

5G 时代,更多在线、视频类创新应用将会被激活,CDN将从内容分发将演变为价值传递,作为承载流量的基础技术与边缘计算相结合,成为各行各业提升效率、优化经营、智能应用的强大驱动力。

不知不觉,窗外已经是暖春,城市正在复苏,喻义心想:“或许CDN的下一个春天也已经在路上。”

上云采购季 CDN&视频云优惠

点击直达上云采购季,获取CDN和视频云产品优惠
采购季2.png

原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/516620.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

让安全威胁无所遁形,全方位掌握攻击“前世今生”的黑科技来了

作者 | 伍杏玲出品 | CSDN(ID:CSDNnews)据启明星辰发布的《2019~2020网络安全态势观察报告》显示,在过去一年多时间里,勒索攻击由 2014 年的广泛无目的的传播阶段到2017 年 WannaCry 带来的大规模自动化传播阶段,如今已…

docker mysql 日志在哪里_docker容器启动后日志在哪里

docker容器启动后日志在哪里? docker启动后日志会在以下位置 /var/lib/docker/containers/容器ID/容器ID-json.log 也可以使用以下命令查看日志: docker logs 容器ID使用docker-compose可以通过配置把日志记录到本地文件中 实战,演示以mys…

数据价值挖掘利器!阿里云实时数仓AnalyticDB PG

目的 随着数字经济时代的到来,越来越多的应用依赖数据分析来挖掘数据的价值。作为大数据存储、在线分析的重要基础系统,分析型数据库(OLAP)为数据价值的在线化提供重要的技术平台。 阿里巴巴OLAP团队经过调研发现,现…

美国AI博士指出:60天掌握Python全栈需要...

我见过市面上很多的 Python 讲解教程和书籍,他们大都这样讲 Python 的:先从 Python 的发展历史开始,介绍 Python 的基本语法规则,Python 的 list, dict, tuple 等数据结构,然后再介绍字符串处理和正则表达式&#xff0…

别琢磨了,企业高效灵活运作的秘密拿走:企业邮箱5折起!分享会场抽取苹果手机和猫超卡!

办了公司没个官方邮箱怎么行?还在用私人邮箱联系业务吗? - 不专业! 业务多了维护客户人脉关系怎么整?还在靠数名片管客户?- 太费劲! 公司大了管理维护难?还指望能靠人力运营&#x…

docker 配置nginx镜像出现 403 Forbidden的问题

(1)docker 配置nginx镜像的时候,将映射文件配置到当前宿主机上,启动nginx镜像,,通过域名访问,出现 403 查看nginx error.log日志,发现出现 (2)nginx镜像文件的配置: 启…

一套 SQL 搞定数据仓库?Flink有了新尝试

数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务,也是“数据智能”建设的基础环节。迅速获取数据反馈不仅有利于改善产品及用户体验,更有利于公司的科学决策,因此获取数据的实时性尤为重要。 目前企业的数仓建设大多是离线一套…

17 年安全界老兵,专注打造容器安全能行吗?

作者 | 伍杏玲出品 | CSDN(ID:CSDNnews)容器作为云原生的代表技术,很多人认为是容器技术掀起云原生的变革:2004 年,谷歌开始使用容器技术,并在2006年发布进程容器,将容器虚拟化基础设施引入 Lin…

“开源”vs“商业”,差别到底有多大?这篇测试一目了然

近些年来在数据分析领域,涌现出很多开源的技术方案,例如Presto、Spark、Impala等。面对多种选择,客户往往会比较困惑、无从下手。此外,MySQL生态非常火热,但对于数据分析类场景,使用此类关系型数据库是否合…

docker: Error response from daemon: driver failed programming external connectivity

docker: Error response from daemon: driver failed programming external connectivity 解决方案 (重新启动docker) systemctl restart docker

该买哪家二手手机呢?程序员爬取京东告诉你!

作者 | AJ Gordon责编 | 李雪敬出品 | CSDN(ID:CSDNnews)当你手头有一件闲置的物品时,最好的办法不是放在家里积灰,而是拿到二手网站上进行拍卖,例如淘宝的闲鱼,京东的拍拍等等。有这方面经验的…

服务3000万制造企业 阿里云数字工厂诚邀合伙人

阿里云工业互联网平台(数字工厂)通过整合阿里云资源可提供从产品研发、生产制造、销售、物流仓储、能源管理等链路中所需要的全部应用。为大型制造企业提供工业大数据分析以实现更高层次的价值挖掘,赋能中小制造企业用云化工具以较低成本实现…

大厂面试录取通过率不到3%,我真是太太太难了......

对今年应届毕业生来说,这个毕业季太难了,今年应届生总人数 874 万多,再创历史新高,各大招聘单位不仅缩减了招聘岗位,还取消了线下春招。最近在后台看到不少吐槽,很多同学反映自己面试一面就挂,有…

springbot微服务打包docker镜像

1.新建springboot项目 2.打包项目 3.编写Dockerfile 4.构架镜像 5.发布运行 6.上传至私服 7.拉取私服镜像运行 1.新建springboot项目 通过idea创建一个项目,新建一个HelloController 并新增一个hello方法便与测试 package com.gblfy.hello.controller;import org.…

NUAA-云计算-考试

19级期末 问题 答案: md格式 自己想办法看 # 随堂测验#### 一、请简述GFS 的系统架构和特点。**1. 系统架构**- GFS将整个系统节点分为三类角色:- Client(客户端):Client是GFS提供给应用程序的访问接口,以库文件的…

启迪公交:DRDS助力城市公交系统智能化

公司介绍 启迪公交(北京)科技股份有限公司以下简称“启迪公交”,成立于2018年6月26日,是国内领先的智慧公交系统方案提供商和服务运营商。通过承接公交信息化和智慧化项目建设,应用最先进的互联网商业模式&#xff0c…

长沙营智:PolarDB助力长沙营智提速资讯搜索业务

公司介绍 长沙营智信息技术有限公司旗下易撰网,2017年10月份上线以来,基于数据挖掘技术为自媒体内容创客提供写作灵感、创作工具的写作连接,现已成为中国用户最多的内容创客的工具平台。 易撰是专业的新媒体大数据服务商,基于新…

云起云涌:PaaS 体系架构与运维系统上云实践

作者 | 刘鹏宇 中国农业银行研发中心责编 | 李雪敬出品 | CSDN云计算(ID:CSDNcloud)今年以来,远程办公、远程会议走进了大多数人的日常工作中,各类云产品相继被人们所熟悉,例如石墨云”OFFice”办公软件、…

阿里云李飞飞:传统数据库步履蹒跚,未来的机会在哪里?

在采访中李飞飞表示,随着计算和数据上云的趋势快速发展,传统数据库步履蹒跚,云原生数据库和数据仓库利用云原生技术最大化的发挥池化的计算和存储资源弹性将是未来。同时随着AI技术的不断深入使用,数据库也将会越来越智能化&#…

从零开始入门 K8s | K8s 安全之访问控制

作者 | 匡大虎 阿里巴巴技术专家 本文整理自《CNCF x Alibaba 云原生技术公开课》第 27 讲,点击直达课程页面。 关注“阿里巴巴云原生”公众号,回复关键词“入门”,即可下载从零入门 K8s 系列文章 PPT。 导读:访问控制是云原…