突破连接壁垒,火山引擎边缘云网络的先行之路

在万物互联时代,信息不局限于人与人之间的交流,大量的机器设备也需要进行信息交流。就在去年,我国率先迎来了“物超人”的历史性时刻,即物联网连接数超越了人联网连接数。边缘云的发展进入到“黄金十年”。

“要致富,先修路。”这句话在当下也是极具说服力的。边缘云的“修路”,则要依托网络,网络连接了算力,连接了数据,连接了场景,连接了多云。就像火山引擎边缘云网络产品研发负责人韩伟在接受 51CTO 采访时所说,“边缘云的发展,网络是一定要先行的。只要网络出去,算力就能出去,这也是火山引擎边缘云所持续突破的目标,即让连接和计算无处不在”。

网络是支撑边缘云的关键基础设施

边缘云的目标是在网络的边缘侧提供IT基础设施和云服务,将数据处理和计算能力从云计算中心向网络边缘延伸,在靠近客户的位置提供计算、存储和网络资源,以实现更低的延迟、更快的响应时间和更好的数据安全性。

边缘云网络是一张融合的分布式网络,覆盖了云边缘、近场边缘和现场边缘,面向客户数字化应用和业务需求提供 1ms 到 40ms 广域网络接入,相比中心云具有低延迟、低成本、广覆盖等特征,具备强网络调度属性及扩展性。由于边缘网络覆盖范围更广,用户可以选择就近接入,因此边缘网络天然具备了低延迟的优势。用户就近接入后,由于整个传输链路更短,结合云上带宽调度与复用,从带宽消耗的成本上也更加具有竞争优势。另外,边缘云具有海量分布式节点以及丰富的业务场景,通过核心节点间的专线覆盖,可以给用户带来更好的体验。

在扩展性方面,由于中心云 Region 规模大,所以扩展成本很高,建设周期也非常长。而边缘节点相对比较灵活,可以根据不同业务诉求建设边缘节点,通过网络协同海量分布式节点,快速满足业务发展的需求。 

图片

通过将网络接入、计算、存储以及智能化数据分析等工作放在边缘处理,边缘云能够降低响应时延,减轻云端压力,降低带宽成本,并基于云网智能调度能力,对外提供内容分发网络、联网与加速等网络产品服务。因此,网络在边缘云中处于非常关键的位置,是支撑边缘计算及云上产品的关键基础设施。

由内及外,内外统一的边缘云网络

火山引擎是一朵后起之秀的云,虽然发布时间相对较晚,但在内部已经服务了诸多高流量的复杂业务,积累了丰富的技术实践和业务拓展经验。这两年,火山引擎逐步完善边缘云的技术体系和产品体系,以更好地满足不断发展和变化的市场需求。

韩伟所在的技术团队,就是负责火山引擎边缘云网络的产品规划、研发设计、上线交付以及售后服务等环节,整体把控边缘云网络的需求合理性及研发交付,保障边缘云网络产品的服务能力。

韩伟表示,火山引擎边缘云网络的早期主要为抖音集团提供服务,集团所有流量的接入以及网络调度优化体系、网络优化库都是由这个团队负责。并且,集团内部图片缓存及静态文件加速、动静态混合加速等相关业务也是基于边缘云网络服务构建。

其次,火山引擎边缘云网络与中心云的业务有较好的互补,互相联动。例如,CDN 流量主要是下行,存储业务更多是上行,通过对象存储 TOS 和边缘云结合,通过带宽上下行复用的方式,可以极大地降低成本。

再者,火山引擎边缘云网络也在持续向端及更广的地域进行延伸,持续向近场与现场边缘覆盖,并提供全链路的体验优化。例如,在集团抖音业务上,边缘云流量接入体系中会有较多的网络传输及调度优化策略,业务在接入过程中可以进行网络诊断及配置调优,从而让用户得到更好的服务体验。在游戏相关场景中,通过在端侧 SDK 的网络诊断及配置优化,结合云上加速能力,可以给游戏业务及用户提供更好的网络传输服务。

此外,火山引擎边缘云也是内外统一的云,内部业务和外部业务看到的产品和技术是一致的。韩伟表示,“集团业务实际上也是我们的客户,只不过集团客户相对体量会比较大。也正是因为边缘云经过了集团业务规模化的验证,才有了今天具备一定规模并且经历了充分安全与稳定验证的火山引擎边缘云”。

据了解,火山引擎边缘云在全球有 1300 多个节点,覆盖了 50 多个国家,全网的带宽储备已经达到 110T 以上,并建设了覆盖中国大陆、东南亚、及欧美等主要区域的全球骨干网络,可以帮助用户实现全球业务就近接入。

图片

基于全球丰富的边缘算力与网络资源覆盖,火山引擎边缘云网络团队通过智能选路、协议优化等技术,提供内容分发网络、全站加速、全球加速、游戏加速、SD-WAN+ 等场景服务,助力企业实现高可用、高品质、高安全的全球网络连接与加速。

关键技术探索,多层面保障网络运行

边缘云是能够在靠近用户的地方提供高效、可靠的计算和存储服务。然而,边缘云网络的建设和管理也需要一系列的关键技术支持。韩伟将火山引擎边缘云网络的关键技术总结为三类。

图片

第一类是支撑边缘云网络的技术底座,是支撑边缘云的关键部分,负责底层数据转发。火山引擎边缘云提供了多种形态的数据面转发组件,包括主机网络、融合网关和负载均衡等。

  • 在主机网络层,向上支撑了多种虚拟机和容器,以及场景化的算力服务,并提供了租户隔离、网络虚拟化、安全防火墙等能力,以确保用户网络的安全隔离及自主可控;

  • 在融合网关层,火山引擎边缘云将所有公网流量的入口、安全以及跨域互联等相关场景进行了小型化设计,并融入到融合网关中实现,通过融合技术来满足边缘云上不同节点之间的场景需求、灵活性需求及成本需求;

  • 在负载均衡层面,火山引擎边缘云采用软硬一体的技术策略,研发了P4公网导流网关,单机可以跑到 3.2T ;单个负载均衡设备可以达到 800G 的吞吐,解决了像 CDN 大带宽以及文件存储等大流量的问题。

  • 在安全领域,火山引擎边缘云团队与安全团队协同支撑了边缘云的所有安全相关需求,例如在基础设施层面,实现了 DDOS 能力,高级威胁检测和 WAF 相关能力,以满足边缘计算节点、CDN及 DCDN 等产品的安全需求。

在数据转发的同时,为了解决路径择优的问题,火山引擎边缘云在基础转发平面之上构建了网络加速和调度平台,这是边缘云分布式节点之间互联互通的核心技术。为了解决网络不稳定时快速发现和定位问题,火山引擎边缘云实现了路径探测和端探测,设计了基于成本、质量、水位和容量的多维度调度体系,满足不同业务场景的需求;此外,火山引擎边缘云设有 Netlab 网络优化实验室,基于 Netlab 的技术储备将传输优化、私有协议等相关技术融入到加速体系中,并在应用代理和协议栈传输等方面进行了较多创新与探索,从而提高了公网传输加速能力,以及因丢包产生抖动时快速恢复能力。

最上层则是面向业务的配置中台体系,火山引擎边缘云将网络配置抽象成分层架构,称为网络配置中台,包括面向用户侧的业务语义转换,面向设备侧通用的高性能配置下发通道、设备水位检测等,以及围绕集团中间件抽象出的配置通用服务。通过网络配置中台,可以有效降低网络产品研发过程中南向配置下发、设备管理、弹性伸缩等很多重复工作,帮助火山引擎边缘云实现新产品的快速上线。

从面向用户侧的控制台到 OpenAPI,再到整个数据转发面进行配置下发,从而确保网络配置下发的一致性及高效性。此外,火山引擎边缘云还在外围搭建了智能网络服务体系,帮助用户更好地用好云,管好云。

解决复杂网络挑战难题,保障用户体验

面向海量数据的爆发,新的应用形态对时延和成本的极致要求,边缘云已逐步成为新一代应用的基础设施。从分布式的属性上看,边缘云强调的是更低的成本、更低的延迟及更广的覆盖。如果边缘节点覆盖的密度更高,接入的用户将会得到更好的体验。

然而,随着节点覆盖面的增加,网络也会更加分散,节点之间的协同也会变得更加复杂。于是,火山引擎边缘云会根据业务的覆盖面以及节点建设情况,采用专线、BGP多线进行边缘节点建设,从而形成一张融合的分布式复杂网络。

融合的分布式复杂网络,也对火山引擎边缘云团队带来了不小的管理难题。例如,用户从源节点到目标节点时,可能会经过不同的路径,由于许多节点间转发时公网传输是不可控的,因此如何快速定位问题成为了挑战难题。其次,不同节点规模、网络线路覆盖都有会有较大差异,节点协同及网络转发上会面临更高的复杂度。如何保障用户的体验,实现快速定位、快速发现、快速恢复的能力呢?

图片

火山引擎边缘云团队逐一来破解这些难题。站在服务的角度来看,私网是相对容易可控的,所以目标是能直接定位问题。而对于公网,有一段是不可控的,所以需要在可控范围内定位问题,在不可控范围内尽量做到快速定界,即判断是私网的问题,还是公网的问题。确定是云上问题还是网络运营商问题,从而对应地进行解决。

韩伟指出,为了快速判断问题,火山引擎边缘云在网络层、传输层和应用层采用了不同的方法,并将三者结合使用。

在网络层,火山引擎边缘云将云上所有场景的网络路径、网络节点、网络组件等环节进行埋点、着色、路径跟踪和诊断,从而直接定位问题所在。

在传输层,火山引擎边缘云通过刻画全链路网络传输,快速定位问题。由于代理场景可能会将一个连接分为几个部分,火山引擎边缘云通过应用请求的日志监控、协议栈五元组信息及刻画连接期间的传输行为,在请求发出后,可以将代理前后的五元组信息、传输行为及应用侧请求关联到一起,一旦发生丢包问题,就可以快速分析多阶段连接及请求传输行为,从而确定问题所在。

在应用层,通过丰富的应用日志聚合用户的客户端信息、接入地域、请求资源及响应延迟等情况,结合网络层和传输层的路径跟踪以及传输刻画,直接定位问题。

此外,为了提高用户的体验,韩伟团队做了很多边缘云网络的调度以及传输协议的优化。一是让用户可以就近地接入,降低延迟等带来的影响;二是在互联调度方面,火山引擎边缘云通过节点间 full mesh 探测,掌握每个节点的网络延迟及健康情况,并根据成本、质量、节点容量、水位等情况编排最佳的转发路径。

持续突破,让连接与计算无处不在

火山引擎边缘云的未来发展策略是更深的融合和更广的连接。更深的融合则是从纵向强调云边端的融合,将边缘云下沉到边缘、近场,乃至现场,解决更多的场景问题,实现云边端调度一体化、数据一体化、运维一体化和安全一体化。更广的连接则是从横向覆盖更广的场景,更广的区域,甚至覆盖全球。

在火山引擎边缘云整体的发展前行中,网络需要更好地满足边缘云在融合和连接两方面的需求;同时,未来的网络需要具备更高的弹性、调度能力和加速能力,这些会成为边缘云的核心竞争力。韩伟所在的边缘云网络团队也将持续布局网络基础资源的建设,并在传输优化和调度方面进行持续探索,通过网络实验室进行更多的创新与业务实践。此外,火山引擎边缘云网络团队还将在可观测领域发力,将网络传输路径刻画得更加细致,并期望将这些能力输出给外部用户,让用户也具备可观测的能力;最后,构建网络生态是边缘云网络发展的关键,需要解决网络开放和应用透明接入等问题。火山引擎边缘云网络团队将与更多的产业伙伴协同配合,在边缘云上输出更多的产品和解决方案,覆盖更丰富的场景,满足用户多样化的需求。

韩伟指出,边缘云的发展中,网络一定是先行的;无论是生态还是场景的构建,网络都会先行一步。“我们也会在网络自身上发力,让边缘云在连接与计算两大方向上变得更加扎实。只要网络出去,算力就能出去,这是我们持续突破的目标,最终实现'让连接与计算无处不在'”。

关于火山引擎边缘云:

火山引擎边缘云,以云原生技术为基础底座,融合异构算力和边缘网络,构建在大规模边缘基础设施之上的云计算服务,形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/58501.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JavaFX 加载 fxml 文件

JavaFX 加载 fxml 文件主要有两种方式,第一种方式通过 FXMLLoader 类直接加载 fxml 文件,简单直接,但是有些控件目前还不知道该如何获取,所以只能显示,目前无法处理。第二种方式较为复杂,但是可以使用与 fx…

Docker容器与虚拟化技术:Docker compose部署LNMP

目录 一、理论 1.LNMP架构 2.背景 3.Dockerfile部署LNMP 3.准备Nginx镜像 4.准备MySQL容器 5.准备PHP镜像 6.上传wordpress软件包 7.编写docker-compose.yml 8.构建与运行docker-compose 9.启动 wordpress 服务 10.浏览器访问 11.将运行中的 docker容器保存为 doc…

智能设计师的崛起:探寻智元兔AI设计师的神奇之旅

AI绘图是指利用人工智能技术来生成或改善绘图作品的方法和工具。通过使用深度学习和生成对抗网络等算法,人工智能可以学习和模仿艺术家的创作风格,生成逼真的艺术作品。 智元兔-AI设计师是一款基于人工智能设计工具,利用机器学习和深度学习技…

什么是ChatGPT水印,ChatGPT生成的内容如何不被检测出来,原理什么?

太长不看版 1. 什么是ChatGPT水印? ChatGPT水印是AI以伪随机方式生成的独特tokens序列。该序列用来作为水印,以区分AI生成内容和人类原创内容。 2. 如何规避ChatGPT水印? 一种规避方法是使用其他AI模型改写ChatGPT生成的文本。这会破坏水…

大数据(二)大数据行业相关统计数据

大数据(二)大数据行业相关统计数据 目录 一、大数据相关的各种资讯 二、转载自网络的大数据统计数据 2.1、国家大数据政策 2.2、产业结构分析 2.3、应用结构分析 2.4、数据中心 2.5、云计算 一、大数据相关的各种资讯 1. 据IDC预测&#xff0…

JOJO的奇妙冒险

JOJO,我不想再做人了。 推荐一部动漫 JOJO的奇妙冒险 荒木飞吕彦创作的漫画 《JOJO的奇妙冒险》是由日本漫画家荒木飞吕彦所著漫画。漫画于1987年至2004年在集英社的少年漫画杂志少年JUMP上连载(1987年12号刊-2004年47号刊),2005年后在集英…

全国首台!浙江机器人产业集团发布垂起固定翼无人机-机器人自动换电机巢

展示突破性创新技术,共话行业发展趋势。8月25日,全国首台垂起固定翼无人机-机器人自动换电机巢新品发布会暨“科创中国宁波”无人机产业趋势分享会在余姚市机器人小镇成功举行。 本次活动在宁波市科学技术协会、余姚市科学技术协会指导下,由浙…

DBO优化SVM的电力负荷预测,附MATLAB代码

今天为大家带来一期基于DBO-SVM的电力负荷预测。 原理详解 文章对支持向量机(SVM)的两个参数进行优化,分别是:惩罚系数c和 gamma。 其中,惩罚系数c表示对误差的宽容度。c越高,说明越不能容忍出现误差,容易过拟合。c越小&#xff0…

Pytorch-以数字识别更好地入门深度学习

目录 一、数据介绍 二、下载数据 三、可视化数据 四、模型构建 五、模型训练 六、模型预测 一、数据介绍 MNIST数据集是深度学习入门的经典案例,因为它具有以下优点: 1. 数据量小,计算速度快。MNIST数据集包含60000个训练样本和1000…

网络编程 http 相关基础概念

文章目录 表单是什么http请求是什么http请求的结构和说明关于http方法 GET和POST区别http常见状态码http响应http 请求是无状态的含义html是什么 (前端内容,了解即可)html 常见标签 (前端内容,了解即可)关于…

App卡帧与BlockCanary

作者:图个喜庆 一,前言 app卡帧一直是性能优化的一个重要方面,虽然现在手机硬件性能越来越高,明显的卡帧现象越来越少,但是了解卡帧相关的知识还是非常有必要的。 本文分两部分从app卡帧的原理出发,讨论屏…

Mainline Linux 和 U-Boot编译

By Toradex胡珊逢 Toradex 自从 Linux BSP v6 开始在使用 32位处理器的 Arm 模块如 iMX6、iMX6ULL、iMX7 上提供 mainline/upstream kernel ,部分 64位处理器模块如 Verdin iMX8M Mini/Plus 也提供实验性支持。文章将以季度发布版本 Linux BSP V6.3.0 为例介绍如何下…

detour编译问题及导入visual studio

Detours是经过微软认证的一个开源Hook库,Detours在GitHub上,网址为 https://github.com/Microsoft/Detours 注意版本不一样的话也是会出问题的,因为我之前是vs2022的所以之前的detours.lib不能使用,必须用对应版本的x64 Native To…

python的安装(推荐)

torch安装与卸载推荐链接1推荐链接2 推荐链接3 安装pytorch步骤推荐链接 python关键字:

4 hadoop集群配置案例

3&#xff09;配置集群 &#xff08;1&#xff09;核心配置文件&#xff0c;core-site.xml cd $HADOOP_HOME/etc/hadoopvim core-site.xml文件内容如下&#xff1a; <?xml version"1.0" encoding"UTF-8"?> <?xml-stylesheet type"text…

数据库概述

目录 数据库 数据库的基本概念 数据 表 数据库 数据库管理系统 数据库系统 DBMS的主要功能 DBMS的工作模式 ​编辑 数据库的发展 数据库类型 关系数据库 关系数据库的构成 非关系数据库 非关系型数据库的优点 关系型数据库与非关系型数据库的区别 数据库 数据库…

Flink流批一体计算(16):PyFlink DataStream API

目录 概述 Pipeline Dataflow 代码示例WorldCount.py 执行脚本WorldCount.py 概述 Apache Flink 提供了 DataStream API&#xff0c;用于构建健壮的、有状态的流式应用程序。它提供了对状态和时间细粒度控制&#xff0c;从而允许实现高级事件驱动系统。 用户实现的Flink程…

Ubuntu安装RabbitMQ

一、安装 更新系统软件包列表&#xff1a; sudo apt update安装RabbitMQ的依赖组件和GPG密钥&#xff1a; sudo apt install -y curl gnupg curl -fsSL https://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc | sudo gpg --dearmo…

暴力递归转动态规划(二)

上一篇已经简单的介绍了暴力递归如何转动态规划&#xff0c;如果在暴力递归的过程中发现子过程中有重复解的情况&#xff0c;则证明这个暴力递归可以转化成动态规划。 这篇帖子会继续暴力递归转化动态规划的练习&#xff0c;这道题有点难度。 题目 给定一个整型数组arr[]&…