Kubernetes 学习总结（41）—— 云原生容器网络详解

背景

随着网络技术的发展，网络的虚拟化程度越来越高，特别是云原生网络，叠加了物理网络、虚机网络和容器网络，数据包在网络 OSI 七层网络模型、TCP/IP 五层网络模型的不同网络层进行封包、转发和解包。网络数据包跨主机网络、容器网络、虚机网络和物理网络到达对端，期间必然带来网络性能损耗。

场景

（1）低延时交易场景

证券交易系统具有交易时间相对集中、交易指令和数据密集的特点，对交易系统处理速度具有极高的要求。近年来，全球各大交易所都在不断对交易系统升级改造，其中“低时延”成为各大交易所竞争的核心，交易系统延时竞争已经进入微秒量级。用户通过客户端委托交易下单经过交易所外的交易软件、主机网络和物理网络，进入交易所内软硬件网络撮合交易，然后将委托回报和成交回报通过反向网络数据链路发送给用户。

图片

（2）视频和云游戏等流媒体场景

在多媒体领域，直播流媒体、在线视频和云游戏等场景都存在对网络性能、传输速度有极高的要求。单纯从软件或者操作系统虚拟化出来的网络设备，无法达到网络收发处理、转发和传输的性能要求，以及保证低丢包率和低时延。

（3）流量隔离场景

在银行、证券、保险等金融行业，因金融政策、监管政策的要求，需要实现对管理流量、存储流量和业务流量进行隔离，做到网络运维管理，数据存储、数据备份和数据交互同步与业务流量分离，保障数据交互同步与正常网络访问的相互隔离，提高网络并发能力和降低网络延迟。

以上应用场景，无法通过单纯的应用网络、主机网络和硬件网络来解决微妙级低延时要求。如何提升云原生时代整体网络性能，降低网络时延呢？我们可以从传统网络和容器网络路径分析哪些可以优化的点或片段，针对这些点或片段提供可行的容器网络加速方案。

术语

CNI：Container Network Interface，容器运行时和网络实现之间的容器网络 API 接口。

IPAM：专门用于管理容器的IP地址管理，包含对容器分配 IP 地址、网关、路由和 DNS 等管理。

SR-IOV：Single Root I/O Virtualization，单根虚拟化，允许在虚拟机之间高效共享 PCIe 设备。

PF：Physical Function，包含 SR-IOV 功能结构主要用于 SR-IOV 功能管理。PF 通过分配 VF 来配置和管理 SR-IOV 功能。

VF：Virtual Function，轻量级 PCIE 功能（I/O 处理）的 PCIE 设备，每个VF 都是通过 PF 来生成管理，VF 的具体数量限制受限于 PCIE 设备、自身配置和驱动程序的支持。

RDMA：Remote Direct Memory Access，远程直接内存访问，将网络协议栈下沉到网卡硬件，网卡硬件收发包并进行协议栈封装和解析，然后将数据存放到指定内存地址，而不需要 CPU 干预。

DPDK：Data Plane Development Kit，数据平面开发套件，工作在用户态用于快速数据包处理，使用轮询 Polling 来处理数据包。

VPP：Vector Packet Processing，矢量数据包处理，工作在用户态的高性能数据包处理协议栈。通常与 DPDK 结合使用，提供多种收发数据包、交换和路由能力。

VCL：VPP Communication Library，高性能 VPP 数据包处理协议栈类库。

eBPF：Extended Berkeley Packet Filter，可扩展的伯克利包过滤器，在操作系统内核中运行沙盒程序，安全有效地扩展内核功能，而不需要更改内核源代码或加载内核模块。主要提供主机网络通信、安全管理和可观测的能力。

Cilium：基于 eBPF 技术实现的网络插件，用于提供网络、安全和观测容器工作负载之间的云原生网络。

XDP：eXpress Data Path，快速数据路径，XDP 是 Linux 网络处理流程中的一个 eBPF 钩子，能够挂载 eBPF 程序，能够在网络数据包到达网卡驱动层时对其进行处理。

传统网络数据包处理路径

在传统的 Linux 主机网络中，源应用程序通过系统调用与内核中 Socket 层进行网络数据交互，网络数据包分别依次进入 Socket 层、传输层、网络层和网络接口层，最后通过网卡驱动、CPU 和物理网卡到达目标应用程序所在的物理网卡，期间 CPU 和网卡驱动频繁进行硬中断、软中断与轮询来通知操作系统进行收发收据包。

图片

接下来，我们具体分析一下网络数据包发送流程：首先，在用户态网络协议栈中，源应用程序会调用 Socket 发送数据包的接口，数据包从用户态进入到内核态中的 Socket 层，Socket 层会将应用层数据拷贝到 Socket 发送缓冲区中。然后，在内核态网络协议栈中，从 Socket 发送缓冲区中取出数据包，并按照 TCP/IP 协议栈从上到下逐层处理。如果使用的是 TCP 传输协议发送数据，那么会在传输层增加 TCP 包头，然后交给网络层，网络层会给数据包增加IP包，然后通过查询路由表确认下一跳的 IP，并按照 MTU 大小进行分片。分片后的网络包，就会被送到网络接口层，通过 ARP 协议获得下一跳的 MAC 地址，然后增加帧头和帧尾，放到发包队列中。最后，等队列准备就绪后，会触发软中断告诉网卡驱动程序有新的网络包需要发送，最后驱动程序通过 DMA，从发包队列中读取网络包，将其放入到硬件网卡的队列中，随后在物理网络中，物理网卡再将它发送出去，通过交换机或者网桥等到达目标应用所在主机物理网卡。

网络数据包接收流程与网络数据包发送的流程正好相反，其中，发送流程执行数据包的封包处理，而接收过程则执行数据包的解包处理。基于以上网络数据包通信和处理过程，在高性能网络通信场景下，频繁的网络收发数据包，数据包在内核中不同网络路协议栈之间的封装和解包处理，以及软硬件中断与轮询，导致网络通信延迟较高。

容器网络数据包处理路径

在容器网络环境下，网络数据包的处理流程较传统网络数据包的处理路径更加长，网络环境更加复杂。容器网络数据包的发送和接收经过七层，分别是：容器用户态编程协议、容器内核态网络协议栈、容器与主机网卡对、主机用户态容器网络 CNI、虚拟主机网络、主机网卡驱动，主机网卡和物理网络。

图片

相对于普通的容器化应用，微服务服务网格应用的容器网络最具代表性，主要多了边车 Sidecar 对应用的流量劫持和转发，其他的流量数据包处理过程与普通应用一样。下面以服务网格中应用与边车 Sidecar 之间的网络数据包发送和接收路径为例说明。

容器源应用程序访问目标应用程序的数据路径，在容器内与传统网络数据包收发处理流程类似，但是会增加容器主机网络路径。容器内源应用程序通过 Socket 调用，网络数据包由容器用户态进入容器内核态以太网协议栈，然后通过 Loopback 回环进入 Sidecar 边车的内核态和用户态协议栈。经由 Sidecar 流量劫持之后，通过应用 Sidecar 调用内核态 Socket 进入容器内核态以太网协议栈。最后经由主机用户态容器网络 CNI，通过虚拟主机网络，进入物理网卡和物理网络，转发至目标应用程序所在的主机和容器环境。目标应用程序所在的主机网络和容器网络的数据包处理路径与源应用程序数据包处理路径一样，但收发数据包的方向相反。

云原生背景下的容器网络，会在物理网络、主机网络、容器网络和容器主机网络等多个层面网络类型的网络性能瓶颈，可以从下表多维度分析潜在的网络加速方向：

图片

基于以上容器网络数据路径的分析，可以从几个方面进行网络规划和建设：

1、智能硬件网络方面，可以通过 Offload 下沉网卡驱动和数据包至智能硬件（SRIOV/DPU/RDMA）实现加速。

2、软件网络方面，操作系统网络层分为内核态网络和用户态网络，通过 ByPass 操作系统内核态网络协议栈，进入用户态网络协议栈，在用户态借助工具套件 DPDK，以及用户态 VPP、 VCL 和 QUIC 等协议进行编程，解决用户态网络性能问题，实现内核态和用户态网络加速。

容器网络加速方案

1. 智能网络加速

借助于支持 SR-IOV 的智能硬件，把网卡驱动卸载至物理网卡。通过调用 Netlink 包将 VF 修改到容器的 Namespace 下，使得物理机中 PF 扩展出来的 VF 可以被容器直接调用。基于 Multus、SR-IOV Device Plugin 和 SR-IOV CNI （Kubernetes 1.24 之前的版本，CNI 的管理由 Kubelet 负责，新版 Kubernetes 版本 CNI 管理由 CRI 负责）实现网络 IO 卸载至物理网卡上的 VF，同时把 VF 另一端插入容器，作为容器的以太网网卡。容器网络数据包从容器用户态协议栈，经过容器内核态协议栈，通过 VF 卸载至物理网卡 PF，ByPass 容器主机内核和主机内核驱动从而实现网络加速。同时，在 Underlay 网络场景中，通过 IPAM 可以管理集群域的固定 IP 分配、释放和回收，以及防止 IP 泄漏和 IP 冲突检测等。

图片

目前常见的支持容器 SR-IOV 技术的网卡有 Intel X710/X722/X520/540、Mellanox ConnectX-4/5/6 等，同时支持 NUMA、RDMA 和 DPU 等技术。

2. 内核态网络加速

基于支持 eBPF 的高内核版本（Kernel 4.19.57+，推荐5.10+ ）的 Linux 操作系统，在 XDP 原生驱动模式（Native-Routing）或卸载模式（Offload，需要智能网卡支持）下 ByPass 内核协议栈，通过 Cilium CNI 将容器网卡一端植入 eBPF 程序，另一端插入容器内作为容器以太网网卡，实现通信和容器网络加速。可以基于 Multus、Cilium CNI 和 SpiderPool 实现内核网络加速。

图片

3. 用户态网络加速

用户态的网络加速有多种实现方式，可以通过 SRIOV+DPDK 方式，把内核态网卡驱动切换成用户态网卡驱动，实现“用户态网卡 -> DPDK 轮询 Pool 模式-> DPDK 库 -> 应用程序” 跳过容器内核态网络协议栈，基于用户态 UIO Bypass 数据链路实现加速。或可以 DPDK +VPP/VCL 协议栈自编程模式的用户态网络极速。在服务网格场景下，借助于 Linux 高内核版本通过 eBPF Sockops/Sockmap 技术，实现应用服务与服务网格边车 Sidecar 之间的加速。

图片

以上三种网络方案，各有其有特定使用场景，智能网络加速方案加速性能最好，需要有智能硬件网卡的支持，对操作系统没有特殊的要求。内核态网络加速方案加速性能居中，仅需要操作系统满足一定的内核版本要求，有较好的通用适配性，适应于大多数网络加速场景的要求。用户态网络加速方案作为智能网络加速和用户态网络加速在 ByPass 系统内核之外的互补方案，用于用户态域的的网络加速，可以帮助用户实现全场景的网络加速方案，适应于用户应用程序的在 DPDK 工具、VPP/VCL 协议族、gRPC/QUIC 低延迟协议等自编程。

参考链接：

https://docs.kernel.org/networking/index.html 

https://docs.cilium.io/en/stable/overview/component-overview/ 

https://docs.cilium.io/en/stable/network/servicemesh/ 

https://cilium.io/use-cases/service-mesh/ 

https://ebpf.io/what-is-ebpf/ 

https://docs.openvswitch.org/en/latest/intro/install/afxdp/ 

https://github.com/k8snetworkplumbingwg/ovs-cni/blob/main/docs/ovs-offload.md 

https://xie.infoq.cn/article/6ba14b756c3019cc737ed48a6 

https://upload.wikimedia.org/wikipedia/commons/3/37/Netfilter-packet-flow.svg

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/583140.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

IntelliJ IDE 插件开发 | （四）开发一个时间管理大师插件

IntelliJ IDE 插件开发 | （四）开发一个时间管理大师插件

系列文章 IntelliJ IDE 插件开发 |（一）快速入门IntelliJ IDE 插件开发 |（二）UI 界面与数据持久化IntelliJ IDE 插件开发 |（三）消息通知与事件监听IntelliJ IDE 插件开发 |（四）开发一…
阅读更多...
未来编程语言什么样？编译解释兼方为王

未来编程语言什么样？编译解释兼方为王

○、编程语言的未来？ 随着科技的飞速发展，编程语言在计算机领域中扮演着至关重要的角色。它们是软件开发的核心，为程序员提供了与机器沟通的桥梁。那么，在技术不断进步的未来，编程语言的走向又将如何呢？ …
阅读更多...
【银行测试】金融银行-理财项目面试/分析总结（二）

【银行测试】金融银行-理财项目面试/分析总结（二）

目录：导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜） 前言 银行理财相关的项…
阅读更多...
CSS 纵向扩展动画

CSS 纵向扩展动画

上干货 <template><!-- mouseenter"startAnimation" 表示在鼠标进入元素时触发 startAnimation 方法。mouseleave"stopAnimation" 表示在鼠标离开元素时触发 stopAnimation 方法。 --><!-- 容器元素 --><div class"container&q…
阅读更多...
Spark编程范例：Word Count示例解析

Spark编程范例：Word Count示例解析

Apache Spark是一个强大的分布式计算框架&#xff0c;用于处理大规模数据。Word Count示例是Spark入门教程中的经典示例&#xff0c;旨在展示如何使用Spark来进行简单的文本处理和数据分析。本文将深入解析Word Count示例&#xff0c;以帮助大家更好地理解Spark的基本概念和编程…
阅读更多...
关于Echarts的重要属性总结

关于Echarts的重要属性总结

概要 1.设置图例字体颜色&#xff1a; legend: {//添加位置如下textStyle: {color: #fff // 设置图例文字颜色为白色}} 2.设置序列颜色&#xff1a; series: [{ // 添加位置如下itemStyle: { color: #FFA500 // 设置序列Series颜色}] 3.设置坐标轴单位&#xff1a; xAx…
阅读更多...
【Shell编程练习】通过位置变量创建 Linux 系统账户及密码

【Shell编程练习】通过位置变量创建 Linux 系统账户及密码

系列文章目录 输出Hello World 系列文章目录位置变量代码实现运行结果 位置变量 位置变量将以数字方式对变量进行命名&#xff0c;可将命令行参数的值存储到脚本中。要从命令行、函数或脚本执行等处传递参数时&#xff0c;就需要在 Shell 脚本中使用位置参数变量。下表为常用…
阅读更多...
LVM逻辑卷与扩容

LVM逻辑卷与扩容

目录 一.LVM&#xff1a; 1.什么是LVM&#xff1a; 2.LVM的基本核心组件&#xff1a; 3.LVM的基本命令&#xff1a; 二.逻辑卷的创建&#xff1a; 第一步&#xff0c;我们先要为虚拟机添加硬盘 然后我们要添加依赖包 然后我们要进行磁盘分区 再添加好分区后&#xff0…
阅读更多...
测试C#使用OpenCvSharp从摄像头获取图片

测试C#使用OpenCvSharp从摄像头获取图片

OpenCvSharp也支持获取摄像头数据&#xff0c;不同于之前测试AForge时使用AForge控件显示摄像头数据流并从中截图图片&#xff0c;OpenCvSharp中显示摄像头数据流需要周期性地从摄像头中截取图片并显示在指定控件中。本文学习C#使用OpenCvSharp从摄像头获取图片的基本方式。  …
阅读更多...
MybatisX逆向工程方法

MybatisX逆向工程方法

官方文档链接&#xff1a;MybatisX快速开发插件 | MyBatis-Plus (baomidou.com) 使用MybatisX可以快速生成mapper文件&#xff0c;实体类和service及实现 效果 方法&#xff1a;首先下载mybatisX插件 然后创建数据库信息 然后选中表&#xff0c;右键&#xff0c;点击Mybatis…
阅读更多...
知识积累 电源模块的介绍

知识积累 电源模块的介绍

1. 电源模块是什么 电源模块是一种设备或组件&#xff0c;用于提供电能供应给其他电子设备或系统。它通常包括电源转换、稳压、过流保护等功能&#xff0c;以确保输出的电能在一定电压和电流范围内稳定可靠。电源模块可以是线性电源或开关电源&#xff0c;具体类型取决于其工作…
阅读更多...
Linux中的gcc\g++使用

Linux中的gcc\g++使用

文章目录 gcc\g的使用预处理编译汇编链接函数库gcc选项 gcc\g的使用 这里我们需要知道gcc和g实际上是对应的c语言和c编译器&#xff0c;而其他的Java&#xff08;半解释型&#xff09;&#xff0c;PHP&#xff0c;Python等语言实际上是解释型语言&#xff0c;因此我们经常能听…
阅读更多...
2013年第二届数学建模国际赛小美赛B题寄居蟹进化出人类的就业模式解题全过程文档及程序

2013年第二届数学建模国际赛小美赛B题寄居蟹进化出人类的就业模式解题全过程文档及程序

2013年第二届数学建模国际赛小美赛 B题 寄居蟹进化出人类的就业模式 原题再现&#xff1a; 寄居蟹是美国最受欢迎的宠物品种&#xff0c;依靠其他动物的壳来保护。剥去寄居蟹的壳&#xff0c;你会看到它柔软、粉红色的腹部卷曲在头状的蕨类叶子后面。大多数寄居蟹喜欢蜗牛壳&…
阅读更多...
【iOS安全】越狱iOS安装Frida | 安装指定版本Frida

【iOS安全】越狱iOS安装Frida | 安装指定版本Frida

越狱iPhone安装Frida 本文的方法适用于已越狱的iPhone手机 打开Cydia&#xff0c;软件源&#xff0c;编辑&#xff08;右上角&#xff09;&#xff0c;添加&#xff08;左上角&#xff09;&#xff1a;https://build.frida.re 然后搜索Frida&#xff0c;点击安装 参考&#x…
阅读更多...
mysql原理--MySQL基于规则的优化

mysql原理--MySQL基于规则的优化

设计 MySQL 的大叔依据一些规则&#xff0c;竭尽全力的把一些很糟糕的语句转换成某种可以比较高效执行的形式&#xff0c;这个过程也可以被称作 查询重写 &#xff08;就是人家觉得你写的语句不好&#xff0c;自己再重写一遍&#xff09;。 1.条件化简 我们编写的查询语句的搜…
阅读更多...
Centos7：Jenkins+gitlab+node项目启动(2)

Centos7：Jenkins+gitlab+node项目启动(2)

Centos7&#xff1a;Jenkinsgitlabnode项目启动(1) Centos7&#xff1a;Jenkinsgitlabnode项目启动(1)-CSDN博客 Centos7&#xff1a;Jenkinsgitlabnode项目启动(2) Centos7&#xff1a;Jenkinsgitlabnode项目启动(2)-CSDN博客 Centos7&#xff1a;Jenkinsgitlabnode项目启…
阅读更多...
第十四章 Sentinel实现熔断与限流

第十四章 Sentinel实现熔断与限流

Sentinel实现熔断与限流 gitee&#xff1a;springcloud_study: springcloud&#xff1a;服务集群、注册中心、配置中心&#xff08;热更新&#xff09;、服务网关&#xff08;校验、路由、负载均衡&#xff09;、分布式缓存、分布式搜索、消息队列&#xff08;异步通信&#x…
阅读更多...
EXPLORING DIFFUSION MODELS FOR UNSUPERVISED VIDEO ANOMALY DETECTION 论文阅读

EXPLORING DIFFUSION MODELS FOR UNSUPERVISED VIDEO ANOMALY DETECTION 论文阅读

EXPLORING DIFFUSION MODELS FOR UNSUPERVISED VIDEO ANOMALY DETECTION 论文阅读 ABSTRACT1. INTRODUCTION2. RELATEDWORK3. METHOD4. EXPERIMENTAL ANALYSIS AND RESULTS4.1. Comparisons with State-Of-The-Art (SOTA)4.2. Diffusion Model Analysis4.3. Qualitative Result…
阅读更多...
C练习——银行存款

C练习——银行存款

题目&#xff1a;设银行定期存款的年利率 rate为2.25%,已知存款期为n年&#xff0c;存款本金为capital 元,试编程计算并输出n年后本利之和deposit。 解析&#xff1a;利息本金*利率&#xff0c;下一年的本金又是是今年的本利之和 逻辑&#xff1a;注意浮点数&#xff0c;导入…
阅读更多...
经典目标检测YOLO系列(一)复现YOLOV1(2)反解边界框及后处理

经典目标检测YOLO系列(一)复现YOLOV1(2)反解边界框及后处理

经典目标检测YOLO系列(一)复现YOLOV1(2)反解边界框及后处理 在上个博客&#xff0c;我们提出了新的YOLOV1架构&#xff0c;这次我们解决前向推理过程中的两个问题。 经典目标检测YOLO系列(一)YOLOV1的复现(1)总体架构 1、边界框的计算 1.1 反解边界框公式的改变 1.1.1 原版…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023