全景剖析阿里云容器网络数据链路（七）：Terway DataPath V2（Terway≥1.8.0）

作者：余凯

前言

近几年，企业基础设施云原生化的趋势越来越强烈，从最开始的IaaS化到现在的微服务化，客户的颗粒度精细化和可观测性的需求更加强烈。容器网络为了满足客户更高性能和更高的密度，也一直在高速的发展和演进中，这必然对客户对云原生网络的可观测性带来了极高的门槛和挑战。为了提高云原生网络的可观测性，同时便于客户和前后线同学增加对业务链路的可读性，ACK产研和AES联合共建，梳理云原生网络数据面可观测性系列，帮助客户和前后线同学了解云原生网络架构体系，简化对云原生网络的可观测性的门槛，优化客户运维和售后同学处理疑难问题的体验 ，提高云原生网络的链路的稳定性。

鸟瞰容器网络，整个容器网络可以分为三个部分：Pod网段，Service网段和Node网段。这三个网络要实现互联互通和访问控制，那么实现的技术原理是什么？整个链路又是什么，限制又是什么呢？Flannel，Terway有啥区别？不同模式下网络性能如何？这些，需要客户在下搭建容器之前，就要依据自己的业务场景进行选择，而搭建完毕后，相关的架构又是无法转变，所以客户需要对每种架构特点要有充分了解。比如下图是个简图，Pod网络既要实现同一个ECS的Pod间的网络互通和控制，又要实现不同ECS Pod间的访问，Pod访问SVC 的后端可能在同一个ECS也可能是其他ECS，这些在不同模式下，数据链转发模式是不同的，从业务侧表现结果也是不一样的。

图片

本文是[全景剖析容器网络数据链路]第七部分，主要介绍Kubernetes Terway DataPath V2模式下，数据面链路的转发链路，一是通过了解不同场景下的数据面转发链路，从而探知客户在不同的场景下访问链路的数据面表现，帮助客户进一步优化业务架构；另一方面，通过深入了解转发链路，从而在遇到容器网络抖动时候，客户运维以及阿里云同学可以知道在哪些链路点进行部署观测手动，从而进一步定界问题方向和原因。

系列一：全景剖析阿里云容器网络数据链路（一）—— Flannel

系列二：全景剖析阿里云容器网络数据链路（二）—— Terway ENI

系列三：全景剖析阿里云容器网络数据链路（三）—— Terway ENIIP

系列四：全景剖析阿里云容器网络数据链路（四）—— Terway IPVLAN+EBPF

系列五：全景剖析阿里云容器网络数据链路（五）—— Terway ENI-Trunking

系列六：全景剖析阿里云容器网络数据链路（六）—— ASM Istio 

Terway DataPath V2 模式架构设计

弹性网卡（ENI）支持配置多个辅助IP的功能，单个弹性网卡（ENI）根据实例规格可以分配6～20个辅助IP，ENI多IP模式就是利用了这个辅助IP分配给容器，从而大幅提高了Pod部署的规模和密度。在网络联通的方式上，Terway目前支持veth pair策略路由和IPVLAN两种方案，但是社区在cilium v1.12版本后废弃了IPVLAN的支持 [ 1] ，为了统一数据面一致性，将ACK的数据面演进和社区保持一致，便于云原生的能力集成，减少差异化。从v1.8.0开始，Terway不再支持IPvlan隧道加速，而采用DataPath V2的方式进行数据面的统一。

图片

Pod所使用的CIDR网段和节点的CIDR是同一个网段。

图片

Pod内部有一张网卡eth0，其中eth0的IP就是Pod的IP，此网卡的MAC地址和控制台上的ENI的MAC地址不一致，同时ECS上有多张ethx的网卡，说明ENI附属网卡并不是直接挂载到了Pod的网络命名空间。

图片

图片

Pod内只有指向eth0的默认路由，说明Pod访问任何地址段都是从eth0为统一的出入口。

图片

同时ECS上有多张ethx的网卡，说明ENI附属网卡并不是直接挂载到了Pod的网络命名空间。

图片

通过OS Linux Routing可以得到，所有目的是Pod IP的流量都会被转发到Pod对应的calixx虚拟往卡上。因此，ECS OS和Pod的网络命名空间已经建立好完整的出入链路配置了。

图片

对于ENI多IP的实现，这个类似于ACK容器网络数据链路（Terway ENIIP） [ 2] 原理，Terway Pod是通过Daemonset的方式部署在每个节点上的。通过terway-cli mapping命令可以得到节点上的附属ENI数量、MAC地址以及每个ENI上的IP。

图片

对于Pod访问SVC，容器是利用各种办法将请求转发到Pod所在的ECS层面，由ECS内的netfilter模块来实现SVC IP的解析。但是由于数据链路需要从Pod的网络命名空间切换到ECS的OS的网络命名空间，中间经过了对此内核协议栈，必然会产生性能损失，如果对高并发和高性能有机制追求，可能并不完全满足客户的需求。相比较IPVLAN模式将eBPF部署在Pod内部用于SVC地址转换，DataPath V2模式的eBPF监听在每个Pod的calixxx网卡上，用于实现Pod和Pod访问的加速，以及Pod访问SVC IP的地址转后的链路加速，模式比较可以参考使用Terway网络插件 [ 3] 。

BPF Routing

5.10 内核以后，Cilium 新增了 eBPF Host-Routing 功能，新增了bpf_redirect_peer和bpf_redirect_neigh两个redirect方式。

  • bpf_redirect_peer

    数据包不经过宿主机的lxc接口，直接被送到veth pair Pod里面接口eth0上，实现数据包少进入一次cpu backlog queue队列，获得更好的转发性能。

  • bpf_redirect_neigh

    用来填充pod egress流量的src和dst mac地址，流量无需经过kernel的route协议栈处理过程。

故Terway DataPath V2模式总体可以归纳为：

  • 目前低版本内核（低于4.2）不支持eBPF加速，Aliyun2可获得部分加速能力，Aliyun3可获得完整的加速能力。
  • 节点访问Pod需要经过Host的协议栈，Pod和Pod间访问以及Pod访问SVC不经过Host的协议栈。
  • DataPath V2模式下，如果Pod访问SVC IP，SVC IP在Pod的veth pair calixxx网卡上被eBPF转为某个SVC后端Pod的IP，之后数据链路绕过Host协议栈。也就是说SVC IP只会在源端Pod的veth pair被捕获，目的端Pod和目的端的Pod所在ECS都无法被捕获到。

Terway DataPath V2 模式容器网络数据链路剖析

针对容器网络特点，可以将Terway datapathv2模式下的网络链路大体分为以Pod IP对外提供服务和以SVC对外提供服务两个大的SOP场景，进一步细分，可以归纳为11个不同的小的SOP场景。

图片

对这15个场景的数据链路梳理合并，这些场景可以总结为下面8类典型的场景：

  • 访问Pod IP，同节点访问Pod
  • 访问Pod IP，同节点Pod间互访（Pod属于同ENI）
  • 访问Pod IP，同节点Pod间互访（Pod属于不同ENI）
  • 访问Pod IP，不同节点间Pod之间互访
  • 集群内Pod访问的SVC Cluster IP/External IP，SVC后端Pod和客户端Pod属同ECS同ENI
  • 集群内Pod访问的SVC Cluster IP/External IP，SVC后端Pod和客户端Pod属同ECS不同ENI
  • 集群内Pod访问的SVC Cluster IP/External IP，SVC后端Pod和客户端Pod属于不同ECS
  • 集群外访问SVC External IP

场景一：访问Pod IP，同节点访问Pod(含节点访问后端为同一节点的SVC ClusterIP)

环境

xxx.10.0.1.219节点上存在nginx2-7ff4679659-xkpmm，IP地址10.0.0.2。

图片

内核路由

nginx2-7ff4679659-xkpmm，IP地址10.0.0.2，该容器在宿主机中的PID是5630，容器网络命名空间有指向容器eth0的默认路由。

图片

图片

该容器eth0在ECS OS 内对应veth pair是cali10e985649a0，在ECS OS内，有指向Pod IP，下一跳为calixxx的路由，通过前文可以知道calixxx网卡是和每个Pod内的veth1组成的pair。

图片

图片

通过下面的命令我们可以获取到nginx2-7ff4679659-xkpmm，IP地址10.0.0.2被terway分配到了eth2附属网卡。

kubectl --kubeconfig kubeconfig -n kube-system exec -it terway-eniip-v5v2p -c terway – terway-cli mapping

图片

图片

小结

ECS的eth0捕获了从nginx2-7ff4679659-xkpmm返回的数据，但是没有捕获发送数据。

图片

ECS的eth1同样也捕获了从nginx2-7ff4679659-xkpmm返回的数据，但是没有捕获发送数据。

图片

cali10e985649a0可以捕获发和收的数据包。

图片

后续小结不再展示数据报文观测。

数据链路转发示意图（Aliyun2&Aliyun3）：

图片

  • 整个链路是经过了ECS和Pod的网络协议栈。
  • 整个请求链路是：ECS OS -> calixxx -> ECS Pod eth0

场景二：访问Pod IP，同节点Pod间互访（Pod属于同ENI）

环境

xxx.10.0.1.219节点上存在nginx2-7ff4679659-xkpmm，IP地址10.0.0.2和centos-5bf8644bcf-jqxpk，IP地址10.0.0.13。

图片

内核路由

centos-5bf8644bcf-jqxpk，IP地址10.0.0.13，该容器在宿主机中的PID是126938，容器网络命名空间有指向容器eth0的默认路由。

图片

图片

该容器eth0在ECS OS 内对应veth pair是calia7003b8c36c，在ECS OS内，有指向Pod IP，下一跳为calixxx的路由，通过前文可以知道calixxx网卡是和每个Pod内的veth1组成的pair。

图片

图片

nginx2-7ff4679659-xkpmm，IP地址10.0.0.2，该容器在宿主机中的PID是5630，容器网络命名空间有指向容器eth0的默认路由。

图片

图片

该容器eth0在ECS OS 内对应veth pair是cali10e985649a0，在ECS OS内，有指向Pod IP，下一跳为calixxx的路由，通过前文可以知道calixxx网卡是和每个Pod内的veth1组成的pair。

图片

通过下面的命令我们可以获取到nginx2-7ff4679659-xkpmm和centos-5bf8644bcf-jqxpk都被terway分配到了eth2同一张附属网卡。

kubectl --kubeconfig kubeconfig -n kube-system exec -it terway-eniip-v5v2p -c terway – terway-cli mapping

图片

图片

小结

Aliyun2：

图片

  • 不会经过分配给Pod的附属网卡。
  • 整个链路是经过了Pod的网络协议栈，链路由Pod的网络命名空间转发到对端时候，会经过eBPF加速绕过OS协议栈。
  • 整个请求链路是：ECS Pod1 -> Pod1 calixxx -> Pod2 calixxx -> ECS Pod2。

Aliyun3：

图片

  • 不会经过分配给Pod的附属网卡。
  • 整个链路会在eBPF的ingress被直接加速到目的Pod内，不会经过目的Pod的calixxx网卡。
  • 整个请求链路是：
  • 去方向：ECS Pod1 -> Pod1 calixxx -> ECS Pod2。
  • 回方向：ECS Pod2 -> Pod2 calixxx -> ECS Pod1。

场景三：访问Pod IP，同节点Pod间互访（Pod属于不同ENI）

环境

xxx.10.0.1.219节点上存在ngxin3-55f5c67988-p4qnb和centos-5bf8644bcf-jqxpk两个Pod，IP地址分别为10.0.0.251和10.0.0.13。

图片

此节点的terway Pod，利用terway-cli mapping的命令得到这两个IP（10.0.0.251和10.0.0.13）都属于不同ENI网卡，在OS层面是被认为是eth1和eth2。

图片

图片

内核路由

centos-5bf8644bcf-jqxpk，IP地址10.0.0.13，该容器在宿主机中的PID是126938，容器网络命名空间有指向容器eth0的默认路由。

图片

图片

该容器eth0在ECS OS 内对应veth pair是calia7003b8c36c，在ECS OS内，有指向Pod IP，下一跳为calixxx的路由，通过前文可以知道calixxx网卡是和每个Pod内的veth1组成的pair。

图片

图片

ngxin3-55f5c67988-p4qnb，IP地址10.0.0.251，该容器在宿主机中的PID是5630，容器网络命名空间有指向容器eth0的默认路由。

图片

图片

该容器eth0在ECS OS 内对应veth pair是cali08203025d22，在ECS OS内，有指向Pod IP，下一跳为calixxx的路由，通过前文可以知道calixxx网卡是和每个Pod内的veth1组成的pair。

图片

小结

Aliyun2：

图片

  • 不会经过分配给Pod的附属网卡。
  • 整个链路是经过了Pod的网络协议栈，链路由Pod的网络命名空间转发到对端时候，会经过eBPF加速绕过OS协议栈
  • 整个请求链路是：ECS Pod1 -> Pod1 calixxx -> Pod2 calixxx -> ECS Pod2。

Aliyun3：

图片

  • 不会经过分配给Pod的附属网卡。
  • 整个链路会在eBPF的ingress被直接加速到目的Pod内，不会经过目的Pod的calixxx网卡。
  • 整个请求链路是：
    • 去方向：ECS Pod1 -> Pod1 calixxx -> ECS Pod2。
    • 回方向：ECS Pod2 -> Pod2 calixxx -> ECS Pod1。

场景四：访问Pod IP，不同节点间Pod之间互访

环境

xxx.10.0.1.219节点上存在centos-5bf8644bcf-jqxpk，IP地址为10.0.0.13。

xxx.10.0.5.27节点上存在nginx1-7bcf4ffdb4-6rsqz，IP地址为10.0.4.121。

图片

可以利用terway-cli show factory的命令得到centos-5bf8644bcf-jqxpk的IP 10.0.0.13属于xxx.10.0.1.219上的MAC地址为00:16:3e:0d:74:23的ENI网卡。

图片

同理可得到nginx1-7bcf4ffdb4-6rsqz的IP 10.0.4.121属于xxx.10.0.5.27上的MAC地址为00:16:3e:0c:ef:6c的ENI网卡。

内核路由

centos-5bf8644bcf-jqxpk，IP地址10.0.0.13，该容器在宿主机中的PID是126938，容器网络命名空间有指向容器eth0的默认路由。

图片

图片

该容器eth0在ECS OS 内对应veth pair是calia7003b8c36c，在ECS OS内，有指向Pod IP，下一跳为calixxx的路由，通过前文可以知道calixxx网卡是和每个Pod内的veth1组成的pair。

图片

图片

nginx1-7bcf4ffdb4-6rsqz，IP地址10.0.4.121，该容器在宿主机中的PID是7745，容器网络命名空间有指向容器eth0的默认路由。

图片

图片

该容器eth0在ECS OS 内对应veth pair是cali06cd16bb25f，在ECS OS内，有指向Pod IP，下一跳为calixxx的路由，通过前文可以知道calixxx网卡是和每个Pod内的veth1组成的pair。

图片

小结

Aliyun2：

图片

  • 会经过宿主机OS的网络命名空间，但协议栈链路会被eBPF加速。
  • 整个链路是需要从客户端Pod所属的ENI网卡出ECS再从目的Pod所属的ENI网卡进入ECS。
  • 整个请求链路是ECS1 Pod1 -> ECS1 Pod1 calixxx -> ECS1 ENI ethx -> VPC -> ECS2 ENI ethx -> ECS2 Pod2 calixxx -> ECS2 Pod2。

Aliyun3：

图片

  • 整个链路是需要从客户端Pod所属的ENI网卡出发，再经过ECS再从目的Pod所属的ENI网卡进入ECS。
  • 整个请求链路是：
    • 去方向：ECS1 Pod1 -> ECS1 Pod1 calixxx -> ECS1 ENI ethx -> VPC -> ECS2 ENI ethx -> ECS2 Pod2。
    • 回方向：ECS2 Pod2 -> ECS2 Pod2 calixxx -> ECS2 ENI ethx -> VPC -> ECS1 ENI ethx -> ECS1 Pod1。

场景五：集群内Pod访问的SVC Cluster IP/External IP，SVC后端Pod和客户端Pod属同ECS同ENI

环境

xxx.10.0.1.219节点上存在nginx2-7ff4679659-xkpmm，IP地址10.0.0.2和centos-5bf8644bcf-jqxpk，IP地址10.0.0.13。

图片

其中nginx2-7ff4679659-xkpmm Pod是SVC nginx2的endpoint。

图片

内核路由

内核路由类似场景2，此处不再叙述。

关于eBPF，在datapathv2中，eBPF监听在OS层面的calixxx网卡上，而非Pod内部。利用cilium去调用eBPF的能力，可以通过图示命令可以得到centos-5bf8644bcf-jqxpk和nginx2-7ff4679659-xkpmm identity ID分别是693和2702。

图片

找到Pod所在的ECS的Terway Pod为terway-eniip-v5v2p，在Terway Pod中运行cilium bpf lb list | grep -A5 192.168.152.119命令可以得到eBPF中对于Cluster IP 192.168.152.119:80记录的后端是10.0.0.2:80。

图片

小结

从客户端Pod centos-5bf8644bcf-jqxpk访问SVC。

图片

客户端的centos-6c48766848-znkl8的calia7003b8c36c网卡观测，可以捕获SVC的IP和客户端的Pod IP。

图片

在这个Pod centos-6c48766848-znkl8所属的附属网卡ENI上观测，未能捕获任何相关流量报文，说明流量从客户端的所属的calixx网卡到ENI之间经过了eBPF转换。

在Pod nginx2-7ff4679659-xkpmmI的cali10e985649a0观测，只能捕获centos和nginx的Pod IP。

图片

cilium提供了一个monitor的功能，使用cilium monitor --related-to < endpoint ID > ，可以得到：源端Pod IP访问SVC IP 192.168.152.119，之后被解析到SVC的后端Pod IP 10.0.0.2，说明SVC IP直接在tc层做了转发。

图片

Aliyun2：

图片

  • 整个链路是经过了Pod的网络协议栈，链路由Pod的网络命名空间转发到对端时候，会经过eBPF加速绕过OS协议栈。
  • 整个链路请求未经过Pod所分配的ENI。
  • SVC IP在客户端Pod的calixxx网卡通过eBPF转换成了SVC后端Pod的IP，后续节点无法捕获SVC IP。
  • 整个请求链路是：ECS Pod1 -> Pod1 calixxx -> Pod2 calixxx -> ECS Pod2。

Aliyun3：

图片

  • 整个链路是经过了Pod的网络协议栈，链路由Pod的网络命名空间转发到对端时候，会经过eBPF加速绕过OS协议栈。

  • 整个链路请求未经过Pod所分配的ENI。

  • SVC IP在客户端Pod的calixxx网卡通过eBPF转换成了SVC后端Pod的IP，后续节点无法捕获SVC IP。

  • 整个链路会在eBPF的ingress被直接加速到目的Pod内，不会经过目的Pod的calixxx网卡。

  • 整个请求链路是：

    • 去方向：ECS Pod1 -> Pod1 calixxx -> ECS Pod2。
    • 回方向：ECS Pod2 -> Pod2 calixxx -> ECS Pod1。

场景六：集群内Pod访问的SVC Cluster IP/External IP，SVC后端Pod和客户端Pod属同ECS不同ENI

环境

xxx.10.0.1.219节点上存在ngxin3-55f5c67988-p4qnb，IP地址10.0.0.251和centos-5bf8644bcf-jqxpk，IP地址10.0.0.13。

图片

其中ngxin3-55f5c67988-p4qnb Pod是SVC nginx3的endpoint。

图片

内核路由

内核路由类似场景3，此处不再叙述。

关于eBPF，在datapathv2中，eBPF监听在OS层面的calixxx网卡上，而非Pod内部。利用cilium去调用eBPF的能力，可以通过图示命令可以得到centos-5bf8644bcf-jqxpk和ngxin3-55f5c67988-p4qnb identity ID分别是693和94。

图片

找到Pod所在的ECS的Terway Pod为terway-eniip-v5v2p，在Terway Pod中运行cilium bpf lb list | grep -A5 192.168.239.183命令可以得到eBPF中对于Cluster IP 192.168.239.183:80记录的后端是10.0.0.2:80。

图片

小结

从客户端Pod centos-5bf8644bcf-jqxpk访问SVC。

图片

客户端的centos-6c48766848-znkl8的calia7003b8c36c网卡观测，可以捕获SVC的IP和客户端的Pod IP。

图片

在Pod centos-6c48766848-znkl8所属的附属网卡ENI和ngxin3-55f5c67988-p4qnb所属的附属网卡ENI上观测，未能捕获到相关流量，说明流量从客户端的所属的calixx网卡上被eBPF转换成SVC相关的endpoint后直接被短路到目的calixxx网卡。

在Pod ngxin3-55f5c67988-p4qnb所属的cali08203025d22观测，只能捕获centos和nginx的Pod IP。

图片

cilium提供了一个monitor的功能，使用cilium monitor --related-to < endpoint ID >，可以得到：源端Pod IP访问SVC IP 192.168.239.183，之后被解析到SVC的后端Pod IP 110.0.0.251，说明SVC IP直接在tc层做了转发。

图片

后续小节如果涉及SVC IP的访问，如有类似，不再做详细的说明。

Aliyun2：

图片

  • 会经过宿主机OS的网络命名空间，但协议栈链路会被eBPF加速。
  • 整个链路请求未经过Pod所分配的ENI。
  • SVC IP在客户端Pod的calixxx网卡通过eBPF转换成了SVC后端Pod的IP，后续节点无法捕获SVC IP。
  • 整个请求链路是ECS1 Pod1 -> ECS1 Pod1 calixxx -> ECS2 Pod2 calixxx -> ECS2 Pod2。

Aliyun3：

图片

  • 不会经过分配给Pod的附属网卡。
  • 整个链路会在eBPF的ingress被直接加速到目的Pod内，不会经过目的Pod的calixxx网卡。
  • SVC IP在客户端Pod的calixxx网卡通过eBPF转换成了SVC后端Pod的IP，后续节点无法捕获SVC IP。
  • 整个请求链路是：
  • 去方向：ECS Pod1 -> Pod1 calixxx -> ECS Pod2。
  • 回方向：ECS Pod2 -> Pod2 calixxx -> ECS Pod1。

场景七：集群内Pod访问的SVC Cluster IP/External IP，SVC后端Pod和客户端Pod属于不同ECS

环境

xxx.10.0.1.219节点上存在centos-5bf8644bcf-jqxpk，IP地址为10.0.0.13。

xxx.10.0.5.27节点上存在nginx1-7bcf4ffdb4-6rsqz，IP地址为10.0.4.121。

图片

其中nginx1-7bcf4ffdb4-6rsqz Pod是SVC nginx1的endpoint。

图片

内核路由

Pod访问SVC的Cluster IP，而SVC的后端Pod和客户端Pod部署在不同ECS上，此架构和场景四：不同节点间Pod之间互访 [ 4] 小节相似，只不过此场景是Pod访问SVC的Cluster IP。对于Cluster IP的eBPF转发进行描述，详情请见场景五和场景六。

小结

Aliyun2：

图片

  • 会经过宿主机OS的网络命名空间，但协议栈链路会被eBPF加速。
  • 整个链路是需要从客户端Pod所属的ENI网卡出ECS再从目的Pod所属的ENI网卡进入ECS。
  • 整个请求链路是ECS1 Pod1 -> ECS1 Pod1 calixxx -> ECS1 ENI ethx -> VPC -> ECS2 ENI ethx -> ECS2 Pod2 calixxx -> ECS2 Pod2。

Aliyun3：

图片

  • 整个链路是需要从客户端Pod所属的ENI网卡出发，再经过ECS再从目的Pod所属的ENI网卡进入ECS。

  • 整个请求链路是：

    • 去方向：ECS1 Pod1 -> ECS1 Pod1 calixxx -> ECS1 ENI ethx -> VPC -> ECS2 ENI ethx -> ECS2 Pod2。
    • 回方向：ECS2 Pod2 -> ECS2 Pod2 calixxx -> ECS2 ENI ethx -> VPC -> ECS1 ENI ethx -> ECS1 Pod1。

场景八：集群外访问SVC External IP

环境

xxx.10.0.5.27 节点上存在nginx1-7bcf4ffdb4-6rsqz，IP地址为10.0.4.121。

图片

通过describe SVC可以得到nginx Pod被加入到了SVC nginx的后端。SVC的Cluster IP是192.168.190.78。

图片

内核路由

在SLB控制台，可以得到lb-3nsj50u4gyz623nitxxx虚拟服务器组的后端服务器组是两个后端nginx Pod的ENI eni-j6cgs979ky3evxxx。

图片

从集群外部角度看，SLB的后端虚拟服务器组是SVC的后端Pod所属的ENI网卡，内网的IP地址就是Pod的地址。

小结

Aliyun2：

图片

  • ExternalTrafficPolicy为Local或Cluster模式下，SLB只会将Pod分配的ENI挂载到SLB的虚拟服务器组。
  • 数据链路会经过Pod的Veth的calixxx网卡
  • 数据链路：Client -> SLB -> Pod ENI + Pod Port -> ECS1 Pod1 calixxx -> ECS1 Pod1 eth0。

Aliyun3：

图片

  • ExternalTrafficPolicy为Local或Cluster模式下，SLB只会将Pod分配的ENI挂载到SLB的虚拟服务器组。
  • 数据链路会被ECS的附属网卡上eBPF加速绕过Pod的Veth的calixxx网卡，直接进到Pod的网络命名空间。
  • 数据链路：Client -> SLB -> Pod ENI + Pod Port -> ECS1 Pod1 eth0。

相关链接：

[1] 废弃了IPVLAN的支持

https://docs.cilium.io/en/v1.12/operations/upgrade/#deprecated-options

[2] ACK容器网络数据链路（Terway ENIIP）

https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/ack-network-fabric-terway-eniip

[3] 使用Terway网络插件

https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/work-with-terway

[4] 不同节点间Pod之间互访https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/ack-network-fabric-terway-eni-trunking#RS9Nc

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/5942.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Docker 简单使用及安装常用软件

Docker 简单使用及安装常用软件

一、Docker 安装、配置与卸载 1.1、Docker 安装 # 1.安装gcc环境 yum -y install gcc gcc-c && \# 2. 卸载docker旧版本&#xff08;可能之前有安装&#xff09; yum -y remove docker docker-common docker-selinux docker-engine && \# 3. 安装依赖的软件包…
阅读更多...
PHP源码_最新在线工具箱网站系统源码

PHP源码_最新在线工具箱网站系统源码

项目运行截图 源码贡献 https://githubs.xyz/boot?app41 部分数据库表 SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS 0;-- ---------------------------- -- Table structure for toolbox_category -- ---------------------------- DROP TABLE IF EXISTS toolbox_category…
阅读更多...
Golang | Leetcode Golang题解之第64题最小路径和

Golang | Leetcode Golang题解之第64题最小路径和

题目&#xff1a; 题解&#xff1a; func minPathSum(grid [][]int) int {if len(grid) 0 || len(grid[0]) 0 {return 0}rows, columns : len(grid), len(grid[0])dp : make([][]int, rows)for i : 0; i < len(dp); i {dp[i] make([]int, columns)}dp[0][0] grid[0][0]…
阅读更多...
ubuntu sudo apt-get install neo4j 配置安装与设置远程访问

ubuntu sudo apt-get install neo4j 配置安装与设置远程访问

文章目录 下载Adding the Debian repositoryInstalling Neo4j安装流程设置远程访问 下载 neo4j 官方的下载地址&#xff0c;进入页面之后&#xff0c;往下滑&#xff1a; https://neo4j.com/deployment-center/#community 点击 Visit https://debian.neo4j.com/ Adding the …
阅读更多...
Apache Seata基于改良版雪花算法的分布式UUID生成器分析1

Apache Seata基于改良版雪花算法的分布式UUID生成器分析1

title: Seata基于改良版雪花算法的分布式UUID生成器分析 author: selfishlover keywords: [Seata, snowflake, UUID] date: 2021/05/08 本文来自 Apache Seata官方文档&#xff0c;欢迎访问官网&#xff0c;查看更多深度文章。 Seata基于改良版雪花算法的分布式UUID生成器分析…
阅读更多...
电子式汽车机油压力传感器的接线方法及特点

电子式汽车机油压力传感器的接线方法及特点

电子式机油压力传感器由厚膜压力传感器芯片、信号处理电路、外壳、固定电路板装置和两根引线&#xff08;信号线和报警线&#xff09;组成。信号处理电路由电源电路、传感器补偿电路、调零电路、电压放大电路、电流放大电路、滤波电路和报警电路组成。 厚膜压力传感器是20世纪…
阅读更多...
数据结构 - C/C++

数据结构 - C/C++

快速跳转 数组链表栈队列串树 目录 数据结构 逻辑结构 物理结构 数据结构 数据 数据不仅仅包括整型、实型等数值类型&#xff0c;还包括字符及声音、图像、视频等非数值类型。 计算机可以理解并按照指定格式处理。 结构 元素相互之间存在一种或多种特定关系的数据集合。 …
阅读更多...
tuxera ntfs for mac是什么 tuxera ntfs for mac怎么用 tuxera激活码

tuxera ntfs for mac是什么 tuxera ntfs for mac怎么用 tuxera激活码

Tuxera NTFS for Mac是一款完全的mac读写软件&#xff0c;可辅助mac电脑读写ntfs格式&#xff0c;进行磁盘的管理。本文会详细讲解tuxera ntfs for mac的操作方法。 Tuxera NTFS for Mac 2023安装包免费下载&#xff1a;https://souurl.cn/IE35lO 一、Tuxera NTFS for Mac是什…
阅读更多...
goget配置多个golang 运行环境

goget配置多个golang 运行环境

一台主机安装多个golang 运行环境 本环境 windows10 为 基础 mac linux也可以按照此方法操作 背景 开发不同的运维工具会用到不同版本的golang&#xff0c;但是开发者不能一直进行重装来处理 &#xff0c;因此 需要一个工具进行golang版本的管理 go管理工具介绍 gvm (Go V…
阅读更多...
微服务保护和分布式事务（Sentinel、Seata）笔记

微服务保护和分布式事务（Sentinel、Seata）笔记

一、雪崩问题的解决的服务保护技术了解 二、Sentinel 2.1Sentinel入门 1.Sentinel的安装 &#xff08;1&#xff09;下载Sentinel的tar安装包先 &#xff08;2&#xff09;将jar包放在任意非中文、不包含特殊字符的目录下&#xff0c;重命名为 sentinel-dashboard.jar &…
阅读更多...
【C++报错】error C2143：语法错误：缺少“ : ”（在“＜” 的前面）[ 相互引用问题 ]

【C++报错】error C2143：语法错误：缺少“ : ”（在“＜” 的前面）[ 相互引用问题 ]

这里写自定义目录标题 情景再现问题分析是经典的互相引用问题 解决方案 情景再现 问题分析 template<class K,class T,class KeyofT,class Hash>class __HTIterator{typedef HashNode<T> Node;typedef HashTable<K, T, KeyofT, Hash> HT; 【★】typedef …
阅读更多...
基于springboot+vue+Mysql的网上商城购物系统

基于springboot+vue+Mysql的网上商城购物系统

开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#xff1a;…
阅读更多...
Java创建并遍历N叉树（前序遍历）

Java创建并遍历N叉树（前序遍历）

力扣 title589&#xff1a;N叉树的前序遍历 给定一个 n 叉树的根节点 root &#xff0c;返回 其节点值的 前序遍历 。 n 叉树 在输入中按层序遍历进行序列化表示&#xff0c;每组子节点由空值 null 分隔&#xff08;请参见示例&#xff09;。 思路&#xff1a; 1.初始化时…
阅读更多...
[ACTF2020 新生赛]BackupFile 1 [极客大挑战 2019]BuyFlag 1 [护网杯 2018]easy_tornado 1

[ACTF2020 新生赛]BackupFile 1 [极客大挑战 2019]BuyFlag 1 [护网杯 2018]easy_tornado 1

目录 [ACTF2020 新生赛]BackupFile 1 1.打开页面&#xff0c;叫我们去找源文件 2.想到用disearch扫描&#xff0c;发现源文件index.php.bak 3.访问这个文件&#xff0c;下载一个文件&#xff0c;用记事本打开 4.翻译php代码 5.构造payload url/?key123&#xff0c;得到fl…
阅读更多...
如何配置和使用Apollo的component里的plugin

如何配置和使用Apollo的component里的plugin

关于如何使用Apollo的Component里的plugin&#xff0c;在Apollo的文档里只有如果和开发的说明却没有找到一个清楚完整说明怎么把plugin跑起来的说明&#xff0c;例如我想把lidar_detection_filter按我们的需求对目标过滤算法作修改然后编译完后&#xff0c;执行 cyber_launch …
阅读更多...
【七十三】【算法分析与设计】516. 最长回文子序列,二叉树,329. 矩阵中的最长递增路径,记忆化递归填表

【七十三】【算法分析与设计】516. 最长回文子序列,二叉树,329. 矩阵中的最长递增路径,记忆化递归填表

516. 最长回文子序列 给你一个字符串 s &#xff0c;找出其中最长的回文子序列&#xff0c;并返回该序列的长度。 子序列定义为&#xff1a;不改变剩余字符顺序的情况下&#xff0c;删除某些字符或者不删除任何字符形成的一个序列。 示例 1&#xff1a; 输入&#xff1a;s &qu…
阅读更多...
《QT实用小工具·五十一》带动画的 CheckBox

《QT实用小工具·五十一》带动画的 CheckBox

1、概述 源码放在文章末尾 该项目实现了带动画效果的多选框&#xff0c;鼠标放在上面或者选中都会呈现炫酷的动画效果&#xff0c;demo演示如下&#xff1a; 项目部分代码如下所示&#xff1a; #ifndef LINEARCHECKBOX_H #define LINEARCHECKBOX_H#include <QCheckBox> …
阅读更多...
OPPO手机支持深度测试+免深度测试解锁BL+ROOT权限机型整理-2024年3月更新

OPPO手机支持深度测试+免深度测试解锁BL+ROOT权限机型整理-2024年3月更新

绿厂OPPO手机线上线下卖的都很不错&#xff0c;目前市场份额十分巨大&#xff0c;用户自然也非常多&#xff0c;而近期ROM乐园后台受到很多关于OPPO手机的私信&#xff0c;咨询哪些机型支持解锁BL&#xff0c;ROOT刷机&#xff0c;今天ROM乐园正式盘点当前市场上可以解BL刷root…
阅读更多...
Mysql-黑马

Mysql-黑马

Mysql-黑马 编写规范&#xff1a;## 一级1. 二级三级 1.Mysql概述 数据库概念mysql数据仓库 cmd启动和停止 net start mysql180 net stop mysql180备注&#xff1a;其中的mysql180是服务名 客户端连接 远程连接数据仓库 -h 主机号 -P端口号 mysql [-h 127.0.0.1] [-P 33…
阅读更多...
1083 是否存在相等的差

1083 是否存在相等的差

solution 输出的是重复的差值&#xff0c;而非全部差值 #include<iostream> #include<algorithm> using namespace std; const int maxn 1e4 10; int flag[maxn] {0}; int main(){int n, x;scanf("%d", &n);for(int i 1; i < n; i){scanf(&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023