1.简介

Linux NAT（Network Address Translation）转换是一种网络技术，用于将一个或多个私有网络内的IP地址转换为一个公共的IP地址，以便与互联网通信。

在k8s业务场景中，业务组件之间的关系十分复杂.

由于 Kubernetes 的网络模型假设Pod之间访问时使用的是对方Pod 的实际地址，所以一个Pod内部的应用程序看到的自己的IP地址和端口与集群内其他Pod看到的一样 。它们都是Pod实际分配的IP地址 。 将IP地址和端口在Pod内部和外部都保待一致，也就不需要使用 NAT 进行地址转换了。

一些场景如cilium 并没有使用Netfilter的NAT转换.

2.linux中的NAT转换

linux的NAT转换是基于 Netfilter 网络框架实现的。

Netfilter 是 Linux 内核中一个对数据 包进行控制、修改和过滤（manipulation and filtering）的框架。它在内核协议 栈中设置了若干hook 点，以此对数据包进行拦截、过滤或其他处理。 Netfilter 是最古老的内核框架之一，1998 年开始开发，2000 年合并到 2.4.x 内 核主线版本 [5]。

Netfilter 官方文档:

https://www.netfilter.org/documentation/index.html

netfilter是Linux内核的包过滤框架，它提供了一系列的钩子（Hook）供其他模块控制包的流动。这些钩子包括

NF_IP_PRE_ROUTING：刚刚通过数据链路层解包进入网络层的数据包通过此钩子，它在路由之前处理

NF_IP_LOCAL_IN：经过路由查找后，送往本机（目的地址在本地）的包会通过此钩子

NF_IP_FORWARD：不是本地产生的并且目的地不是本地的包（即转发的包）会通过此钩子

NF_IP_LOCAL_OUT：所有本地生成的发往其他机器的包会通过该钩子

NF_IP_POST_ROUTING：在包就要离开本机之前会通过该钩子，它在路由之后处理。

3.使用conntrack读取nat转换

conntrack 是 netfilter一个模块。

NAT是在连接跟踪的基础上实现的，所以conntrack肯定是在NAT之前建立的。

conntrack注册的优先级：

enum nf_ip_hook_priorities {NF_IP_PRI_FIRST = INT_MIN,NF_IP_PRI_RAW_BEFORE_DEFRAG = -450,NF_IP_PRI_CONNTRACK_DEFRAG = -400,NF_IP_PRI_RAW = -300,NF_IP_PRI_SELINUX_FIRST = -225,NF_IP_PRI_CONNTRACK = -200,NF_IP_PRI_MANGLE = -150,NF_IP_PRI_NAT_DST = -100,NF_IP_PRI_FILTER = 0,NF_IP_PRI_SECURITY = 50,NF_IP_PRI_NAT_SRC = 100,NF_IP_PRI_SELINUX_LAST = 225,NF_IP_PRI_CONNTRACK_HELPER = 300,NF_IP_PRI_CONNTRACK_CONFIRM = INT_MAX,NF_IP_PRI_LAST = INT_MAX,
};

我们可以看到，NAT是在连接跟踪的基础上实现的，所以连接跟踪肯定是在NAT之前建立的。在上面的优先级中，优先级越小，越容易被先调用。

使用conntrack 查看当前节点NAT 转换情况

sudo conntrack -L -j

tcp 6 82 SYN_SENT src=172.19.0.2 dst=192.168.101.98 sport=55628 dport=443 [UNREPLIED] src=192.168.101.98 dst=192.168.1.3 sport=443 dport=55628 mark=0 use=1 conntrack v1.4.6 (conntrack-tools): 1 flow entries have been shown.

所以我们使用ebpf hook conntrack 就可以查看当前节点NAT 转换情况。

4. 使用ebpf hook conntrack

使用ebpf 拦截conntrack，我们主要拦截：

SEC("kprobe/__nf_conntrack_hash_insert")SEC("kprobe/ctnetlink_fill_info")

实现主流程 

hook住 __nf_conntrack_hash_insert:

SEC("kprobe/__nf_conntrack_hash_insert")
int BPF_KPROBE(kprobe___nf_conntrack_hash_insert, struct nf_conn *ct,unsigned int hash, unsigned int reply_hash) {u32 status = ct_status(ct);__maybe_unused possible_net_t p_net = BPF_CORE_READ(ct, ct_net);if (!(status&IPS_CONFIRMED)) {log_debug("kprobe/__nf_conntrack_hash_insert include IPS_CONFIRMED: netns: %u, status: %x\n", get_netns(&p_net), status);return 0;}if (!(status&IPS_NAT_MASK)) {return 0;}if (!(status&IPS_CONFIRMED) || !(status&IPS_NAT_MASK)) {log_debug("kprobe/filter: netns: %u, status: %x\n", get_netns(&p_net), status);return 0;}conntrack_tuple_t orig = {}, reply = {};if (nf_conn_to_conntrack_tuples(ct, &orig, &reply) != 0) {return 0;}bpf_map_update_with_telemetry(conntrack, &orig, &reply, BPF_ANY);bpf_map_update_with_telemetry(conntrack, &reply, &orig, BPF_ANY);increment_telemetry_registers_count();return 0;
}

hook住ctnetlink_fill_info:

SEC("kprobe/ctnetlink_fill_info")
int BPF_KPROBE(kprobe_ctnetlink_fill_info, struct nf_conn *ct) {proc_t proc = {};bpf_get_current_comm(&proc.comm, sizeof(proc.comm));if (!proc_t_comm_prefix_equals("system-probe", 12, proc)) {log_debug("skipping kprobe/ctnetlink_fill_info invocation from non-system-probe process\n");return 0;}u32 status = ct_status(ct);if (!(status&IPS_CONFIRMED) || !(status&IPS_NAT_MASK)) {return 0;}__maybe_unused possible_net_t c_net = BPF_CORE_READ(ct, ct_net);log_debug("kprobe/ctnetlink_fill_info: netns: %u, status: %x\n", get_netns(&c_net), status);conntrack_tuple_t orig = {}, reply = {};if (nf_conn_to_conntrack_tuples(ct, &orig, &reply) != 0) {return 0;}bpf_map_update_with_telemetry(conntrack, &orig, &reply, BPF_ANY);bpf_map_update_with_telemetry(conntrack, &reply, &orig, BPF_ANY);increment_telemetry_registers_count();return 0;
}

自此将kernel中的nat 的sock 五元组采集到了ebpf的map中，上报到用户空间。