最近公司在开发机器人与服务器调度端的通信时需要使用socket，因此找到了该文章作为深刻理解socket内部运作。
Linux网络核心数据结构是套接字缓存(socket buffer)，简称skb。它代表一个要发送或处理的报文，并贯穿于整个协议栈。
1、 套接字缓存skb由两部分组成：
(1) 报文数据：它保存了实际在网络中传输的数据；
(2) 管理数据：供内核处理报文的额外数据，这些数据构成了协议之间交换的控制信息。
当应用程序向一个socket传输数据之后，该socket将创建相应的套接字缓存，并将用户数据拷贝到缓存中。当报文在各协议层传达输的过程中，每一导的报文头将插入到用户数据之前。skb为报文头申请了足够的空间，所以避免了由于插入报文头而对报文进行多次拷贝。用户数据只拷贝了两次：一是从用户空间拷贝到内核；二是报文数据从内核传送到网络适配器。
1.1、sk_buff
套接字缓存结构：
- struct sk_buff {
- /* These two members must be first. */
- struct sk_buff *next;
- struct sk_buff *prev;
- struct sk_buff_head *list;
- struct sock *sk; //指向创建报文的socket
- struct timeval stamp; //此报文收到时的时间
- struct net_device *dev; //收到此报文的网络设备
- struct net_device *input_dev;
- struct net_device *real_dev;
- //TCP报头
- union {
- struct tcphdr *th; //tcp头
- struct udphdr *uh; //udp头
- struct icmphdr *icmph;
- struct igmphdr *igmph;
- struct iphdr *ipiph;
- struct ipv6hdr *ipv6h;
- unsigned char *raw;
- } h;
- //IP报头
- union {
- struct iphdr *iph;
- struct ipv6hdr *ipv6h;
- struct arphdr *arph;
- unsigned char *raw;
- } nh;
- //链路层帧头
- union {
- unsigned char *raw;
- } mac;
- struct dst_entry *dst; //此报文的路由，路由确定后赋此值
- struct sec_path *sp;
- /*
- * This is the control buffer. It is free to use for every
- * layer. Please put your private variables there. If you
- * want to keep them across layers you have to do a skb_clone()
- * first. This is owned by whoever has the skb queued ATM.
- */
- char cb[40];
- //此报文的长度，这是指网络报文在不同协议层中的长度，包括头部和数据。在协议栈的不同层，这个长度是不同的。
- unsigned int len,
- data_len,
- mac_len,
- csum;
- unsigned char local_df,
- cloned,
- pkt_type, //网络报文的类型，常见的有PACKET_HOST，代表发给本机的报文；还有PACKET_OUTGOING，代表本机发出的报文。
- ip_summed;
- __u32 priority;
- unsigned short protocol,//链路层协议
- security;
- void (*destructor)(struct sk_buff *skb);
- #ifdef CONFIG_NETFILTER
- unsigned long nfmark;
- __u32 nfcache;
- __u32 nfctinfo;
- struct nf_conntrack *nfct;
- #ifdef CONFIG_NETFILTER_DEBUG
- unsigned int nf_debug;
- #endif
- #ifdef CONFIG_BRIDGE_NETFILTER
- struct nf_bridge_info *nf_bridge;
- #endif
- #endif /* CONFIG_NETFILTER */
- #if defined(CONFIG_HIPPI)
- union {
- __u32 ifield;
- } private;
- #endif
- #ifdef CONFIG_NET_SCHED
- __u32 tc_index; /* traffic control index */
- #ifdef CONFIG_NET_CLS_ACT
- __u32 tc_verd; /* traffic control verdict */
- __u32 tc_classid; /* traffic control classid */
- #endif
- #endif
- /* These elements must be at the end, see alloc_skb() for details. */
- //此报文存储区的长度，这个长度是16字节对齐的，一般要比报文的长度大
- unsigned int truesize;
- atomic_t users;
- /*head和end指向报文数据的整个单元.head与data之间的空间称为headroom,tail与end之间的空间称为tailroom.
- */
- unsigned char *head,
- *data,
- *tail,
- *end;
- };
与sk_buff相关的函数涉及到网络报文存储结构和控制结构的分配、复制、释放，以及控制结构里的各指针的操作，还有各种标志的检查。重要的函数说明如下：
struct sk_buff *alloc_skb(unsigned int size,int gfp_mask )
分配大小为size的存储空间存放网络报文，同时分配它的控制结构。size的值是16字节对齐的，gfp_mask是内存分配的优先级。常见的内存分配优先级有GFP_ATOMIC，代表分配过程不能被中断，一般用于中断上下文中分配内存；GFP_KERNEL，代表分配过程可以被中断，相应的分配请求被放到等待队列中。分配成功之后，因为还没有存放具体的网络报文，所以sk_buff的 data，tail指针都指向存储空间的起始地址，len的大小为0，而且 is_clone和cloned两个标记的值都是0。
struct sk_buff *skb_clone(struct sk_buff *skb, int gfp_mask )
从控制结构skb中 clone出一个新的控制结构，它们都指向同一个网络报文。clone成功之后，将新的控制结构和原来的控制结构的 is_clone，cloned两个标记都置位。同时还增加网络报文的引用计数（这个引用计数存放在存储空间的结束地址的内存中，由函数atomic_t *skb_datarefp(struct sk_buff *skb)访问，引用计数记录了这个存储空间有多少个控制结构）。由于存在多个控制结构指向同一个存储空间的情况，所以在修改存储空间里面的内容时，先要确定这个存储空间的引用计数为1，或者用下面的拷贝函数复制一个新的存储空间，然后才可以修改它里面的内容。
struct sk_buff *skb_copy(struct sk_buff *skb, int gfp_mask )
复制控制结构skb和它所指的存储空间的内容。复制成功之后，新的控制结构和存储空间与原来的控制结构和存储空间相对独立。所以新的控制结构里的is_clone，cloned两个标记都是0，而且新的存储空间的引用计数是1。
void kfree_skb(struct sk_buff *skb)
释放控制结构skb和它所指的存储空间。由于一个存储空间可以有多个控制结构，所以只有在存储空间的引用计数为1的情况下才释放存储空间，一般情况下，只释放控制结构skb。
unsigned char *skb_put(struct sk_buff *skb, unsigned int len )
将tail指针下移，并增加skb的 len值。data和 tail之间的空间就是可以存放网络报文的空间。这个操作增加了可以存储网络报文的空间，但是增加不能使tail的值大于end的值，skb的 len值大于truesize的值。
unsigned char *skb_push(struct sk_buff *skb, unsigned int len )
将data指针上移，并增加skb的 len值。这个操作在存储空间的头部增加了一段可以存储网络报文的空间，上一个操作在存储空间的尾部增加了一段可以存储网络报文的空间。但是增加不能使data的值小于head的值，skb的 len值大于truesize的值。
unsigned char * skb_pull(struct sk_buff *skb, unsigned int len )
将data指针下移，并减小skb的 len值。这个操作使data指针指向下一层网络报文的头部。
void skb_reserve(struct sk_buff *skb, unsigned int len )
将data指针和tail指针同时下移。这个操作在存储空间的头部预留 len长度的空隙。
void skb_trim(struct sk_buff *skb, unsigned int len )
将网络报文的长度缩减到 len。这个操作丢弃了网络报文尾部的填充值。
int skb_cloned(struct sk_buff *skb )
判断skb是否是一个 clone的控制结构。如果是clone的，它的cloned标记是1，而且它指向的存储空间的引用计数大于1。
2、 套接字缓存队列(Socket-Buffer Queues)
2.1、sk_buff_head
在网络协议栈的实现中，有时需要把许多网络报文放到一个队列中做异步处
理。LINUX 为此定义了相关的数据结构 sk_buff_head。这是一个双向链表的
头，它把sk_buff链接成一个双向链表。
- //套接字缓存队列头
- struct sk_buff_head {
- /* These two members must be first. */
- struct sk_buff *next;
- struct sk_buff *prev;
- __u32 qlen; //队列的长度,即队列中报文的数量
- spinlock_t lock;
- };
void skb_queue_head(struct sk_buff_head *list, struct sk_buff *newsk )
将newsk加到链表 list的头部。
void skb_queue_tail(struct sk_buff_head *list, struct sk_buff *newsk)
将newsk加到链表 list的尾部。
struct sk_buff *skb_dequeue(struct sk_buff_head *list )
从链表 list的头部取下一个 sk_buff。
struct sk_buff *skb_dequeue_tail(struct sk_buff_head *list )
从链表 list的尾部取下一个 sk_buff。
skb_insert(struct sk_buff *old, struct sk_buff *newsk )
将newsk加到old所在的链表上，并且 newsk在old的前面。
void skb_append(struct sk_buff *old, struct sk_buff *newsk )
将newsk加到old所在的链表上，并且 newsk在old的后面。
void skb_unlink(struct sk_buff *skb )
将skb从它所在的链表上取下。
以上的链表操作都是先关中断的。这在中断上下文中是不需要的，所以另外有一套与上面函数同名但是有前缀“__”的函数供运行在中断上下文中的函数调用。
