Linux网络之传输层协议tcp/udp

文章目录

一、再谈端口号

1.端口号划分

2.知名端口号

3.netstat，pidof

二、UDP协议

1.udp协议格式

2.udp特点

3.基于udp的应用层协议

三、TCP协议

1.tcp报头

确认应答机制（ACK)

超时重传机制

连接管理机制（三次握手四次挥手）

1）三次握手

服务端：

客户端

服务端：

客户端

理解TIME_WAIT状态

解决TIME_WAIT状态引起Bind失败的方法

理解CLOSE_WAIT状态

滑动窗口

流量控制

拥塞控制

延迟应答

捎带应答

面向字节流

粘包问题

2.tcp小结

3.基于tcp的应用层协议

4.TCP/UDP对比

5.用udp实现可靠传输（高频面试题）

6.理解listen的第二个参数

传输层的功能就是负责数据能够从发送端传输到接收端。

一、再谈端口号

端口号标识了一个主机上进行通信的不同的应用程序。在tcp/ip协议中，用”源IP","源端口号”，“目的ip"，”目的端口号“，"协议号"这样一个五元组来标识一个通信（可以用nestat -n)查看

1.端口号划分

0-1023：知名端口号，hrrp,ftp,ssh等这些应用层协议，他们的端口号都是固定的
1024-65525:操作系统动态分配的端口号客户端程序的端口号就是os从这个范围分配的

2.知名端口号

ssh服务器，使用22号端口
ftp服务器，使用21号端口
telnet服务器，使用23号端口
http服务器，使用80端口
https服务器，使用443端口号
使用cat /etc/services可以看到知名端口号
当我们自己创建一个进程使用端口号时，要避开这些知名端口号

1.一个进程是否可以bind多个端口号？

可以，因为一个进程可以打开多个文件描述符，而每个文件描述符都对应一个端口号，因此一个进程可以绑定多个端口号

2.一个端口号是否可以被多个进程Bind？

不可以，如果一个进程先绑定一个端口号，然后fork一个子进程，这样就实现了多个进程绑定一个端口号，但是不同的进程绑定同一个端口号是不可以的。

3.netstat，pidof

语法：netstat [选项]

功能：查看网络状态常用选项： n 拒绝显示别名，能显示数字的全部转化成数字

l 仅列出有在 Listen (监听) 的服務状态

p 显示建立相关链接的程序名

t (tcp)仅显示tcp相关选项

u (udp)仅显示udp相关选项

a (all)显示所有选项，默认不显示LISTEN相关

pidof 在查看服务器的进程id时非常方便.

语法：pidof [进程名]

功能：通过进程名, 查看进程id

二、UDP协议

1.udp协议格式

16位源端口号	16位目的端口号
16位udp长度	16位udp检验和
数据

16位Udp长度，表示整个数据包（udp首部+udp数据）的最大长度
如果校验和出错，就会直接丢弃

2.udp特点

udp的传输过程类似于寄信

无连接：知道对端的ip和端口号就可以直接进行传输，不需要建立连接
不可靠：没有确认机制，没有重传机制，如果因为网络故障该段无法发送到对方，udp协议也不会给应用层返回任何错误信息
面向数据报：不能够灵活的控制读写数据的次数和数量

面向数据报

应用层交给udp多长的报文，udp原样发送，不会拆分合并

用udp传输100个字节的数据：

如果发送端调用一次sendto，发送100个字节，那么接收端也必须调用一次recvfrom接收100个字节，而不能循环调用10次recvfrom，每次接收10个字节

udp缓冲区

udp没有真正意义上的缓冲区，调用sendto会直接交给内核，由内核将数据传送网络层协议后续的传输动作
udp具有接收缓冲区，但是这个接收缓冲区不能保证udp报的顺序和发送udp报的顺序一致；如果缓冲区满了，再到达的udp数据就会被丢弃

udp的socket能读也能写，是全双工的。

udp的使用事项

udp协议首部中有一个16位最大长度，也就是说udp能传送的数据最大长度是64K(包括报头），如果我们要使用udp传输超过64K就需要在应用层进行手动分包，多次发送，并且在接收端手动拼接

3.基于udp的应用层协议

NFS:网络文件系统
TFTP:简单文件传输协议
DHCP：动态主机配置协议
BOOTP：启动协议（用于无盘设备启动）
DNS：域名解析协议

三、TCP协议

TCP协议全称为“传输控制协议”，要对数据的传输进行一个详细的控制

1.tcp报头

16位源端口号								16位目的端口号
32位序号
32位确认序号
4位首部长度	保留（6位）	urg	ack	psh	rst	syn	fin	16位窗口大小
16位检验和								16位紧急指针
选项
数据

源/目的端口：表示数据从哪个进程来，到哪个进程去
32位序号/32位确认号
4位TCP报头长度：表示该TCP头部有多少个32位bit(有多少个4字节），所以tcp头部最大长度是15*4 = 60
6个标志位：
URG：紧急指针是否有效
ACK:确认号是否有效
PSH:提示接收端应用程序立刻从TCP缓冲区把数据读走
RST：对方要求重新建立连接，携带RST标志的称为复位报文段
SYN:请求建立连接：将携带SYN标识的称为同步报文段
FIN:通知对方，本端要关闭了，携带FIN标识的为结束报文段
16位窗口大小
16位校验和：发送端填充，CRC校验，接收端校验不通过，则认为数据有问题，此处的检验不光包含头部，也包含数据部分
16位紧急指针：标识哪部分数据是紧急数据
40字节头部选项

确认应答机制（ACK)

主机A向主机B发送数据，第一次发送序号（1-1000），主机B向主机A发送一个确认应答1000，表示已经收到了，下一个你要向我发的数据是1001，主机A下次就从1001号发送数据

tcp将每个字节的数据都进行了编号，即为序列号，每一个ACK都带有一个对应的确认序列号，意思告诉发送者，我已经收到了那些数据，下一次你从哪里开始发

超时重传机制

主机A发送给主机B之后，可能因为网络拥塞等原因，数据无法到达主机B，如果主机A在特定的时间间隔之内没有收到主机B发送的确认应答，就会进行重发
但是主机A未能收到主机B的确认应答，也可能是ACK丢失了，因此主机B会收到很多重复数据，那么TCP协议需要能够识别出哪些包是重复的，并把重复的丢掉，这个时候就可以用序列号来进行去重
关于超时的时间，不能太短也不能太长，太短会频繁发送重复的包，太长会影响整体的传送效率。因此tcp在任何情况下，要保证比较高性能的通信，会动态计算这个最大超时时间。linux中，超时以500ms作为一个单位，每次判断超时重发的时间都是500ms的整数倍；如果重发一次后，仍然不能得到应答，等2*500ms再次重传；如果仍然不能等到，等4*500ms进行重传，以此类推，以指数形式递增，累计到一定的重传次数，tcp认为网络或者对端主机出现异常，强制关闭链接。

连接管理机制（三次握手四次挥手）

在正常情况下，tcp要经过三次握手建立连接，四次挥手断开连接

1）三次握手

服务端：

closed->listen 服务器调用listen后进入LISTEN状态，等待客户端连接
LISTEN->SYN_RCVD 一旦监听到连接请求（同步报文段），就将该连接放入内核等待队列中，并向客户端发起SYN确认报文
syn_rcvd->established 服务端一旦收到客户端的确认报文，就进入到estalished状态，可以进行读写数据了

客户端

closed->syn_sent：客户端调用connect，发送同步报文段
syn_sent->esatablished：conncet调用成功，进入established状态，开始读写数据

2）四次挥手

服务端：

established->close_wait：当客户端主动关闭连接（调用close),服务器会收到结束报文，服务器返回确认报文并进入close_wait
close_wait->last_ack：进入close_wait后说明服务器准备关闭连接（需要处理完之前的数据）；当服务器真正调用close关闭连接时，会向客户端发送fin，此时服务器进入last_ack状态，等待最后一个ack到来（这个ack是客户端确认收到了fin)
last_ack->closed：服务器收到了对端fin的ack，彻底关闭连接

客户端

establised->fin_wait_1：客户端主动调用close,向服务器发送结束报文段
fin_wait_1->fin_wait_2:客户端收到服务器对结束报文的确认，进入FIN_WAIT_2
fin_wait_2->time_wait:客户端收到服务器发来的结束报文，进入time_wait，并发出last_ack
time_wait->closed:客户端要等待2msl(max segment life,报文最大生存时间），才会进入closed

理解TIME_WAIT状态

可以做一个实验进行测试，首先启动server，然后启动client，然后用crtl-c让server中指，这是再运行server,会发现无法起来，并且出现： bind error :address already in use。

这是因为，sever的应用虽然终止，但是tcp协议连接没有完全断开，因此不能再次监听同样的server端口。

tcp协议规定，主动关闭连接的一方要处于time_wait状态，等待2个msl时间后才能进入closed
上述实验中，server主动关闭，在time_wait期间仍然不能再次监听同样的server端口
msl在rfc1122中规定为2分钟，但是各个os上会有不同，在centos7上默认为60s
可以通过 cat /proc/sys/net/ipv4/tcp_fin_timeout查看msl的值
msl是tcp报文的最大生存时间，因此time_wait持续存在2msl的话，就能保证在两个传输方向是尚未被接收或迟到的报文段都已经消失（否则服务器立刻重启，可能会收到来自上一个进程迟到的数据，但是这个数据很可能是错误的），同时也保证了最后一个报文可靠到达，假设最后一个ack丢失，那么服务器会重发一个fin,这时客户端的进程虽然不在了，但是tcp连接还在，仍然可以重发last_ack

解决TIME_WAIT状态引起Bind失败的方法

在server的TCP连接没有完全断开之前不允许重新监听, 某些情况下可能是不合理的

服务器需要处理非常大量的客户端的连接(每个连接的生存时间可能很短, 但是每秒都有很大数量的客户端来请求). 这个时候如果由服务器端主动关闭连接(比如某些客户端不活跃, 就需要被服务器端主动清理掉), 就会产生大量TIME_WAIT连接.

由于我们的请求量很大, 就可能导致TIME_WAIT的连接数很多, 每个连接都会占用一个通信五元组(源ip, 源端口, 目的ip, 目的端口, 协议). 其中服务器的ip和端口和协议是固定的. 如果新来的客户端连接的ip和端口号和TIME_WAIT占用的链接重复了 , 就会出现问题.

使用setsockopt()设置socket描述符的选项SO_REUSEADDR为1, 表示允许创建端口号相同但IP地址不同的多个 socket描述符

理解CLOSE_WAIT状态

将s中的close代码进行注释掉，运行c和s，关闭掉client，观察tcp状态会出现服务器进入到close_wait状态，对于服务器上出现大量的 CLOSE_WAIT 状态, 原因就是服务器没有正确的关闭 socket, 导致四次挥手没有正确完成. 这是一个 BUG. 只需要加上对应的 close 即可解决问题。

滑动窗口

确认应答策略, 对每一个发送的数据段, 都要给一个ACK确认应答. 收到ACK后再发送下一个数据段. 这样做有一个比较大的缺点, 就是性能较差. 尤其是数据往返的时间较长的时候。

既然这样一发一收的方式性能较低, 那么我们一次发送多条数据, 就可以大大的提高性能(其实是将多个段的等待时间重叠在一起了)。

比如现在要发送1-9000的数据，设置滑动窗口大小为4000，刚开始发送发送1-4000，同时发送，即（1-1000,1001-2000,2001-3000,3001-4000），发送后收到应答1001,2001,3001,4001.....

窗口大小指的是无需等待确认应答而可以继续发送数据的最大值，上述窗口大小就是4000个字节（4个段），发送的时候不需要等待任何ack，直接发送

收到第一个ack后，窗口向后滑动，继续发送第五个段的数据....

os内核为了维护这个滑动窗口，需要开辟发送缓冲区来记录当前还有哪些数据没有应答，只有确认应答过的数据，才能从缓冲区中删掉

窗口越大，网络的吞吐率就越高。

如果出现丢包，如何进行重传？这里分两种情况讨论
1）数据包已经抵达，ack丢失

这种情况下，部分ack丢失并不要紧，因为可以通过后续的ack进行确认

2）数据包直接丢失

当某一段报文丢失之后，发送端会一直收到1001这样的ack，就像是提醒发送端，我要的是1001

如果发送端主机连续3次收到同样的1001，这样的应答，就会从1001-2000重新发送

这个时候接收端收到1001之后，再次返回ack就是7001，因为2001-7000接收端已经收到，被放在os的接收缓冲区中

这种机制被称为“高速重发控制”（也叫快重传）

流量控制

接收端处理数据的速度是有限的，如果发送端发送太快，导致接收端的缓冲区被打满，这个时候如果发送端继续发送，就会造成丢包，继而引起丢包重传等一系列连锁反应。

因此tcp支持根据接收端的处理能力，来决定发送端的发送速度，这个机制称为流量控制

接收端将自己可以接收的缓冲区大小放入tcp首部中的“窗口大小”字段，通过ack通知发送端
窗口大小字段越小，说明网络的吞吐量越高
接收端一旦发现自己的缓冲区快满了，就会将窗口大小设置称一个更小的值通知给发送端
发送端接受到这个窗口之后，就会减慢自己的发送速度
如果接收端缓冲区满了，就会将窗口设置为0，这时发送方不再发送数据，但是需要定期发送一个窗口探测数据段，使接收端把窗口大小告诉发送端

接收端如何把窗口大小告诉发送端呢? 回忆我们的TCP首部中, 有一个16位窗口字段, 就是存放了窗口大小信息;

那么问题来了, 16位数字最大表示65535, 那么TCP窗口最大就是65535字节么? 实际上, TCP首部40字节选项中还包含了一个窗口扩大因子M, 实际窗口大小是窗口字段的值左移 M 位

拥塞控制

虽然tcp有了滑动窗口，能够高效可靠的发送大量数据，但是如果在刚启动就发送大量数据，仍然可能引发问题

因为网络上有很多计算机，可能当前网络状态就比较拥堵，在不清楚当前网络状态下，贸然发送大量数据，很有可能雪上加霜。

tcp引入慢启动机制，先发少量的数据, 探探路, 摸清当前的网络拥堵状态, 再决定按照多大的速度传输数据

此处引入一个概念程为拥塞窗口发送开始的时候, 定义拥塞窗口大小为1;
每次收到一个ACK应答, 拥塞窗口加1;
每次发送数据包的时候, 将拥塞窗口和接收端主机反馈的窗口大小做比较, 取较小的值作为实际发送的窗口;
像上面这样的拥塞窗口增长速度, 是指数级别的. "慢启动" 只是指初使时慢, 但是增长速度非常快.
为了不增长的那么快, 因此不能使拥塞窗口单纯的加倍. 此处引入一个叫做慢启动的阈值当拥塞窗口超过这个阈值的时候, 不再按照指数方式增长, 而是按照线性方式增长
当TCP开始启动的时候, 慢启动阈值等于窗口最大值; 在每次超时重发的时候, 慢启动阈值会变成原来的一半, 同时拥塞窗口置回1;
少量的丢包, 我们仅仅是触发超时重传; 大量的丢包, 我们就认为网络拥塞; 当TCP通信开始后, 网络吞吐量会逐渐上升; 随着网络发生拥堵, 吞吐量会立刻下降; 拥塞控制, 归根结底是TCP协议想尽可能快的把数据传输给对方, 但是又要避免给网络造成太大压力的折中方案
TCP拥塞控制这样的过程, 就好像热恋的感觉

延迟应答

如果接收数据的主机立刻返回ACK应答, 这时候返回的窗口可能比较小。

假设接收端缓冲区为1M. 一次收到了500K的数据; 如果立刻应答, 返回的窗口就是500K;

但实际上可能处理端处理的速度很快, 10ms之内就把500K数据从缓冲区消费掉了; 在这种情况下, 接收端处理还远没有达到自己的极限, 即使窗口再放大一些, 也能处理过来; 如果接收端稍微等一会再应答, 比如等待200ms再应答, 那么这个时候返回的窗口大小就是1M;

一定要记得, 窗口越大, 网络吞吐量就越大, 传输效率就越高.

我们的目标是在保证网络不拥塞的情况下尽量提高传输效率;

那么所有的包都可以延迟应答么? 肯定也不是;

数量限制: 每隔N个包就应答一次;

时间限制: 超过最大延迟时间就应答一次;

具体的数量和超时时间, 依操作系统不同也有差异; 一般N取2, 超时时间取200ms;

捎带应答

在延迟应答的基础上, 我们发现, 很多情况下, 客户端服务器在应用层也是 "一发一收" 的. 意味着客户端给服务器说了 "How are you", 服务器也会给客户端回一个 "Fine, thank you"; 那么这个时候ACK就可以搭顺风车, 和服务器回应的 "Fine, thank you" 一起回给客户端

面向字节流

创建一个TCP的socket, 同时在内核中创建一个发送缓冲区和一个接收缓冲区;

调用write时, 数据会先写入发送缓冲区中; 如果发送的字节数太长, 会被拆分成多个TCP的数据包发出;

如果发送的字节数太短, 就会先在缓冲区里等待, 等到缓冲区长度差不多了, 或者其他合适的时机发送出去; 接收数据的时候, 数据也是从网卡驱动程序到达内核的接收缓冲区;

然后应用程序可以调用read从接收缓冲区拿数据;

另一方面, TCP的一个连接, 既有发送缓冲区, 也有接收缓冲区, 那么对于这一个连接, 既可以读数据, 也可以写数据. 这个概念叫做全双工

由于缓冲区的存在, TCP程序的读和写不需要一一匹配, 例如: 写100个字节数据时, 可以调用一次write写100个字节, 也可以调用100次write, 每次写一个字节; 读100个字节数据时, 也完全不需要考虑写的时候是怎么写的, 既可以一次read 100个字节, 也可以一次 read一个字节, 重复100次

粘包问题

首先，沾包问题中的“包”，是指的应用层的数据包

在tcp协议在，没有如同udp中“报文长度”这样的这样的字段，但是有一个序号这样的字段

在传输层的角度，tcp的一个一个报文传过来的，按照序号排好序放在缓冲区中

站在应用层的角度，看到的只是一串连续的字节数据

应用程序看到这样一连串的字节数据，不知道从哪里开始到哪里结束，是一个完整的应用层数据包

那么如何避免粘包问题 需要明确两个包之间的边界

对于定长的包, 保证每次都按固定大小读取即可; 例如上面的Request结构, 是固定大小的, 那么就从缓冲区从头开始按sizeof(Request)依次读取即可;
对于变长的包, 可以在包头的位置, 约定一个包总长度的字段, 从而就知道了包的结束位置;
对于变长的包, 还可以在包和包之间使用明确的分隔符(应用层协议, 是程序猿自己来定的, 只要保证分隔符不和正文冲突即可)