目录
一、TCP协议段格式
二、TCP原理
2.1 确认应答机制
2.2 超时重传机制
2.3 连接管理机制(重点)
2.4 滑动窗口
2.5 流量控制
2.6 拥塞控制
2.7 延迟应答
2.8 捎带应答
2.9 面向字节流(粘包问题)
2.10 TCP异常情况(心跳包)
一、TCP协议段格式
TCP,即Transmission Control Protocol,传输协议控制。是对数据的传输进行一个详细的控制。
协议格式段
源/目的端口号:表示数据从哪里来,到哪里去
32位序号/32位确认号:确认应答的保证机制
4位TCP报头长度:表示该TCP头部有多少个32位bit(有多少个4字节);所以TCP头部最大长度是15 * 4 = 60
6位标志位:
URG:紧急指针是否有效
ACK:确认号是否有效
PSH:提示接收端应用程序立刻从TCP缓冲区把数据读走
RST:对方要求重新建立连接;我们把携带RST标识的称为复位报文段
SYN:请求建立连接;我们把携带SYN标识的称为同步报文段
FIN:通知对方,本端要关闭了,我们称携带FIN标识的为结束报文段16位窗口大小:TCP滑动窗口的大小信息
16位校验和:发送端填充,CRC校验。接收端校验不通过,则认为数据有问题。此处的检验和不光包含TCP首部,也包含TCP数据部分。
16位紧急指针:标识哪部分数据是紧急数据;
二、TCP原理
TCP对数据传输提供的管控机制,主要体现在两个方面:安全和效率。
这些机制和多线程的设计原则类似:保证数据传输安全的前提下,尽可能的提高传输效率。
2.1 确认应答机制
这里用到的就是32位序号以及32位确认序号。
TCP将每个字节的数据都进行了编号,即序列号。
每一个ACK都带有对应的确认序列号,意思是告诉发送者,我已经收到了哪些数据;下一次你从哪里开始发。
2.2 超时重传机制
当主机A发送数据的时候,可能因为网络拥堵等原因导致数据没有到达主机B,这里就会造成丢包。如果主机A没有接收到主机B的ACK,这时就会重新发送数据。
当然,主机A没有接收到主机B发送的确认应答,也有可能是主机B发送的ACK丢失了。
如果是ACK丢失,这里主机A也会进行重传 ,因此主机B可能会接收到重复的数据。这时TCP会利用序列号进行去重。
对于超时重传的时间没有很明确的定义,TCP为了保证无论在任何环境都能高效的进行通信,会进行动态计算超时重传的时间。
2.3 连接管理机制(重点)
在正常的情况下,TCP要经过三次握手建立连接,四次挥手断开连接
三次握手过程:必须先由客户端发送连接请求SYN,当服务器端接收请求的时候会同时返回一个ACK+SYN,这里同时返回ACK+SYN就是为了保证传输的效率,这样就只用解析一次。
四次挥手过程:断开连接的过程随便由哪一方发起都是可以的。但是这里的FIN一般不能于ACK同时传输,这是由于ACK是由系统内核发起的而FIN是由代码层发起的,二者速度是不一样的。但是在偶然的情况也是可以同时传输的,这是由于TCP的延迟应答机制。
2.4 滑动窗口
对于TCP的应答策略,对于每一个发送的数据段,都要有一个ACK应答。收到ACK之后在发送下一个数据段。这样就会造成性能差的问题,尤其是数据往返的时候。
为了解决一发一收的问题,TCP采取滑动窗口一次发送多条数据段,这样就大大的提高效率(其实就是将多个段的等待时间重叠在一起了)
- 窗口大小指的是无需等待确认应答而可以继续发送数据的最大值。上图的窗口大小就是4000个字节(四个段)。
- 发送前四个段的时候,不需要等待任何ACK,直接发送;
- 收到第一个ACK后,滑动窗口向后移动,继续发送第五个段的数据;依次类推;
- 操作系统内核为了维护这个滑动窗口,需要开辟 发送缓冲区 来记录当前还有哪些数据没有应、答;只有确认应答过的数据,才能从缓冲区删掉;
- 窗口越大,则网络的吞吐率就越高;
但是这种情况下也会有丢包的情况,这里分两种情况讨论:
情况1:数据包已经抵达,ACK丢了。
这种情况下,部分的ACK丢了并不要紧,因为可以通过后续的ACK来确认之前的数据段是否已经送达。好比是赛车,有一辆车一直都在第一的位置,中途突然失去信号(这里的没有发生任何意外),当知道第二辆车达到终点了那么很明显的可以知道第一辆车已经率先到达了。
情况二:数据包直接丢了。
这个情况就相当于刚刚的赛车,第一名直接出现意外了。
当图中的1001-2000的数据段丢失之后,接收方就会一直返回一个 “下一个是1001”的ACK,当主机A收到多个重复的ACK时就会进行重传。
当主机B收到了 1001-2000的数据段之后,再次返回的ACK就是7001了(因为2001 - 7000)接收端其实之前就已经收到了,被放到了接收端操作系统内核的接收缓冲区中。
2.5 流量控制
由于接收端的接受能力是有限的。如果发送端发送的太快,导致接收端的缓冲区满了,这个时候再继续发送的话就会造成丢包,继而引起丢包重传等等一系列连锁反应。
因此TCP支持根据接收端的处理能力,来决定发送端的的发速度。这个机制就叫做流量控制。
- 接收端将自己可以接收的缓冲区大小放入 TCP 首部中的 "窗口大小" 字段,通过ACK端通知发送端;
- 窗口大小字段越大,说明网络的吞吐量越高;
- 接收端一旦发现自己的缓冲区快满了,就会将窗口大小设置成一个更小的值通知给发送端;
- 发送端接受到这个窗口之后,就会减慢自己的发送速度;
- 如果接收端缓冲区满了,就会将窗口置为0;这时发送方不再发送数据,但是需要定期发送一个窗口探测数据段,使接收端把窗口大小告诉发送端。
接收端如何把窗口大小告诉发送端呢?回忆我们的TCP首部中,有一个16位窗口字段,就是存放了窗口大小信息
2.6 拥塞控制
虽然TCP有了滑动窗口这个大杀器,能够高效可靠的发送大量的数据。但是如果在刚开始阶段就发送大量的数据,仍然可能引发问题。
因为网络上有很多的计算机,可能当前的网络状态就已经比较拥堵。在不清楚当前网络状态下,贸然发送大量的数据,是很有可能引起雪上加霜的。
TCP引入 慢启动 机制,先发少量的数据,探探路,摸清当前的网络拥堵状态,再决定按照多大的速度传输数据;
- 此处引入一个概念程为拥塞窗口
- 发送开始的时候,定义拥塞窗口大小为1;
- 每次收到一个ACK应答,拥塞窗口加1;
- 每次发送数据包的时候,将拥塞窗口和接收端主机反馈的窗口大小做比较,取较小的值作为实际发送的窗口;
像上面这样的拥塞窗口增长速度,是指数级别的。"慢启动" 只是指初使时慢,但是增长速度非常快。
- 为了不增长的那么快,因此不能使拥塞窗口单纯的加倍。
- 此处引入一个叫做慢启动的阈值
- 当拥塞窗口超过这个阈值的时候,不再按照指数方式增长,而是按照线性方式增长
- 当TCP开始启动的时候,慢启动阈值等于窗口最大值;
- 在每次超时重发的时候,慢启动阈值会变成原来的一半,同时拥塞窗口置回1;
少量的丢包,我们仅仅是触发超时重传;大量的丢包,我们就认为网络拥塞;
当TCP通信开始后,网络吞吐量会逐渐上升;随着网络发生拥堵,吞吐量会立刻下降;
拥塞控制,归根结底是TCP协议想尽可能快的把数据传输给对方,但是又要避免给网络造成太大压力的折中方案。
2.7 延迟应答
如果接收数据的主机立刻返回ACK应答,这时候返回的窗口可能比较小。
- 假设接收端缓冲区为1M。一次收到了500K的数据;如果立刻应答,返回的窗口就是500K;
- 但实际上可能处理端处理的速度很快,10ms之内就把500K数据从缓冲区消费掉了;
- 在这种情况下,接收端处理还远没有达到自己的极限,即使窗口再放大一些,也能处理过来;
- 如果接收端稍微等一会再应答,比如等待200ms再应答,那么这个时候返回的窗口大小就是1M;
一定要记得,窗口越大,网络吞吐量就越大,传输效率就越高。我们的目标是在保证网络不拥塞的情况下尽量提高传输效率。
那么所有的包都可以延迟应答么?肯定也不是;
- 数量限制:每隔N个包就应答一次;
- 时间限制:超过最大延迟时间就应答一次;
2.8 捎带应答
在延迟应答的基础上,我们发现,很多情况下,客户端服务器在应用层也是 "一发一收" 的。意味着客户端给服务器说了 "How are you",服务器也会给客户端回一个 "Fine, thank you";那么这个时候ACK就可以搭顺风车,和服务器回应的 "Fine,thank you" 一起回给客户端。
2.9 面向字节流(粘包问题)
创建一个TCP的socket,同时在内核中创建一个 发送缓冲区 和一个 接收缓冲区
- 调用write时,数据会先写入发送缓冲区中;
- 如果发送的字节数太长,会被拆分成多个TCP的数据包发出;
- 如果发送的字节数太短,就会先在缓冲区里等待,等到缓冲区长度差不多了,或者其他合适的时机发送出去;
- 接收数据的时候,数据也是从网卡驱动程序到达内核的接收缓冲区;
- 然后应用程序可以调用read从接收缓冲区拿数据;
- 另一方面,TCP的一个连接,既有发送缓冲区,也有接收缓冲区,那么对于这一个连接,既可以读数据,也可以写数据。这个概念叫做 全双工
由于缓冲区的存在,TCP程序的读和写不需要一一匹配,例如:
- 写100个字节数据时,可以调用一次write写100个字节,也可以调用100次write,每次写一个字节;
- 读100个字节数据时,也完全不需要考虑写的时候是怎么写的,既可以一次read 100个字节,也可以一次read一个字节,重复100次;
粘包问题
- 首先要明确,粘包问题中的 "包" ,是指的应用层的数据包。
- 在TCP的协议头中,没有如同UDP一样的 "报文长度" 这样的字段,但是有一个序号这样的字段。
- 站在传输层的角度,TCP是一个一个报文过来的。按照序号排好序放在缓冲区中。
- 站在应用层的角度,看到的只是一串连续的字节数据。
- 那么应用程序看到了这么一连串的字节数据。就会不知道从哪个部分开始到哪个部分,是一个完整的应用层数据包。
粘包问题如何解决?明确两个包之间的边界
- 对于定长的包,保证每次都按固定大小读取即可;例如上面的Request结构,是固定大小的,那么就从缓冲区从头开始按sizeof(Request)依次读取即可;
- 对于变长的包,可以在包头的位置,约定一个包总长度的字段,从而就知道了包的结束位置;
- 对于变长的包,还可以在包和包之间使用明确的分隔符(应用层协议,是自定义的,只要保证分隔符不和正文冲突即可);
2.10 TCP异常情况(心跳包)
进程终止:进程终止会释放文件描述符,仍然可以发送FIN。和正常关闭没有什么区别。
机器重启:和进程终止的情况相同。
机器掉电/网线断开:当掉线的是接收方,这里发送方由于没有接受到接收方返回的ACK,这里就会启动超时重传,当多次重传还没有回应的时候,就会进行断开连接
当掉线的是发送方,由于TCP中内置了心跳包,接收方会定期的询问发送方还在不在,如果询问多次没有回应就会进行断开连接。