使用多进程和多线程实现服务器并发【C语言实现】

在TCP通信过程中，服务器端启动之后可以同时和多个客户端建立连接，并进行网络通信，但是在一个单进程的服务器的时候，提供的服务器代码却不能完成这样的需求，先简单的看一下之前的服务器代码的处理思路，再来分析代码中的弊端：

// server.c
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string.h>
#include <arpa/inet.h>int main()
{// 1. 创建监听的套接字int lfd = socket(AF_INET, SOCK_STREAM, 0);// 2. 将socket()返回值和本地的IP端口绑定到一起struct sockaddr_in addr;addr.sin_family = AF_INET;addr.sin_port = htons(10000);   // 大端端口// INADDR_ANY代表本机的所有IP, 假设有三个网卡就有三个IP地址// 这个宏可以代表任意一个IP地址addr.sin_addr.s_addr = INADDR_ANY;  // 这个宏的值为0 == 0.0.0.0int ret = bind(lfd, (struct sockaddr*)&addr, sizeof(addr));// 3. 设置监听ret = listen(lfd, 128);// 4. 阻塞等待并接受客户端连接struct sockaddr_in cliaddr;int clilen = sizeof(cliaddr);int cfd = accept(lfd, (struct sockaddr*)&cliaddr, &clilen);// 5. 和客户端通信while(1){// 接收数据char buf[1024];memset(buf, 0, sizeof(buf));int len = read(cfd, buf, sizeof(buf));if(len > 0){printf("客户端say: %s\n", buf);write(cfd, buf, len);}else if(len  == 0){printf("客户端断开了连接...\n");break;}else{perror("read");break;}}close(cfd);close(lfd);return 0;
}

在上面的代码中用到了三个会引起程序阻塞的函数，分别是：

accept()：如果服务器端没有新客户端连接，阻塞当前进程/线程，如果检测到新连接解除阻塞，建立连接
read()：如果通信的套接字对应的读缓冲区没有数据，阻塞当前进程/线程，检测到数据解除阻塞，接收数据
write()：如果通信的套接字写缓冲区被写满了，阻塞当前进程/线程（这种情况比较少见）

如果需要和发起新的连接请求的客户端建立连接，那么就必须在服务器端通过一个循环调accept()函数，另外已经和服务器建立连接的客户端需要和服务器通信，发送数据时的阻塞可以忽略，当接收不到数据时程序也会被阻塞，这时候就会非常矛盾，被accept()阻塞就无法通信，被read()阻塞就无法和客户端建立新连接。因此得出一个结论，基于上述处理方式，在单线程/单进程场景下，服务器是无法处理多连接的，解决方案也有很多，常用的有三种：

使用多线程实现
使用多进程实现
使用IO多路转接（复用）实现
使用IO多路转接 + 多线程实现

1.使用多进程实现并发服务器

如果要编写多进程版的并发服务器程序，首先要考虑，创建出的多个进程都是什么角色，这样就可以在程序中对号入座了。在Tcp服务器端一共有两个角色，分别是：监听和通信，监听是一个持续的动作，如果有新连接就建立连接，如果没有新连接就阻塞。关于通信是需要和多个客户端同时进行的，因此需要多个进程，这样才能达到互不影响的效果。进程也有两大类：父进程和子进程，通过分析我们可以这样分配进程：

父进程：
负责监听，处理客户端的连接请求，也就是在父进程中循环调用accept()函数
创建子进程：建立一个新的连接，就创建一个新的子进程，让这个子进程和对应的客户端通信
回收子进程资源：子进程退出回收其内核PCB资源，防止出现僵尸进程
子进程：负责通信，基于父进程建立新连接之后得到的文件描述符，和对应的客户端完成数据的接收和发送。
发送数据：send() / write()
接收数据：recv() / read()

在多进程版的服务器端程序中，多个进程是有血缘关系，对应有血缘关系的进程来说，还需要想明白他们有哪些资源是可以被继承的，哪些资源是独占的，以及一些其他细节：

子进程是父进程的拷贝，在子进程的内核区PCB中，文件描述符也是可以被拷贝的，因此在父进程可以使用的文件描述符在子进程中也有一份，并且可以使用它们做和父进程一样的事情。
父子进程有用各自的独立的虚拟地址空间，因此所有的资源都是独占的
为了节省系统资源，对于只有在父进程才能用到的资源，可以在子进程中将其释放掉，父进程亦如此。
由于需要在父进程中做accept()操作，并且要释放子进程资源，如果想要更高效一下可以使用信号的方式处理

具体实现

下面是一个使用多进程实现的并发 TCP 服务器的示例代码，包含详细注释。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <sys/wait.h>
#include <signal.h>
#include <ctype.h>// 处理SIGCHLD信号，避免僵尸进程
void sigchld_handler(int signo) {while (waitpid(-1, NULL, WNOHANG) > 0); //表示非阻塞地等待任意子进程终止。-1 表示等待任何子进程，NULL 表示不需要子进程的退出状态，WNOHANG 表示非阻塞。
}// 处理客户端通信
void handle_client(int cfd) {char buf[1024];int n;while ((n = read(cfd, buf, sizeof(buf))) > 0) {for (int i = 0; i < n; i++) {buf[i] = toupper(buf[i]);}write(cfd, buf, n);}close(cfd);
}int main() {// 创建监听套接字int lfd = socket(AF_INET, SOCK_STREAM, 0);if (lfd < 0) {perror("socket error");return -1;}// 绑定套接字struct sockaddr_in serv;bzero(&serv, sizeof(serv));serv.sin_family = AF_INET;serv.sin_port = htons(8888);serv.sin_addr.s_addr = htonl(INADDR_ANY);if (bind(lfd, (struct sockaddr *)&serv, sizeof(serv)) < 0) {perror("bind error");return -1;}// 监听连接请求listen(lfd, 3); //backlog 参数限制的是等待被 accept 的已完成连接的队列长度，而不是服务器可以处理的总客户端连接数。// 设置SIGCHLD信号处理struct sigaction sa;sa.sa_handler = sigchld_handler;sigemptyset(&sa.sa_mask);           // 初始化信号屏蔽字为空。sa.sa_flags = SA_RESTART;           //设置信号处理之后自动重新启动被信号打断的系统调用。if (sigaction(SIGCHLD, &sa, NULL) < 0) {perror("sigaction error");return -1;}while (1) {struct sockaddr_in client;socklen_t len = sizeof(client);int cfd = accept(lfd, (struct sockaddr *)&client, &len);if (cfd < 0) {perror("accept error");continue;}// 打印客户端连接信息char sIP[16];memset(sIP, 0x00, sizeof(sIP));printf("Client connected: IP [%s], PORT [%d]\n", inet_ntop(AF_INET, &client.sin_addr.s_addr, sIP, sizeof(sIP)), ntohs(client.sin_port));pid_t pid = fork();if (pid == 0) { // 子进程close(lfd); // 子进程关闭监听套接字handle_client(cfd); // 处理客户端通信printf("Client disconnected: IP [%s], PORT [%d]\n", inet_ntop(AF_INET, &client.sin_addr.s_addr, sIP, sizeof(sIP)), ntohs(client.sin_port));exit(0); // 子进程处理完成后退出} else if (pid > 0) { // 父进程close(cfd); // 父进程关闭与客户端通信的套接字} else {perror("fork error");close(cfd);}}close(lfd);return 0;
}

在上面的示例代码中，父子进程中分别关掉了用不到的文件描述符（父进程不需要通信，子进程也不需要监听）。如果客户端主动断开连接，那么服务器端负责和客户端通信的子进程也就退出了，子进程退出之后会给父进程发送一个叫做SIGCHLD的信号，在父进程中通过sigaction()函数捕捉了该信号，通过回调函数callback()中的waitpid()对退出的子进程进行了资源回收。

如果父进程调用accept() 函数没有检测到新的客户端连接，父进程就阻塞在这儿了，这时候有子进程退出了，发送信号给父进程，父进程就捕捉到了这个信号SIGCHLD，由于信号的优先级很高，会打断代码正常的执行流程，因此父进程的阻塞被中断，转而去处理这个信号对应的函数callback()，处理完毕，再次回到accept()位置，但是这是已经无法阻塞了，函数直接返回-1，此时函数调用失败，错误描述为accept: Interrupted system call，对应的错误号为EINTR，由于代码是被信号中断导致的错误，所以可以在程序中对这个错误号进行判断，让父进程重新调用accept()，继续阻塞或者接受客户端的新连接。

2.使用多线程实现并发服务器

编写多线程版的并发服务器程序和多进程思路差不多，考虑明白了对号入座即可。多线程中的线程有两大类：主线程（父线程）和子线程，他们分别要在服务器端处理监听和通信流程。根据多进程的处理思路，就可以这样设计了：

主线程：
负责监听，处理客户端的连接请求，也就是在父进程中循环调用accept()函数
创建子线程：建立一个新的连接，就创建一个新的子进程，让这个子进程和对应的客户端通信
回收子线程资源：由于回收需要调用阻塞函数，这样就会影响accept()，直接做线程分离即可。
子线程：负责通信，基于主线程建立新连接之后得到的文件描述符，和对应的客户端完成数据的接收和发送。
发送数据：send() / write()
接收数据：recv() / read()

在多线程版的服务器端程序中，多个线程共用同一个地址空间，有些数据是共享的，有些数据的独占的，下面来分析一些其中的一些细节：

同一地址空间中的多个线程的栈空间是独占的
多个线程共享全局数据区，堆区，以及内核区的文件描述符等资源，因此需要注意数据覆盖问题，并且在多个线程访问共享资源的时候，还需要进行线程同步。

示例代码：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <pthread.h>
#include <ctype.h>// 处理客户端通信的函数
void *handle_client(void *arg) {int cfd = *(int *)arg;free(arg);struct sockaddr_in client_addr;socklen_t client_addr_len = sizeof(client_addr);//getpeername 函数获取与套接字 cfd 关联的远程（客户端）地址信息，并将其存储在 client_addr 结构体中。getpeername(cfd, (struct sockaddr *)&client_addr, &client_addr_len);    char client_ip[INET_ADDRSTRLEN];inet_ntop(AF_INET, &client_addr.sin_addr, client_ip, sizeof(client_ip));int client_port = ntohs(client_addr.sin_port);printf("Client connected: IP [%s], PORT [%d], FD [%d]\n", client_ip, client_port, cfd);char buf[1024];int n;while ((n = read(cfd, buf, sizeof(buf))) > 0) {for (int i = 0; i < n; i++) {buf[i] = toupper(buf[i]);}write(cfd, buf, n);}printf("Client disconnected: IP [%s], PORT [%d], FD [%d]\n", client_ip, client_port, cfd);close(cfd);return NULL;
}int main() {// 创建监听套接字int lfd = socket(AF_INET, SOCK_STREAM, 0);if (lfd < 0) {perror("socket error");return -1;}// 绑定套接字struct sockaddr_in serv_addr;bzero(&serv_addr, sizeof(serv_addr));serv_addr.sin_family = AF_INET;serv_addr.sin_port = htons(8888);serv_addr.sin_addr.s_addr = htonl(INADDR_ANY);if (bind(lfd, (struct sockaddr *)&serv_addr, sizeof(serv_addr)) < 0) {perror("bind error");close(lfd);return -1;}// 监听连接请求if (listen(lfd, 5) < 0) {perror("listen error");close(lfd);return -1;}while (1) {struct sockaddr_in client_addr;socklen_t client_addr_len = sizeof(client_addr);int *cfd = malloc(sizeof(int));     //每次新建一个int类型的变量，保存不同的通信套接字*cfd = accept(lfd, (struct sockaddr *)&client_addr, &client_addr_len);if (*cfd < 0) {perror("accept error");free(cfd);continue;}// 创建线程处理客户端请求pthread_t tid;pthread_attr_t attr;pthread_attr_init(&attr);pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_DETACHED); // 设置线程分离属性if (pthread_create(&tid, &attr, handle_client, cfd) != 0) {perror("pthread_create error");close(*cfd);free(cfd);}pthread_attr_destroy(&attr);}close(lfd);return 0;
}

客户端：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <sys/socket.h>#define PORT 8888
#define BUFFER_SIZE 1024
#define SERVER_IP "127.0.0.1"int main() {int sock = 0, valread;struct sockaddr_in serv_addr;char buffer[BUFFER_SIZE] = {0};char input_buffer[BUFFER_SIZE] = {0};char *hello = "Hello from client";int opt = 1;// 创建 TCP 套接字if ((sock = socket(AF_INET, SOCK_STREAM, 0)) < 0) {perror("socket creation failed");return -1;}// 设置服务器地址结构serv_addr.sin_family = AF_INET;serv_addr.sin_port = htons(PORT);// 将 IPv4 地址从文本转换为二进制形式if (inet_pton(AF_INET, SERVER_IP, &serv_addr.sin_addr) <= 0) {perror("Invalid address/ Address not supported");return -1;}// 连接服务器if (connect(sock, (struct sockaddr *)&serv_addr, sizeof(serv_addr)) < 0) {perror("Connection Failed");return -1;}printf("Connected to server\n");// 循环发送消息并接收响应while (1) {printf("Enter message to send (or 'exit' to quit): ");fgets(input_buffer, BUFFER_SIZE, stdin);// 去掉输入的换行符input_buffer[strcspn(input_buffer, "\n")] = 0;// 如果输入是 'exit'，则退出循环if (strcmp(input_buffer, "exit") == 0) {break;}// 发送消息给服务器send(sock, input_buffer, strlen(input_buffer), 0);printf("Message sent to server: %s\n", input_buffer);// 接收服务器的响应valread = read(sock, buffer, BUFFER_SIZE);printf("Server response: %s\n", buffer);memset(buffer, 0, sizeof(buffer));}close(sock);return 0;
}