C++网络编程实践：使用C++11基于epoll技术实现一个超大并发TCP服务器

理解epoll

epoll 是一种 I/O 复用技术，它允许一个线程有效地管理多个文件描述符（在本例中为套接字），而无需为每个连接创建单独的线程。这是通过事件驱动的方式来实现的，epoll 能够通知你哪些套接字已经准备好进行读写操作。

在传统的基于线程的模型中，每当有一个新的连接，服务器就会创建一个新的线程来处理这个连接。这种方法在连接数量较少时工作良好，但在高并发场景下会遇到线程上下文切换开销大、系统资源消耗过多等问题。

相比之下，epoll 允许你在一个线程中处理数千甚至数百万个连接，而不会因为线程管理带来额外的开销。epoll 通过注册事件（如 EPOLLIN 表示可读，EPOLLOUT 表示可写）来监控多个套接字。当某些套接字准备好时，epoll_wait 函数会立即返回这些套接字的列表，然后服务器可以依次处理这些事件，而无需创建新线程。

使用epoll的优势

使用 epoll 进行网络编程相比于传统的 select 和 poll 方法具有显著的优势，尤其在处理大量并发连接的场景下更为明显

高效率： epoll 使用更高效的数据结构和算法，例如基于红黑树的实现，使得它在处理大量文件描述符时效率远高于 select 和 poll。它能够快速查找和更新事件状态，减少了系统调用的次数和上下文切换的开销。
扩展性： epoll 支持水平触发（Level Triggered, LT）和边缘触发（Edge Triggered, ET）两种模式。ET 模式下，epoll 只在事件首次发生时报告，这可以减少不必要的事件报告，提高效率。LT 模式则允许重复报告事件直到被处理。
节省资源： epoll 不需要为每一个文件描述符维护一个内核数据结构，而是使用一个文件描述符来管理多个连接，这样减少了内存使用和系统资源的消耗。
无连接数限制： select 的最大限制是受 FD_SETSIZE 的约束，而 epoll 没有硬性的连接数限制，理论上可以处理成千上万乃至更多数量的并发连接。
精确的超时控制： epoll 提供了更精确的超时控制，这对于需要高精度超时的网络应用尤为重要。
低延迟和高吞吐量： epoll 的事件通知机制允许快速响应网络事件，降低延迟并提高整体吞吐量。
事件驱动模型： epoll 基于事件驱动，这意味着只有当套接字上的事件真正发生时才会有通知，这避免了轮询所有连接所带来的开销。
支持多路复用： epoll 可以同时处理多个套接字的读写事件，使得服务器可以有效地处理大量并发请求，而无需为每个连接创建额外的线程或进程。
低内存拷贝开销：在处理事件时，epoll 可以直接访问内核中的数据结构，减少了用户空间和内核空间之间不必要的内存拷贝。
灵活的通知机制： epoll 允许应用程序注册不同类型的事件，包括读事件、写事件等，以及错误条件和挂起事件。

代码样例

下面用epoll技术实现一个TCP服务器，具体方法和思路看注释

#include <iostream>
#include <string.h> 
#include <unistd.h> 
#include <sys/socket.h>  // socket, bind, listen, accept
#include <netinet/in.h>  // sockaddr_in
#include <arpa/inet.h>   // inet_addr
#include <fcntl.h>       // fcntl
#include <errno.h>   
#include <sys/epoll.h>   // epoll
#include <unordered_map>
#include <string>
#include <vector>#define MAX_EVENTS 3000class TCPServer {
public://构造函数TCPServer(int port) : listenSocket(-1), port(port){}~TCPServer() {if (listenSocket != -1)close(listenSocket);}void start() {initSocket();setupEpoll();listen(listenSocket, SOMAXCONN);std::cout << "Server started on port " << port << std::endl;run();}private:int listenSocket;int epollFd;int port;int msgCount;/*** 初始化监听套接字* 该函数创建一个监听套接字，并将其绑定到指定的IP地址和端口上。* 如果创建或绑定套接字时发生错误，程序将输出错误信息并退出。*/void initSocket() {// 创建一个流式套接字listenSocket = socket(AF_INET, SOCK_STREAM, 0);if (listenSocket == -1) {perror("Error creating socket");exit(EXIT_FAILURE);}// 设置套接字选项，允许重复使用地址// 这在重启服务时特别有用，可以避免因为地址还处于TIME_WAIT状态而无法绑定int optval = 1;setsockopt(listenSocket, SOL_SOCKET, SO_REUSEADDR, &optval, sizeof(optval));// 初始化sockaddr_in结构体，用于指定套接字要绑定的地址和端口struct sockaddr_in addr;memset(&addr, 0, sizeof(addr));addr.sin_family = AF_INET;addr.sin_port = htons(port);addr.sin_addr.s_addr = htonl(INADDR_ANY);// 将套接字绑定到指定的地址和端口上if (bind(listenSocket, (struct sockaddr*)&addr, sizeof(addr)) == -1) {perror("Error binding socket");close(listenSocket);exit(EXIT_FAILURE);}}/*** 演示epoll的使用* 初始化epoll监听结构体* 本函数用于创建epoll实例，并将监听socket添加到epoll中，以非阻塞方式监听客户端连接请求。* * @note 如果创建epoll实例或添加监听socket到epoll中失败，程序将退出。*/void setupEpoll() {// 创建epoll实例epollFd = epoll_create1(0);if (epollFd == -1) {// 如果创建失败，输出错误信息，关闭监听socket，并退出程序perror("Error creating epoll instance");close(listenSocket);exit(EXIT_FAILURE);}struct epoll_event ev;// 设置epoll事件类型为可读事件和边缘触发ev.events = EPOLLIN | EPOLLET;// 将监听socket关联到epoll事件中ev.data.fd = listenSocket;if (epoll_ctl(epollFd, EPOLL_CTL_ADD, listenSocket, &ev) == -1) {// 如果添加监听socket到epoll失败，输出错误信息，关闭监听socket和epoll实例，并退出程序perror("Error adding listen socket to epoll");close(listenSocket);close(epollFd);exit(EXIT_FAILURE);}// 将监听socket设置为非阻塞模式fcntl(listenSocket, F_SETFL, O_NONBLOCK);}/*** 主循环，负责监听和处理客户端连接。* 该循环将持续运行，直到发生无法恢复的错误。* 它通过epoll_wait监控客户端连接和已建立的连接上的活动。*/void run() {while (true) {// 准备接收epoll_wait返回的事件。std::vector<struct epoll_event> events(MAX_EVENTS);// 调用epoll_wait阻塞，直到有事件发生或超时。超时时间为-1，表示无限等待。int numEvents = epoll_wait(epollFd, events.data(), MAX_EVENTS, -1);// 检查epoll_wait调用是否失败。if (numEvents == -1) {perror("Error in epoll_wait");break;}// 遍历发生的事件，区分监听套接字和客户端套接字的事件。for (int i = 0; i < numEvents; ++i) {// 如果事件来源是监听套接字，则处理新的客户端连接请求。if (events[i].data.fd == listenSocket) {handleNewConnection();}else {// 如果事件来源是已建立的客户端套接字，则处理客户端的请求或数据。handleClient(events[i].data.fd);}}}}/*** 接收新连接*/void handleNewConnection() {int clientSocket = accept(listenSocket, nullptr, nullptr);if (clientSocket == -1) {if (errno != EAGAIN && errno != EWOULDBLOCK) {perror("Error accepting new connection");}return;}//添加到epoll中struct epoll_event ev;ev.events = EPOLLIN | EPOLLET;ev.data.fd = clientSocket;if (epoll_ctl(epollFd, EPOLL_CTL_ADD, clientSocket, &ev) == -1) {perror("Error adding client socket to epoll");close(clientSocket);return;}//设置非阻塞模式fcntl(clientSocket, F_SETFL, O_NONBLOCK);struct sockaddr_in addr;socklen_t len = sizeof(addr);getpeername(clientSocket, (struct sockaddr*)&addr, &len);std::string address = inet_ntoa(addr.sin_addr);std::cout << "Client connected " << address << std::endl;}/*** 处理客户端消息*/void handleClient(int clientSocket) {ssize_t bytesRead = read(clientSocket, buffer, sizeof(buffer) - 1);if (bytesRead == -1) {if (errno != EAGAIN && errno != EWOULDBLOCK) {perror("Error reading from client");}return -1;}else if(bytesRead == 0){close(clientSocket);epoll_ctl(epollFd, EPOLL_CTL_DEL, clientSocket, nullptr);std::cout << "Client Disconnected "  << std::endl;return 0;}std::cout << "Received data " << bytesRead  << std::endl;//回复一些数据//write(clientSocket, buffer, len);}
};int main(int argc, char* argv[]) {int PORT = 8080;if (argc >= 2) {PORT = std::atoi(argv[1]);}TCPServer server(PORT);server.start();return 0;
}