WebSocket轻松单台服务器5w并发jmeter实测

测试结论

nginx最多只能维持(65535*后端服务器IP个数)条websocket的长连接，如果后端websocket服务器IP只有一个，那么就只能最多支持65535条连接。瓶颈就产生在了nginx上
建议采用LVS的DR模式来做负载均衡，这样最大长连接数目就只和websocket服务器资源（主要是内存）有关了，单台websocket服务器很轻松可以支撑百万级连接

websocket 相关配置

<Connector port="9999"  protocol="org.apache.coyote.http11.Http11NioProtocol" connectionTimeout="20000" acceptCount="150000"maxThreads="2000" maxConnections="150000" enableLookups="false"  redirectPort="8443"  />
复制代码

connectionTimeout——默认设置为20秒。通过修改该参数，可以修改tomcat的请求超时时间
acceptCount——当tomcat的线程数达到maxThreads后，新的请求就会排队等待，超过排队数的请求会被拒绝，acceptCount最好大于等于maxThreads
maxThreads：

（1）、部署的程序偏计算型，主要利用cpu资源，应该将该参数设置小一点，减小同一时间抢占cpu资源的线程个数。（2）、部署的程序对io、数据库占用时间较长，线程处于等待的时间较长，应该将该参数调大一点，增加处理个数。
maxConnections——这个值表示最多可以有多少个socket连接到tomcat上。NIO模式下默认是10000
enableLookups——为了消除DNS查询对性能的影响我们可以关闭DNS查

Nginx

 location ^~ /wnhz/websocket/ {proxy_connect_timeout 60s;——该指令设置与upstream server的连接超时时间，有必要记住，这个超时不能超过75秒proxy_read_timeout 3600s;——该指令设置与代理服务器的读超时时间。它决定了nginx会等待多长时间来获得请求的响应。这个时间不是获得整个response的时间，而是两次reading操作的时间proxy_send_timeout 60s; ——这个指定设置了发送请求给upstream服务器的超时时间。超时设置不是为了整个发送期间，而是在两次write操作期间。如果超时后，upstream没有收到新的数据，nginx会关闭连接proxy_http_version 1.1;——支持websocketproxy_set_header Upgrade $http_upgrade;proxy_set_header Connection "upgrade";proxy_set_header Host $host;proxy_pass http://test/websocket/;}---------------------   官方配置--------------------------------------location /chat/ {proxy_pass http://backend;proxy_http_version 1.1;proxy_set_header Upgrade $http_upgrade;proxy_set_header Connection "upgrade";
}
复制代码

用nginx做websocket的反向代理资源瓶颈原理

内存（相关数据结构的存储）、cpu、网络

内存的占用分两部分，一部分是内核中tcp协议栈结构占用的内存，一部分是nginx中维持双向连接数据结构占用的内存按照理想状况，一条tcp连接的数据结构在内存中占用大约4KB左右，nginx的内存占用，没有统计相关的结构体，这里就等于2KB（nginx的内存利用非常高效，有内存池）对于现在的服务器来说内存、cpu、网络都不会是瓶颈，因此这里不做讨论
复制代码

文件描述符数量

可能需要调整内核参数，文件描述符的数量其实也是和内存相关的，因为每打开一个tcp连接，就得占用一个文件描述符。内核参数：fs.file-max这是和系统资源相关的，也不会是瓶颈
复制代码

端口号数量

内核参数为：net.ipv4.ip_local_port_range，且最大值为65535linux内核是通过{local_ip, local_port, remote_ip, remote_port}这个四元组来标识一条唯一的tcp连接的。1）对于websocket服务器自身而言，local_ip, local_port是确定的，在内存、cpu足够的情况下，其可以支撑 （client_ip数量*2^16)条连接。也就是说只要服务器资源足够，一定不会是瓶颈。2）对于nginx服务器来说，local_ip, local_port也是确定的，不同的是，它还要作为client去连接websocket服务器，这是要占用一个端口的。因此，nginx能支撑的websocket连接数最大为：（代理的websocket服务器IP数量*2^16），如果只有一个websocket服务器IP，那么就只有65536，去掉0端口，就只有65535.
复制代码