Linux 内核优化简笔 - 高并发的系统

简介

Linux 服务器在高并发场景下，默认的内核参数无法利用现有硬件，造成软件崩溃、卡顿、性能瓶颈。

当然，修改参数只是让Linux更好软件的去利用已有的硬件资源，如果硬件资源不够也无法解决问题的。而且当硬件资源不足的时候，某些参数过大可能也会占用多余资源，或者影响稳定性。 或者让单个进程占用过多资源，影响整体系统的运行。

写本文的起因主要是对zabbix 服务器的高并发需求，还有数据库、Nginx、ES集群的高并发需求。

在这里插入图片描述

博客：https://songxwn.com

注意：

在/etc/sysctl.conf 修改的，可以使用sysctl -p 立即生效，使用sysctl -a 查看当前数值。

在/etc/security/limits.conf 修改的，需要重启服务或系统才能生效，或者用ulimit 单独去配置。

最大文件打开句柄数量 - max open files

Linux 下一切皆文件，一般如果遇到文件句柄达到上限时，会碰到"Too many open files"或者Socket/File: Can’t open so many files等错误。

在 linux 中，每个连接都会占用一个文件句柄，所以句柄数量限制同样也会限制最大连接数， 对于像 Nginx 这样的反向代理，对于每个请求，它会与 client 和 upstream server 分别建立一个连接，即占据两个文件句柄，所以理论上来说 Nginx 能同时处理的连接数最多是系统最大文件句柄数限制的一半。

lsof | wc -l
# 可以查看当前打开文件的数量

系统级和进程级限制、异步 I/O 操作的最大数目

vim /etc/sysctl.conf
fs.file-max = 9223372036854775807
fs.nr_open = 1073741816
fs.aio-max-nr = 1048576 
sysctl -p
# 应用
cat /proc/sys/fs/file-max
# 查看实时

用户级限制

vim /etc/security/limits.conf
* soft nofile 1024000
* hard nofile 1024000
ulimit -a
# 需要重启生效

Systemd限制

vim /etc/systemd/system.confDefaultLimitCORE=infinity
DefaultLimitNOFILE=1024000
DefaultLimitNPROC=1024000vim /etc/systemd/user.confDefaultLimitCORE=infinity
DefaultLimitNOFILE=1024000
DefaultLimitNPROC=1024000systemctl daemon-reload# 最终还需要重启服务。

消息队列大小

vim /etc/sysctl.conf
kernel.msgmnb = 65536
# 单个消息队列中单个消息的最大允许大小（以字节为单位）
kernel.msgmax = 65536
# 用于指定从一个进程发送到另一个进程的消息的最大长度
kernel.shmmax = 18446744073692774399
# 定义 Linux 进程在其虚拟地址空间中可分配的单个共享内存段的最大字节大小。
kernel.shmall = 18446744073692774399
# 定义可用于系统范围的共享内存页面总数。要使用整个主内存，kernel.shmall 参数的值应当为主内存大小总计。

最大用户进程

vim /etc/security/limits.conf
* soft nproc 127671
* hard nproc 127671
ulimit -a

虚拟内存大小 - vm.max_map_count

限制一个进程可以拥有的VMA(虚拟内存区域)的数量，常用于 ES集群。

vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p
sysctl -a|grep vm.max_map_count

调整stack size的大小

Linux系统初始的堆栈大小

vim /etc/security/limits.conf
* soft stack 262140
* hard stack 262140

网络相关

调整网络设备积压队列以避免数据包丢弃

vim /etc/sysctl.conf
net.core.netdev_max_backlog = 25000

TCP TIME_WAIT 连接复用开启

如果短连接并发量较高，它所在 netns 中 TIME_WAIT 状态的连接就比较多，而 TIME_WAIT 连接默认要等 2MSL 时长才释放，长时间占用源端口，当这种状态连接数量累积到超过一定量之后可能会导致无法新建连接。

所以建议开启 TIME_WAIT 复用，即允许将 TIME_WAIT 连接重新用于新的 TCP 连接:

vim /etc/sysctl.conf
net.ipv4.tcp_tw_reuse=1

套字节接受和发送缓冲区

vim /etc/sysctl.conf
net.core.rmem_default=26214400
net.core.wmem_default=26214400 
net.core.rmem_max=26214400  
net.core.wmem_max=26214400

TCP 接受和发送缓冲区 最低/默认/最大

vim /etc/sysctl.conf
net.ipv4.tcp_rmem=16384 26214400 26214400
net.ipv4.tcp_wmem=32768 26214400 26214400

TCP窗口大小

vim /etc/sysctl.conf
net.ipv4.tcp_window_scaling=1
# TCP 窗口大小缩放

调大TCP全连接连接队列的大小

vim /etc/sysctl.conf
net.core.somaxconn=65535

UDP 接受和发送缓冲区

UDP socket 的发送和接收缓冲区是有上限的，如果缓冲区较小，高并发环境可能导致缓冲区满而丢包，从网络计数可以看出来:

vim /etc/sysctl.conf
net.ipv4.udp_mem=374394 26214400 26214400

TCP BBR - 高延迟/高丢包网络优化

介绍文章： https://songxwn.com/TCP_BBR/

vim /etc/sysctl.conf
net.core.default_qdisc=fq
net.ipv4.tcp_congestion_control=bbr
# 需要内核4.9以上，BBRv3 需要安装较新的Xanmod内核。

TCP/UDP本地端口新建范围

高并发场景，对于 client 来说会使用大量源端口，源端口范围从 net.ipv4.ip_local_port_range 这个内核参数中定义的区间随机选取，在高并发环境下，端口范围小容易导致源端口耗尽，使得部分连接异常。通常 Pod 源端口范围默认是 32768-60999，建议将其扩大.

vim /etc/sysctl.conf
net.ipv4.ip_local_port_range = 15000 64000
# 默认是32768 60999 ,注意不要和已有端口冲突。

net.netfilter.nf_conntrack_max 用于控制连接跟踪表的最大大小

.net.netfilter.nf_conntrack_max不是越高越好，通常根据内存大小进行设置。
nf_conntrack_max计算公式（64位）
CONNTRACK_MAX = RAMSIZE (inbytes)/16384/2

例如你的机器是一个64GB 64bit的系统，那么最合适的值是

CONNTRACK_MAX = 6410241024*1024/16384/2 = 2097152

vim /etc/sysctl.conf
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_established = 3600
net.nf_conntrack_max = 1048576

最终推荐参数

sysctl

cat > /etc/sysctl.conf <<EOF
fs.file-max = 9223372036854775807
fs.nr_open = 1073741816
kernel.msgmnb = 65536
kernel.msgmax = 65536
vm.max_map_count=655360
net.core.netdev_max_backlog = 25000
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_rmem=16384 26214400 26214400
net.ipv4.tcp_wmem=32768 26214400 26214400
net.ipv4.tcp_window_scaling=1
net.core.somaxconn=65535
net.core.rmem_default=26214400
net.core.wmem_default=26214400 
net.core.rmem_max=26214400  
net.core.wmem_max=26214400
net.ipv4.udp_mem=374394 26214400 26214400
net.ipv4.ip_local_port_range=15000 64000
EOF
# 配置
sysctl -p
#

ulimit

cat > /etc/security/limits.conf <<EOF
* soft nofile 1024000
* hard nofile 1024000
* soft nproc 127671
* hard nproc 127671
* soft stack 262140
* hard stack 262140
EOF
# 需要重启系统/进程/重新登录才能生效。

参考：

https://support.huaweicloud.com/trouble-ecs/ecs_trouble_0324.html

百看不如一练，动手测试单机百万连接的保姆级教程！

https://support.huaweicloud.com/ecs_faq/ecs_faq_1327.html

https://cloud.tencent.com/document/product/213/46400

https://cloud.tencent.com/document/product/213/57336

https://imroc.cc/kubernetes/best-practices/performance-optimization/network

https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux/9/html/managing_monitoring_and_updating_the_kernel/parameters-affecting-performance-of-database-applications_adjusting-kernel-parameters-for-database-servers

https://cloud.google.com/compute/docs/networking/tcp-optimization-for-network-performance-in-gcp-and-hybrid?hl=zh-cn

https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux/9/html/monitoring_and_managing_system_status_and_performance/tuning-udp-connections_tuning-the-network-performance

https://cloud.google.com/blog/products/gcp/5-steps-to-better-gcp-network-performance

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/798411.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

AcWing 788. 逆序对的数量——算法基础课题解

AcWing 788. 逆序对的数量——算法基础课题解

AcWing 788. 逆序对的数量 题目描述 给定一个长度为 n 的整数数列&#xff0c;请你计算数列中的逆序对的数量。 逆序对的定义如下&#xff1a;对于数列的第 i 个和第 j 个元素&#xff0c;如果满足 i<j且 a[i]>a[j]&#xff0c;则其为一个逆序对&#xff1b;否则不是。…
阅读更多...
vscode开发java的插件和配置

vscode开发java的插件和配置

推荐插件 .vscode/extensions.json {"recommendations": ["redhat.fabric8-analytics","ms-azuretools.vscode-docker","vscjava.vscode-java-pack","eamodio.gitlens","obkoro1.korofileheader","redhat.j…
阅读更多...
代码随想录算法训练营第三十一天|455.分发饼干、376.摆动序列、53.最大子数和

代码随想录算法训练营第三十一天|455.分发饼干、376.摆动序列、53.最大子数和

文档链接&#xff1a;https://programmercarl.com/ LeetCode455.分发饼干 题目链接&#xff1a;https://leetcode.cn/problems/assign-cookies/ 思路&#xff1a;我采用的是优先用小饼干喂小孩。 贪心&#xff1a; class Solution { public:int findContentChildren(vecto…
阅读更多...
点云滤波与匹配进阶

点云滤波与匹配进阶

0. 简介 之前作者专门为点云匹配写了几篇博客&#xff0c;但是我们发现最近几年有更多的新方法已经在不断地被使用。同时之前有些内容也没有很好的概括&#xff0c;所以这里我们将作为一篇进阶文章来介绍这些方法的使用。 1. 地面点去除 处了使用一些复杂的方法&#xff08;…
阅读更多...
Cute Background FX

Cute Background FX

Cute Background FX是环境背景粒子系统的集合。非常适合作为菜单的背景。 该包包括： -20个独特预制件+20个URP预制件 -5种独特的环境设计 -15种纹理 -2个自定义着色器+2个URP着色器 -共59项独特资产 -一个演示场景，您可以在其中概述所有内容。 所有纹理都是512x512分辨率的P…
阅读更多...
基于SSM框架实现的在线心理评测与咨询系统(技术栈 spring+springmvc+mybatis+jsp+jquery+css)

基于SSM框架实现的在线心理评测与咨询系统(技术栈 spring+springmvc+mybatis+jsp+jquery+css)

一、项目简介 本项目是一套基于SSM框架实现的在线心理评测与咨询系统&#xff0c;主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Java学习者。 包含&#xff1a;项目源码、数据库脚本等&#xff0c;该项目附带全部源码可作为毕设使用。 项目都经过严格调试&am…
阅读更多...
iOS 应用内网络请求设置代理

iOS 应用内网络请求设置代理

主要通过URLSessionConfiguration 的connectionProxyDictionary 属性 为了方便其他同学使用&#xff0c;我们可以通过界面来进行设定&#xff08;是否开启代理、服务端、端口&#xff09;&#xff0c;从而达到类似系统上的设定 具体链接参考&#xff1a;为 iOS 网络请求设置代理…
阅读更多...
代码随想录算法训练营33期 第二十九天（补第二十八天）| 93.复原IP地址、78.子集、 90.子集II

代码随想录算法训练营33期 第二十九天（补第二十八天）| 93.复原IP地址、78.子集、 90.子集II

93.复原IP地址 class Solution { public:vector<string> result;bool isValid(const string& s, int start, int end){if (start > end){return false;}if (s[start]0 && start ! end){return false;}int num 0;for (int istart; i<end; i){if (s[i]…
阅读更多...
设计模式总结-桥接模式

设计模式总结-桥接模式

桥接模式 模式动机模式定义模式结构模式分析桥接模式实例与解析实例一&#xff1a;模拟毛笔 模式优缺点 模式动机 设想如果要绘制矩形、圆形、椭圆、正方形&#xff0c;我们至少需要4个形状类&#xff0c;但是如果绘制的图形需要具有不同的颜色&#xff0c;如红色、绿色、蓝色…
阅读更多...
linux内核网络源码分析--功能专用字段‘每日读书’

linux内核网络源码分析--功能专用字段‘每日读书’

linux内核是模块化的&#xff0c;允许你选择要包含什么以及省略什么。因此&#xff0c;只有当内核编译位支持特定功能时候&#xff0c;如防火墙或者Qos&#xff0c;某些字段才会包含在sk_buff数据结构中。 unsigned long nfmark __u32 nfcache __u32 nfctinfo struct nf_conntr…
阅读更多...
xss.pwnfunction-Ugandan Knuckles

xss.pwnfunction-Ugandan Knuckles

这个是把<>过滤掉了所以只能用js的事件 ?weya"onfocus"alert(1337)" autofocus"
阅读更多...
基于springboot的社区医疗服务系统

基于springboot的社区医疗服务系统

文章目录 项目介绍主要功能截图&#xff1a;部分代码展示设计总结项目获取方式 &#x1f345; 作者主页&#xff1a;超级无敌暴龙战士塔塔开 &#x1f345; 简介&#xff1a;Java领域优质创作者&#x1f3c6;、 简历模板、学习资料、面试题库【关注我&#xff0c;都给你】 &…
阅读更多...
数据结构面试题报错调试方法记录

数据结构面试题报错调试方法记录

栈和队列报错调试 1.用栈实现队列 232. 用栈实现队列 - 力扣&#xff08;LeetCode&#xff09; 此题解题思路如下&#xff1a; 先将数据放在pushst栈里面&#xff0c;popst栈为空再把pushst栈里面的数据放进popst栈里面去&#xff0c;不为空则不执行。不为空时候直接拿取栈…
阅读更多...
基于C语言实现 SQL数据库和链表的相互转换

基于C语言实现 SQL数据库和链表的相互转换

使用的函数介绍 这里sqlite3_open、sqlite3_close就不介绍了 sqlite3_prepare_v2()&#xff1a; 函数原型&#xff1a;int sqlite3_prepare_v2(sqlite3* db, const char* zSql, int nByte, sqlite3_stmt** ppStmt, const char** pzTail);作用&#xff1a;准备 SQL 语句以供执…
阅读更多...
WSL2迁移后默认登陆用户为root的解决方案

WSL2迁移后默认登陆用户为root的解决方案

第一步&#xff0c;在wsl的root用户下面用vim打开/etc/wsl.conf文件 vim /etc/wsl.conf第二步&#xff0c;在文件中添加以下代码, 仅需把user_name替换成你原来wsl的用户名即可 [user] defaultuser_name如 [user] defaultpengyuyan重启wsl,在powershell下输入 wsl --shutdo…
阅读更多...
【GDB】GDB解CORE文件

【GDB】GDB解CORE文件

目录 一 GDB解析CORE文件（Linux） 二 GDB解析CORE文件（QNX） 在 Linux 系统中，当一个进程发生崩溃或异常时，它会生成一个所谓的 core dump 文件，其中包含了该进程的内存映像和一些调试信息。这个文件可以用于分析和解决崩溃问题，以便了解进程崩溃时的状态和原因
阅读更多...
多模态text-image模型之ITM loss（blip）

多模态text-image模型之ITM loss（blip）

主要代码&#xff1a; # forward the positve image-text pair # 正向传播正面的图像文本对 output_pos self.text_encoder.bert(encoder_embedstext_embeds, attention_masktext.attention_mask,encoder_hidden_statesimage_embeds,encoder_attention_maskimage_atts, …
阅读更多...
【技术笔记】Ubuntu下VirtualBox不能识别USB解决办法（手把手解决）

【技术笔记】Ubuntu下VirtualBox不能识别USB解决办法（手把手解决）

环境说明 系统版本&#xff1a;Ubuntu 20.04 VirtualBox版本&#xff1a; 7.0.12 解决过程 扩展下载&#xff0c;进入VirtualBox 官方下载路径。选择本机安装版本&#xff0c;如下图所示&#xff0c;因笔者是7.0.x版本&#xff0c;因此点击第一条链接&#xff1b; 进入版本页…
阅读更多...
机器学习（30）

机器学习（30）

文章目录 摘要一、文献阅读1. 题目2. abstract3. 网络架构3.1 Sequence Generative Adversarial Nets3.2 SeqGAN via Policy Gradient3.3 The Generative Model for Sequences3.4 The Discriminative Model for Sequences(CNN) 4. 文献解读4.1 Introduction4.2 创新点4.3 实验过…
阅读更多...
慢SQL问题排查

慢SQL问题排查

慢SQL问题排查是一个系统性的过程&#xff0c;它涉及到对数据库性能、查询优化以及系统资源的深入理解。 1. 收集慢查询日志 启用慢查询日志&#xff1a;大多数数据库系统&#xff08;如MySQL、PostgreSQL等&#xff09;都支持慢查询日志功能。启用该功能后&#xff0c;数据库…
阅读更多...
最新文章

Copyright @ 2022~2023