Linux性能挖潜的隐藏招数:内核CPU亲和性参数调整

作者:李彬,赵雪枫,金融科技工程师,架构师社区特邀作者!

应用服务性能调优,是每个系统投产前都需要关注的问题,系统及软件层面的调优方法均有大量文章介绍,但在所有招数使出后,是否就无潜可挖了?如果了解Linux内核运行特征,经过简单的配置,仍存在不少可行的方案。本文将介绍的是基于Linux内核CPU亲和性参数调整,榨取最后一丝性能优势的方案。 

一、背景知识

CPU是常规应用运行计算的核心,从性能角度至少需要了解物理CPU、逻辑CPU和超线程技术实现。

1. 物理CPU:机器上实际安装的CPU个数。

2. 逻辑CPU:物理CPU会有多个逻辑运算核心,基于Intel的超线程技术(Hyper-Threading),可以在此基础上形成更多核心算力。

3. 超线程技术(Hyper-Threading):就是利用特殊的硬件指令,把一个CPU核模拟成多个逻辑CPU,形成多核多线程CPU。

综上所述,三者的逻辑关系如下:

逻辑CPU的数量=物理CPU的数量*CPU的核数*2(如果支持并开启了超线程的话)

 

二、CPU的亲和性参数原理

CPU的亲和性是一种调度属性,它可以将一个进程绑定到一个或者一组CPU上。CPU的亲和性分为两种:软亲和性和硬亲和性。

1)软CPU亲和性就是进程要在指定的CPU上尽量长时间地运行而不被迁移到其他处理器上运行。Linux内核的自身特性,意味着进程通常不会在处理器之间频繁迁移,以避免这种迁移对于计算能力的消耗,以达到最佳的平衡性。

2)Linux内核中还包含了一种硬CPU亲和性的机制,这个机制让开发人员可以实现硬CPU亲和性。这意味着可以显式指定进程在哪个(或哪些)处理器上运行。

在Linux内核中进程数据结构为task_struct,其中与亲和性相关的是cpus_allowed位掩码。这个位掩码由n位组成,与系统中的n个逻辑CPU一一对应。如果为给定的进程设置了给定的位,那么这个进程就可以在相关的CPU上运行了。

以32颗逻辑CPU服务器为例:

0x00000001 处理器0号逻辑CPU可运行
0x00000003 处理器0-1号逻辑CPU可迁移运行
0xFFFFFFFF 处理器0-31号逻辑CPU均可迁移运行(Linux内核缺省状态)
 

通常Linux内核都可以很好地对进程进行调度,在应该运行的地方运行进程,也就是说,在可用的处理器上运行并获得很好的整体性能。Linux内核中包含了一些用来检测CPU之间任务负载迁移的算法,可以启用进程迁移来降低繁忙的处理器的压力。

 

三、CPU的亲和性设置

Linux提供了一些方法,可以让用户通过修改位掩码来指定进程只能在某个(或者某些)CPU上运行。一般情况下,在应用程序中只需要使用缺省的调度器行为。然而,有时候我们可能会希望修改这些缺省行为以实现性能的优化。一般来说,我们要使用硬CPU亲和性有3个原因:有大量的计算要做;应用程序复杂;正在运行时间敏感的、决定性的进程。

经过对各种方式的总结,以下通过两个清晰的事例,对CPU亲和性的配置方式进行说明。

1)在应用源码中设置CPU亲和性

硬CPU亲和性的设置可以通过编程来实现,Linux内核提供了一些系统API,如:sched_set_affinity(),sched_get_affinity(),CPU_ZERO(),CPU_SET()等。一个简单设置硬CPU亲和性的例子如下:

#include <sched.h>

#include <unistd.h>

#include <stdlib.h>

#include <stdio.h>

 

int main(void)

{

int i, nrcpus;

cpu_set_t mask;

unsigned long bitmask = 0;

CPU_ZERO(&mask); //清空一个集合

CPU_SET(0, &mask); //将给定的CPU0加入集合

CPU_SET(2, &mask);//将给定的CPU2加入集合

if (sched_setaffinity(0,sizeof(cpu_set_t), &mask) == -1)

{

perror("sched_setaffinity");

exit(-1);

}

return 0;

}

 

2)通过命令方式设置CPU亲和性

硬CPU亲和性的设置还可以通过taskset命令来设置。taskset的命令格式是:

taskset [options] mask command [arg]…

taskset [options] –p[mask] pid

 

mask是CPU亲和性

command是可执行程序

arg是command的参数

pid是进程ID

 

第一个命令是用来设置可执行程序的硬CPU亲和性,第二个命令是用来设置已经运行的进程的硬CPU亲和性。

 

写在最后

最近在项目中,笔者碰到了系统CPU使用率不稳定的情况,分析了良久,才排查到是CPU亲和性相关的问题。在压力稳定,运算正常无外部瓶颈的情况下,形成一种无法解释的CPU剧烈波动。如下图所示:

如果后续碰到类似的问题,可以参考从调整CPU亲和性方面考虑,按图索骥,尝试调整该参数,看是否有奇效。

如有收获,点个在看,诚挚感谢

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/306376.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PAT乙级——1001害死人不偿命的(3n+1)猜想(太简单)

#include<iostream> using namespace std;int main(){int n;int ans0;//记录走过的步数 cin>>n;while(n!1){if(n%20){ans;nn/2;}else{ans;n(3*n1)/2;}}cout<<ans;return 0; }

好的重构方法才能摆脱“屎山”

大家好&#xff0c;我是Z哥。最近在整理一些项目&#xff0c;所以相关的文章写的多了些。之前的相关文章有《聊聊单元测试》&#xff0c;感兴趣的话可以点击文末链接去阅读。这次整理项目的时候&#xff0c;做了比较多的codereview和重构。好久没做这么高强度了重构了&#xff…

在 Asp.Net Core 中使用 worker services

ASP.Net Core 3.0 Preview 3 新增了一个 worker services&#xff0c;那什么是 worker services 呢&#xff1f;它如同 windows服务 或者 Linux守护进程 一样的后台服务&#xff0c;在 Visual Studio 中提供了一个专门创建 worker services 的模板&#xff0c;如下图&#xff…

react全局状态管理_rxv: 在React中用Vue3的reactivity包实现状态管理。

前言React的状态管理是一个缤纷繁杂的大世界&#xff0c;光我知道的就不下数十种&#xff0c;其中有最出名immutable阵营的redux&#xff0c;有mutable阵营的mobx&#xff0c;react-easy-state&#xff0c;在hooks诞生后还有极简主义的unstated-next&#xff0c;有蚂蚁金服的大…

VS Code 变身约会利器!以码会友,轻松找到心仪的TA!

在韩老师的《Visual Studio Code 权威指南》一书中&#xff0c;我向大家推荐了许多好用的插件&#xff0c;其中也不乏许多摸鱼插件&#xff0c;刷知乎、炒股票、看电影、听音乐、追番、看小说&#xff0c;一应俱全。前不久&#xff0c;韩老师还给大家推荐过一款“小霸王”插件&…

机器学习——常用算法的总结

机器学习常用算法总结 机器学习——常用算法的总结学习方式一、监督式学习&#xff1a;1、分类2、回归补充——线性回归与逻辑回归二、非监督式学习&#xff1a;三、半监督式学习&#xff1a;四、强化学习&#xff1a;算法类似性一、回归算法&#xff1a;二、基于实例的算法三、…

机器学习——决策树学习

机器学习——决策树学习一、什么是决策树二、决策树的学习过程特征选择&#xff1a;决策树生成&#xff1a;剪枝&#xff1a;三、决策树的一个具体的实例导入数据python strip() 函数和 split() 函数的详解及实例数据处理提取到训练集中的标签给数据的每一列添加上标签&#xf…

微软:Excel公式是世界上使用最广泛的编程语言

喜欢就关注我们吧&#xff01;文|一君微软近日推出了一项 Excel 公式构建的新功能 LAMBDA&#xff0c;正则测试阶段。LAMBDA 允许使用 Excel 自身的公式语言自定义功能&#xff0c;而过去&#xff0c;Excel 中需要通过 JS 等语言编写自定义函数。同时&#xff0c;LAMBDA 还可以…

机器学习——文件的读取

机器学习——文件的读取(一).txt文件的读取(二)excel文件读取操作(一).txt文件的读取 txt的链接 链接&#xff1a;https://pan.baidu.com/s/1fIAUdCDTpR7TiqLHZtx1yg 提取码&#xff1a;0929 python strip() 函数和 split() 函数的详解及实例 一直以来都分不清楚strip和split…

linux select读取节点数据失败_MySQL中覆盖索引查询和select*查询执行结果案例分析...

索引优化建议在MySQL中要尽可能使用覆盖索引进行检索&#xff0c;只访问索引的查询(索引列和查询列一致)&#xff0c;减少select * 可提高查询效率覆盖索引(Covering Index)理解方式一:就是select的数据列只用从索引中就能够取得&#xff0c;不必读取数据行&#xff0c;MySQL可…

使用 Azure WAF 羞辱黑客的智商

点击上方蓝字关注“汪宇杰博客”导语还记得之前给大家介绍过的《使用 Azure Web 应用防火墙拦截黑客攻击》吗&#xff1f;今天我又带来了一个有趣的 Azure WAF 小技巧&#xff0c;可以让你爽一把。好奇的黑客今天 Azure Application Insights 上发现了一段集中时间的404错误&am…

机器学习之乳腺癌问题(SVM)

机器学习之乳腺癌问题SVM题目所需的代码及数据利用SVM建模SVM调参题目所需的代码及数据 链接&#xff1a;https://pan.baidu.com/s/1bS7Ku_PUfcimiVkmLz9Fzw 提取码&#xff1a;0929 利用SVM建模 import matplotlib.pyplot as plt import pandas as pd import numpy as npfro…

如何将日志记录到 Windows事件日志 中

每当出现一些未捕获异常时&#xff0c;操作系统都会将异常信息写入到 Windows 事件日志 中&#xff0c;可以通过 Windows 事件查看器 查看&#xff0c;如下图&#xff1a;这篇文章将会讨论如何使用编程的方式将日志记录到 Windows 事件日志 中。安装 EventLog 要想在 .NET Core…

【Java】springboot

文章目录 Spingboot1、起步依赖2、构建springboot工程jar包3、springboot配置文件4、多环境配置5、maven和boot多环境兼容问题6、配置文件分类7、springboot整合mybatis Spingboot springboot用来简化spring的初始搭建以及开发过程。 比方说&#xff0c;创建一个springmvc程序…

数据科学与python语言——Matplotlib数据可视化基础

Matplotlib数据可视化基础一.读取数据与数据处理阶段1.提取指定行中的数据2.得到>指定数值的数据3.得到指定值得数据4.整体的数据处理&#xff1a;二.画图函数1.plt.subplots()2.plt.subplots_adjust()3.设置x轴y轴的刻度和标签4.使用中文标题在作图时三.画折线图(plot)四.画…

2021年,Azure云遇到. NET5,注定开启高光时刻,微软的心,真大!

云开发诞生的市场背景云开发是一个已经存在了很多年的概念&#xff0c;但在过去未能真正成为主流。然而&#xff0c;由于云和软件即服务的宏观趋势的结合&#xff0c;以及技术的进步&#xff0c;如容器技术 Docker 和 Kubernetes&#xff0c;云开发现在有机会最终成为基于云的应…

.net5+nacos+ocelot 配置中心和服务发现实现

相关文章&#xff1a;手动造轮子——为Ocelot集成Nacos注册中心出处&#xff1a;https://www.cnblogs.com/buruainiaaaa/p/14121176.html作者&#xff1a;唐 最近一段时间 因公司业务需要&#xff0c;需要使用.net5做一套微服务的接口&#xff0c;使用nacos 做注册中心和配置中…

数据科学与python语言——Pandas统计分析基础(时间转换+聚合)

Pandas统计分析基础&#xff08;时间转换聚合&#xff09;实验要求一实验二要求全部代码实验要求一 #M表的时间戳类型转为datetime data_Mete[TIMESTAMP]pd.to_datetime(data_Mete[TIMESTAMP],format%Y%m%d%H%M%S)data_VI[Date]pd.to_datetime(data_VI[Date],format%Y/%m/%d) p…

容器的那点事

当我们的后端服务器不够用的时候&#xff0c;我们可以通过容器技术&#xff0c;可以快速的把这些服务器全部虚拟出来&#xff0c; 当然这个虚拟跟虚拟机是不一样的&#xff0c;比虚拟机的方式快多了&#xff0c;早期阿里的淘宝平台如果整个坏掉了&#xff0c;重新搭建部署起来需…

lqb——修改数组

思路 **常规思路用哈希表的思想,设置bool数组标识是否被占用过,但是发生矛盾时将会造成查找需要遍历整个数组,比如,1,2,3……100000已连续占用,此时再插入1,将会一直遍历这100000个数,极端情况下,插入100000个1,将是n平方的复杂度。 如何快速查找到插入位置,这就引…