记一次由于buff/cache导致服务器内存爆满的问题

目录

前言

复现

登录服务器查看占用内存进程排行

先了解一下什么是buff/cache?

尝试释放buffer/cache

/proc/sys/vm/drop_caches

dirty_ratio

dirty_background_ratio

dirty_writeback_centisecs

dirty_expire_centisecs

drop_caches

page-cluster

swapiness

vfs_cache_pressure


前言

我目前在使用pve作为我的虚拟化系统,我在pve中开了一个centos7作为我的mc服务器系统

我写了个定时任务使用python每天凌晨3点将磁盘中的游戏数据备份到pve宿主机中的raid5阵列中,但是我发现服务器内存总是爆满,我初步判断是执行备份脚本导致的,后面实际测试后发现确实是

复现

我先手动触发一次备份 (后台备份)

nohup python server.py &

等待数据备份完成,在pve中查看服务器内存占用

发现服务器内存已经爆满了

登录服务器查看占用内存进程排行

top -o %MEM
top - 18:09:07 up  9:45,  1 user,  load average: 0.84, 0.36, 0.19
Tasks: 241 total,   2 running, 239 sleeping,   0 stopped,   0 zombie
%Cpu(s):  4.1 us,  4.8 sy,  0.0 ni, 90.6 id,  0.5 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem : 41034536 total, 17324592 free,  7754368 used, 15955576 buff/cache
KiB Swap:  3145724 total,  3135220 free,    10504 used. 32879168 avail Mem PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                     
10536 root      20   0   43.0g   6.1g  25104 S   4.5 15.6 111:50.22 java                                                                        9140 polkitd   20   0 3191660 451248  21032 S   0.0  1.1   8:47.40 mysqld                                                                      8882 root      20   0 2379512  69380  25784 S   0.0  0.2   0:44.79 dockerd                                                                     872 root      20   0  920636  51408  18904 S   0.0  0.1   2:13.25 node                                                                        848 root      20   0  936892  47088  18456 S   0.0  0.1   1:10.98 node                                                                        8864 root      20   0 1440692  39356  14624 S   0.0  0.1   0:32.95 containerd                                                                  8802 root      20   0  715916  30604   6252 S   0.0  0.1  19:44.84 nattunnel                                                                   8734 root      20   0  723448  26208      4 S   9.1  0.1  51:22.65 frpc                                                                        8745 root      20   0  723704  24916      4 S   0.0  0.1   2:59.84 frpc                                                                        1122 root      20   0  574288  17340   6012 S   0.0  0.0   0:07.49 tuned                                                                       
10472 root      20   0 2089844  16204   1760 S   0.0  0.0   9:55.88 docker-proxy                                                                9120 root      20   0  720048  13496   4356 S   0.0  0.0   0:04.49 containerd-shim                                                             
10517 root      20   0  720304  13184   4388 S   0.0  0.0   0:04.79 containerd-shim                                                             842 polkitd   20   0  612240  11224   4764 S   0.0  0.0   0:00.39 polkitd                                                                     869 root      20   0  626196  11216   6916 S   0.0  0.0   0:03.10 NetworkManager                                                              
10450 root      20   0 1489616   8076   1392 S   0.0  0.0   0:00.08 docker-proxy                                                                8326 root      20   0  155288   7584   2368 R  72.7  0.0   1:15.53 python                                                                      1 root      20   0  194064   7224   4232 S   0.0  0.0   0:16.54 systemd                                                                     9098 root      20   0 1350604   6036   1392 S   0.0  0.0   0:00.21 docker-proxy                                                                9104 root      20   0 1489872   6036   1392 S   0.0  0.0   0:00.08 docker-proxy                                                                
10457 root      20   0 1489872   6036   1396 S   0.0  0.0   0:00.08 docker-proxy                                                                
10479 root      20   0 1424080   6028   1384 S   0.0  0.0   0:00.07 docker-proxy                                                                599 root      20   0   39056   5972   5648 S   0.0  0.0   0:01.44 systemd-journal                                                             
10494 root      20   0 1489872   5752   1152 S   0.0  0.0   0:00.07 docker-proxy                                                                621 root      20   0  127396   5632   2604 S   0.0  0.0   0:00.05 lvmetad                                                                     7435 root      20   0  154796   5496   4172 S   0.0  0.0   0:01.03 sshd                                                                        635 root      20   0   48392   4864   2880 S   0.0  0.0   0:00.55 systemd-udevd                                                               1123 root      20   0  113004   4376   3344 S   0.0  0.0   0:00.08 sshd                                                                        1615 postfix   20   0   90088   4308   3260 S   0.0  0.0   0:00.12 qmgr                                                                        3313 postfix   20   0   89912   4104   3092 S   0.0  0.0   0:00.06 pickup                                                                      
10501 root      20   0 1424080   3984   1392 S   0.0  0.0   0:00.07 docker-proxy                                                                1125 root      20   0  216400   3856   3164 S   0.0  0.0   0:04.15 rsyslogd                                                                    850 dbus      20   0   66452   2564   1880 S   0.0  0.0   0:01.13 dbus-daemon                                                                 7446 root      20   0  115680   2292   1708 S   0.0  0.0   0:00.39 bash                                                                        8436 root      20   0  162272   2272   1532 R  13.6  0.0   0:00.10 top                         

 首当其冲的就是java进程,我之前预想的是如果是使用python备份,应该是python进程占用太多内存,没想到是java,我想了想极有可能是系统的 buffer/cache 导致内存过高,因为内存爆满发生在进行读写操作之后

验证

[root@localhost home]# free -htotal        used        free      shared  buff/cache   available
Mem:            39G        7.4G        295M        8.7M         31G         31G
Swap:          3.0G         41M        3.0G

buff/cache 竟然有31G 

先了解一下什么是buff/cache?

Buffer cache则主要是设计用来在系统对块设备进行读写的时候,对块进行数据缓存的系统来使用。比如我们在格式化文件系统的时候。

一般情况下两个缓存系统是一起配合使用的,比如当我们对一个文件进行写操作的时候,page cache的内容会被改变,而buffer cache则可以用来将page标记为不同的缓冲区,并记录是哪一个缓冲区被修改了。这样,内核在后续执行脏数据的回写(writeback)时,就不用将整个page写回,而只需要写回修改的部分即可。

Linux内核会在内存将要耗尽的时候,触发内存回收的工作,以便释放出内存给急需内存的进程使用。

既然它主要用来做缓存,只是在内存够用的时候加快进程对文件的读写速度,那么在内存压力较大的情况下,当然有必要清空释放cache,作为free空间分给相关进程使用。所以一般情况下,我们认为buffer/cache空间可以被释放,这个理解是正确的。

但是这种清缓存的工作也并不是没有成本。所以伴随着cache清除的行为的,一般都是系统IO飙高。因为内核要对比cache中的数据和对应硬盘文件上的数据是否一致,如果不一致需要写回,之后才能回收。

尝试释放buffer/cache

sync 命令将所有未写的系统缓冲区写到磁盘中,包含已修改的 i-node、已延迟的块 I/O 和读写映射文件。切记释放前最好sync一下,防止丢数据。

sync && echo 1 > /proc/sys/vm/drop_caches

执行之后发现内存已经正常,基本得出是 buffer/cache 中缓存的数据过多导致的内存爆满

执行之后需要将/proc/sys/vm/drop_caches 的值改成原来的0

echo 0 > /proc/sys/vm/drop_caches

但是我执行这个之后,产生了报错

[root@localhost home]# echo 0 > /proc/sys/vm/drop_caches
-bash: echo: write error: Invalid argument

在研究这个报错之前我们先了解几个概念

/proc/sys/vm/drop_caches

清除缓存策略:
1:手动清除page cache
2:手动清除slab分配器中的对象(包括目录项和inode)
3:手动清除page cache和slab分配器中的对象

0 是系统使用的,手动调整是不行的,而释放之后  /proc/sys/vm/drop_caches 显示为1

这个虽然是显示1,但是这个只是一种状态 echo 1 > /proc/sys/vm/drop_caches 是一次手动清除的行为,不会影响系统的自动清除内存

不过每次都要手动清除内存比较麻烦,我找到一个脚本

#! /bin/bash
# 需要释放内存的,内存使用百分比,可以传参,默认是85%
max_rate=$1
if [ ! "$max_rate" ] ; thenmax_rate=85
fi
echo "max_rate: $max_rate"total=`free -m | awk 'NR==2' | awk '{print $2}'`
used=`free -m | awk 'NR==2' | awk '{print $3}'`
free=`free -m | awk 'NR==2' | awk '{print $4}'`
rate=$(($used*100/$total));
log=/usr/local/logs/mem.log
echo "===========================" >> $log
date >> $log
echo "current_rate: $rate"
echo "Memory usage | [Total:${total}MB][Use:${used}MB][Free:${free}MB]" >> $log
if [ "$rate" -ge "$max_rate" ] ; thensync && echo 1 > /proc/sys/vm/drop_cachessync && echo 2 > /proc/sys/vm/drop_cachessync && echo 3 > /proc/sys/vm/drop_cachesecho "OK" >> $log
elseecho "Not required" >> $log
fi

但是这个脚本是根据总内存来判断的,我使用之后并不能起到效果,我改成了根据 buff/cache 和总内存的百分比来判断是否要进行清理

#!/bin/bash
# 需要释放内存的,缓存占用百分比,可以传参,默认是70%
max_cache_rate=$1
if [ ! "$max_cache_rate" ] ; thenmax_cache_rate=70
fi
echo "max_cache_rate: $max_cache_rate"total_mem=$(free -m | awk 'NR==2{print $2}')
cache_mem=$(free -m | awk 'NR==2{print $6}')
cache_rate=$((cache_mem*100/total_mem))
log=/usr/local/logs/mem.log
echo "===========================" >> $log
date >> $log
echo "current_cache_rate: $cache_rate%"
echo "Memory usage | [Total:${total_mem}MB][Cache:${cache_mem}MB]" >> $log
if [ "$cache_rate" -ge "$max_cache_rate" ] ; thensync && echo 1 > /proc/sys/vm/drop_cachessync && echo 2 > /proc/sys/vm/drop_cachessync && echo 3 > /proc/sys/vm/drop_cachesecho "OK, cache memory released" >> $log
elseecho "Not required to release cache memory" >> $log
fi

每隔30分钟运行一次

*/30 * * * * /usr/bin/sh /home/mem.sh

其他的解决方法
通过这个问题对这个buff/cache 有了了解,我就思考:

linux系统应该可以配置不使用buff/cache吧?

buff/cache 的系统自动回收,是不是也是可以配置自动回收的上限呢?

等等问题。我就找到了以下内容:

修改/etc/sysctl.conf 添加如下选项后就不会内存持续增加

vm.dirty_ratio = 1
vm.dirty_background_ratio=1
vm.dirty_writeback_centisecs=2
vm.dirty_expire_centisecs=3
vm.drop_caches=3
vm.swappiness =100
vm.vfs_cache_pressure=163
vm.overcommit_memory=2
vm.lowmem_reserve_ratio=32 32 8
kern.maxvnodes=3


上面的设置比较粗暴,使cache的作用基本无法发挥。

介绍一下具体的配置项:

dirty_ratio

这个参数控制文件系统的文件系统写缓冲区的大小,单位是百分比,表示系统内存的百分比,表示当写缓冲使用到系统内存多少的时候,开始向磁盘写出数 据。增大之会使用更多系统内存用于磁盘写缓冲,也可以极大提高系统的写性能。但是,当你需要持续、恒定的写入场合时,应该降低其数值,一般启动上缺省是 10。设1加速程序速度;

dirty_background_ratio

这个参数控制文件系统的pdflush进程,在何时刷新磁盘。单位是百分比,表示系统内存的百分比,意思是当写缓冲使用到系统内存多少的时 候,pdflush开始向磁盘写出数据。增大之会使用更多系统内存用于磁盘写缓冲,也可以极大提高系统的写性能。但是,当你需要持续、恒定的写入场合时, 应该降低其数值,一般启动上缺省是 5;

dirty_writeback_centisecs

这个参数控制内核的脏数据刷新进程pdflush的运行间隔。单位是 1/100 秒。缺省数值是500,也就是 5 秒。如果你的系统是持续地写入动作,那么实际上还是降低这个数值比较好,这样可以把尖峰的写操作削平成多次写操作;

dirty_expire_centisecs

这个参数声明Linux内核写缓冲区里面的数据多“旧”了之后,pdflush进程就开始考虑写到磁盘中去。单位是 1/100秒。缺省是 30000,也就是 30 秒的数据就算旧了,将会刷新磁盘。对于特别重载的写操作来说,这个值适当缩小也是好的,但也不能缩小太多,因为缩小太多也会导致IO提高太快。建议设置为 1500,也就是15秒算旧。 

drop_caches

释放已经使用的cache;

page-cluster

该文件表示在写一次到swap区的时候写入的页面数量,0表示1页,1表示2页,2表示4页。

swapiness

该文件表示系统进行交换行为的程度,数值(0-100)越高,越可能发生磁盘交换。

vfs_cache_pressure

该文件表示内核回收用于directory和inode cache内存的倾向

vm.dirty_ratio = 5    #dft 20  %
vm.dirty_background_ratio =5 #dft 10 %
vm.dirty_writeback_centisecs=100 #dft 500 is 5s
vm.dirty_expire_centisecs=300    #dft 30000 is 30s
vm.drop_caches=3  #dft  0
vm.swappiness=100  #dft 60
vm.vfs_cache_pressure=133  #dft 100

目前我在使用的是脚本的方法,其他方法大家也可以试试 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/761647.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

设计模式(行为型设计模式——观察者模式)

设计模式(行为型设计模式——观察者模式) 观察者模式 基本定义 指多个对象间存在一对多的依赖关系,这样一来,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新。 这种模式又称作发布-订阅模式…

阿里云国际设置黑白名单(针对高防实例IP)

DDoS高防支持针对高防实例设置黑名单和白名单,以拦截或放行指定IP的访问请求,配置后对该实例所有的业务生效。本文九河云介绍如何配置黑白名单。 功能介绍 黑名单IP的访问流量将被DDoS高防实例直接丢弃。白名单IP的访问流量将被DDoS高防实例直接放行。…

ideaSSM 人才引进管理系统bootstrap开发mysql数据库web结构java编程计算机网页源码maven项目

一、源码特点 idea 开发 SSM 人才引进管理系统是一套完善的信息管理系统,结合SSM框架和bootstrap完成本系统,对理解JSP java编程开发语言有帮助系统采用SSM框架(MVC模式开发),系统具有完整的源代码和数据库&#xff…

分布式链上随机数和keyless account

1. 引言 相关论文见: Aptos团队2024年论文 Distributed Randomness using Weighted VRFs 相关代码实现见: https://github.com/aptos-labs/aptos-core(Rust) 在链中生成和集成共享随机数,以扩展应用和强化安全。该…

G - Find a way

题目分析 1.双重bfs,遍历两个起点求最短路再计算总和即可 2.唯一的坑点在于对于一个KFC&#xff0c;两人中可能有一个到不了&#xff0c;所以还要对到不了的点距离做处理 #include <bits/stdc.h> using namespace std; using ll long long; const int N 220;struct pos…

交通事故档案管理系统|基于JSP技术+ Mysql+Java+Tomcat的交通事故档案管理系统设计与实现(可运行源码+数据库+设计文档)

推荐阅读100套最新项目 最新ssmjava项目文档视频演示可运行源码分享 最新jspjava项目文档视频演示可运行源码分享 最新Spring Boot项目文档视频演示可运行源码分享 2024年56套包含java&#xff0c;ssm&#xff0c;springboot的平台设计与实现项目系统开发资源&#xff08;可…

docker 修改日志存储路径

docker 日志默认存放在 /var/lib/docker/ 下 docker info修改步骤&#xff1a; 1、停止docker服务 systemctl stop docker 2、新建配置文件 vi /etc/docker/daemon.json添加如下内容 {"data-root": "/data/docker" }3、然后把之前的数据全部复制到新目…

python 之 装饰器(Decorators)

装饰器本质上也是一个函数&#xff0c;他可以让其他函数在不需要做任何代码变动的前提下&#xff0c;增加额外的功能&#xff0c;可以接受一个函数作为参数&#xff0c;并返回一个新的函数。 1. 装饰器的定义 装饰器的基本语法是使用符号&#xff0c;后面跟着装饰器的名称。这…

leetcode 494.目标和

思路&#xff1a;可以转化为背包问题。 首先我们看到&#xff0c;题目中要求我们求出目标数的方案数。既然有正数也有负数&#xff0c;那么就一定会从数组中选一部分当负数&#xff0c;选一部分当正数。 假如我们拿z当作选取当正数的元素的和&#xff0c;sum当作全部元素之和…

十、C#基数排序算法

简介 基数排序是一种非比较性排序算法&#xff0c;它通过将待排序的数据拆分成多个数字位进行排序。 实现原理 首先找出待排序数组中的最大值&#xff0c;并确定排序的位数。 从最低位&#xff08;个位&#xff09;开始&#xff0c;按照个位数的大小进行桶排序&#xff0c;将…

06 分页

文章目录 PageInfo PageInfo package com.aistart.tech.common;import java.io.Serializable; import java.util.List;public class PageInfo<T> implements Serializable {private Integer pageNum;//当前页private Integer pageSize;//每页显示条数private Integer pa…

将OpenCV与gdb驱动的IDE结合使用

返回&#xff1a;OpenCV系列文章目录&#xff08;持续更新中......&#xff09; 上一篇&#xff1a;OpenCV4.9.0开源计算机视觉库在 Linux 中安装 下一篇&#xff1a;将OpenCV与gcc和CMake结合使用 ​ 能力 这个漂亮的打印机可以显示元素类型、、标志is_continuous和is_subm…

ClickHouse的表操作

1、背景 由于大数据平台需要对数据进行分析,因为ClickHouse是一个开源的列式数据库管理系统(DBMS)&#xff0c;专为联机分析处理(OLAP)而设计。 官方地址&#xff1a;ClickHouse 开发 | ClickHouse Docs 2、集群中的操作 在操作集群中的表的时候&#xff0c;最好是采用[dbn…

【设计模式】Java 设计模式之状态模式(State)

深入理解状态模式&#xff08;State&#xff09; 一、概述 状态模式是一种行为设计模式&#xff0c;它允许一个对象在其内部状态改变时改变它的行为。对象看起来好像修改了它的类。状态模式把所有的与一个特定的状态相关的行为放到一个类中&#xff0c;并且将请求委托给当前状…

5.79 BCC工具之tcpaccept.py解读

一,工具简介 tcpaccept工具用于追踪接受TCP套接字连接的内核函数(例如,通过accept()函数实现的被动连接;不是connect()函数)。 accept() 是一个在 UNIX-like 系统上用于套接字编程的系统调用,它在 TCP 服务器中起着关键作用。当 TCP 服务器通过 listen() 系统调用使其套…

蓝桥杯 全球变暖

Problem: 蓝桥杯 全球变暖 文章目录 思路解题方法复杂度Code 思路 这道题目可以使用深度优先搜索&#xff08;DFS&#xff09;或广度优先搜索&#xff08;BFS&#xff09;来解决。我们需要遍历整个地图&#xff0c;当遇到陆地&#xff08;‘#’&#xff09;时&#xff0c;就进行…

分块算法模板更新

基础模板&#xff08;区间修改&#xff0c;求区间和&#xff09; #include "bits/stdc.h" using namespace std; #define int long long const int N 100010;int sum[N],add[N],a[N],b[N]; int l[N],r[N];void change(int l1,int r1,int k) {int pb[l1],qb[r1];if(…

【Java常用API】简单爬虫练习题

&#x1f36c; 博主介绍&#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;我是 hacker-routing &#xff0c;很高兴认识大家~ ✨主攻领域&#xff1a;【渗透领域】【应急响应】 【Java】 【VulnHub靶场复现】【面试分析】 &#x1f389;点赞➕评论➕收藏 …

0基础学习VR全景平台篇第146篇:为什么需要3D元宇宙编辑器?

一.什么是3D元宇宙编辑器&#xff1f; 3D元宇宙编辑器是全新3DVR交互渲染创作工具&#xff0c;集3D建模、虚拟展厅、AI数字人等能力&#xff0c;渲染和虚拟现实技术于一身的生产力工具。 具有跨平台和随时随地编辑等特点&#xff0c;可广泛应用于展会、展厅、博物馆、可视化园…

uniapp_微信小程序客服

一、调用api 二、代码 <button open-type"contact">客服</button> 三、小程序后台添加客服人员就行