Linux报too many open files的解决方案及 lsof、sysctl 命令介绍

Too many open files in system 问题处理

服务器异常：
一串的etc下的shell文件报
/etc/profile.d/bash_completion.sh: Too many open files in system

查看当前操作系统允许打开的文件数

# 用户级查看：
ulimit -n
# 系统级查看：
cat /proc/sys/fs/file-max

发现设置为655360，执行lsof|wc -l命令为871031，和设定的值还有很大差距，为什么还会报too many open files呢，突然想起还有一个地方设置最大文件数

使用命令

cat /proc/sys/fs/file-max
65536

这个时候大概知道为啥出现异常了

echo 655360 > /proc/sys/fs/file-max

直接增大一倍，这样可以马上生效，但是如果操作系统重启，又会失效
如果需要永久生效，修改

vim /etc/sysctl.conf
fs.file-max = 655360
sysctl -p

修改文件句柄数方法：
1、用户级修改

# 1、临时生效方式
ulimit -SHn 65535
# -H：硬限制（就是实际真正的限制阈值），-S：软限制（警告限制，它只会给出警告），
# 如果运行ulimit命令没有加-H和-S，就是两个参数一起变，soft的限制不能比hard限制高。
# 2、永久生效方式
#（1）
vim /etc/security/limits.conf
#（2）添加如下配置：
# *号代表任何用户，soft：软限制，hard：硬限制
* hard nofile 655360 #任何用户可以打开的最大句柄数(超过会报错)
* soft nofile 655360 #任何用户可以打开的最大句柄数(超过会警告)* hard nproc 655360 #任何用户可用的最大进程数量(超过会报错)
* soft nproc 655360 #任何用户可用的最大进程数量(超过会警告)
hxapp hard nofile 655360
hxapp soft nofile 655360
hxapp hard nproc 655360
hxapp soft nproc 655360
#（3）重启服务器 
reboot
#（4）查看是否生效：
ulimit -a

2、系统级修改

# 1、临时生效方式
vim /proc/sys/fs/file-max
# 2、永久生效方式
#（1）
vim /etc/sysctl.conf
#（2）
fs.file-max = 655360
#（3）
重启服务器 reboot
#（4）
查看系统级文件句柄数是否生效 sudo sysctl -p

lsof 命令介绍

lsof 是 linux 下的一个非常实用的系统级的监控、诊断工具。
它的意思是 List Open Files，很容易你就记住了它是 “ls + of”的组合，它可以用来列出被各种进程打开的文件信息，记住：linux 下 “一切皆文件”，包括但不限于 pipes, sockets, directories, devices, 等等。
因此，使用 lsof，你可以获取任何被打开文件的各种信息，只需输入 lsof 就可以生成大量的信息，因为 lsof 需要访问核心内存和各种文件，所以必须以 root 用户的身份运行它才能够充分地发挥其功能。
适应条件：lsof访问的是核心文件和各种文件，所以必须以root用户的身份运行才能充分发挥其功能。

lsof /path/to/file 找出谁在使用某个文件

只需要执行文件的绝对路径，lsof就会列出所有使用这个文件的进程，你也可以列出多个文件，lsof会列出所有使用这些文件的进程。

lsof /home/hxapp/logs/onlApp/sys/ltts_slowSql.log
COMMAND   PID  USER   FD   TYPE DEVICE SIZE/OFF    NODE NAME
java    56255 hxapp  223w   REG  253,0    40218 3418082 /home/hxapp/logs/onlApp/sys/ltts_slowSql.log

COMMAND ：进程名称
PID：进程标识符
USER：进程所有者
FD：文件描述符，应用程序通过文件描述符识别到该文件。如cwd、txt等
TYPE：文件类型，如DIR,REG
DEVICE：指定磁盘名称
SIZE：文件大小
NODE：索引节点（文件在磁盘上的标识）
NAME：打开文件的确切名称
补充：FD列中的文件描述cwd值表示应用程序的当前工作目录，这是该程序启动的目录，除非它本身对这个目录进行更改。txt类型的是程序代码，如应用程序二进制文件本身或者共享库。其次数值表示应用程序的文件描述符，这是打开文件时一个返回的一个整数。

COMMAND   PID  USER   FD   TYPE DEVICE SIZE/OFF    NODE NAME
java    22266 hxapp  cwd       DIR              253,0        4096 1046562 /home/hxapp/logs/jobSrv2/sys
java    22266 hxapp  mem       REG              253,0       96221 1308284 /home/hxapp/frw/lib/2.4.17-RELEASE/third/commons-pool-1.5.4.jar
java    22266 hxapp    0r      CHR                1,3         0t0    1028 /dev/null
java    22266 hxapp    1u      REG              253,0       37168 1046570 /home/hxapp/logs/jobSrv2/sys/ltts-app.out
java    22266 hxapp    2u      REG              253,0       37168 1046570 /home/hxapp/logs/jobSrv2/sys/ltts-app.out
java    22266 hxapp    3w      REG              253,0      592700 1050251 /home/hxapp/logs/jobSrv2/sys/gc-jobSrv2.log2023-12-04
bash    85671 hxapp    0u      CHR              136,0         0t0       3 /dev/pts/0
bash    85671 hxapp    1u      CHR              136,0         0t0       3 /dev/pts/0
bash    85671 hxapp    2u      CHR              136,0         0t0       3 /dev/pts/0
java    22266 hxapp  241u     IPv6             112696         0t0     TCP cbsuatapp1:62313->3.1.11.8:ncube-lm (ESTABLISHED)
java    22266 hxapp  242u     IPv6              83345         0t0     TCP cbsuatapp1:62317->3.1.11.8:ncube-lm (ESTABLISHED)
lsof    86283 hxapp    4r     FIFO                0,9         0t0 1914234 pipe

其中u表示该文件被打开处于读取\写入模式，而不是只读或只写模式；r 只读 ； w 只写 ；W表示该应用程序具有对整个文件的写锁（确保每次只能打开一次应用程序实例）。初始打开每个应用程序时，都具有三个文件描述符，从0到2，分别表示标准输入、输出和错误流。因此，大多数应用程序所打开的FD都是从3开始！
TYPE：REG、DIR、CHR、BLK、UNIX、FIFO、IPV

lsof -h 查看命令详解

lsof 列出所有打开的文件

不带任何参数运行lsof会列出所有进程打开的所有文件

lsof +D /usr/lib 递归查找某个目录中所有打开的文件

加上+D参数，lsof会对指定目录进行递归查找，注意这个参数要比grep版本慢：

lsof -u pkrumins 列出某个用户打开的所有文件

-u选项限定只列出所有被用户pkrumins打开的文件，你可以通过逗号指定多个用户

lsof -u gwds,esbagent

lsof -c apache 查找某个程序打开的所有文件

-c选项限定只列出以apache开头的进程打开的文件：
所以你可以不用像下面这样写：

lsof | grep foo

而使用下面这个更简短的版本：

lsof -c foo

事实上，你可以只制定进程名称的开头：

lsof -c apa

这会列出所有以apa开头的进程打开的文件
你同样可以制定多个-c参数：

lsof -c apache -c python

这会列出所有由apache和python打开的文件

lsof -u pkrumins -c apache 列出所有由某个用户或某个进程打开的文件

lsof -a -u pkrumins -c bash列出所有由一个用户与某个进程打开的文件

-a参数可以将多个选项的组合条件由或变为与，上面的命令会显示所有由pkrumins用户以及bash进程打开的文件

lsof -u ^root 列出除root用户外的所有用户打开的文件

lsof -p 1 列出所有由某个PID对应的进程打开的文件

-p选项让你可以使用进程id来过滤输出。记住你也可以用逗号来分离多个pid。

lsof -i 列出所有网络连接

lsof的-i选项可以列出所有打开了网络套接字（TCP和UDP）的进程

lsof -i tcp 列出所有TCP网络连接

也可以为-i选项加上参数，比如tcp、udp，tcp选项会强制lsof只列出打开TCP sockets的进程，同样udp让lsof只列出使用UDP socket的进程

lsof -i :25 找到使用某个端口的进程

:25和-i选项组合可以让lsof列出占用TCP或UDP的25端口的进程。
你也可以使用/etc/services中制定的端口名称来代替端口号，比如：

lsof -i :smtp

找到使用某个udp端口号的进程

lsof -i udp:53

同样的，也可以找到使用某个tcp端口的进程：

lsof -i tcp:80

lsof -a -u hacker -i 找到某个用户的所有网络连接

使用-a将-u和-i选项组合可以让lsof列出某个用户的所有网络行为

lsof -N 列出所有NFS（网络文件系统）文件

COMMAND   PID  USER   FD   TYPE DEVICE SIZE/OFF    NODE NAME
bash    71716 hxapp  cwd    DIR   0,42     4096 1576048 /aft_files/CBS/loan/ln_data/20231108 (3.1.12.154:/data2)

lsof -U 列出所有UNIX域Socket文件

lsof -g 1234 列出所有对应某个组id的进程

进程组用来来逻辑上对进程进行分组，这个例子查找所有PGID为1234的进程打开的文件。

lsof -d 2 列出所有与某个描述符关联的文件

这个命令会列出所有以描述符2打开的文件。
你也可以为描述符指定一个范围：

lsof -d 0-2

这会列出所有描述符为0，1，2的文件。
-d选项还支持其它很多特殊值，下面的命令列出所有内存映射文件：

lsof -d mem

txt则列出所有加载在内存中并正在执行的进程：

lsof -d txt

lsof -t -i 输出使用某些资源的进程pid

-t选项输出进程的PID，你可以将它和-i选项组合输出使用某个端口的进程的PID，下面的命令将会杀掉所有使用网络的进程：

kill -9 'lsof -t -i'

lsof -r 1 循环列出文件

-r选项让lsof可以循环列出文件直到被中断，参数1的意思是每秒钟重复打印一次，这个选项最好同某个范围比较小的查询组合使用，比如用来监测网络活动：

lsof -r 1 -u john -i -a

sysctl 命令介绍

# sysctl(选项)(参数)
## 获取某个变量
sysctl fs.file-max
## 设置某个变量
sysctl -w fs.file-max=655360
sysctl -w net.ipv4.ip_forward=1 #（布尔型用 1 来表示’yes’，用 0 来表示’no’）

-n：打印值时不打印关键字；
-e：忽略未知关键字错误；
-N：仅打印名称；
-w：当改变sysctl设置时使用此项；
-p：从配置文件“/etc/sysctl.conf”加载内核参数设置；
-a：打印当前所有可用的内核参数变量和值；
-A：以表格方式打印当前所有可用的内核参数变量和值。

配置sysctl
编辑此文件：/etc/sysctl.conf
执行：

sysctl -p

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/204717.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Java实现屏幕截图程序（二）

Java实现屏幕截图程序（二）

本文是继Java实现屏幕截图程序（一）之后进行加工的，主要逻辑是依靠javafx界面进行屏幕范围选择和截图图片显示，在日常工作中较为适用，下面把代码分享给大家。 以下是JavaFX实现的简单选择界面截图程序代码： 屏幕拖动监听器，截图后的界面可拖动就靠它： import javafx.e…
阅读更多...
LeetCode刷题--- 计算布尔二叉树的值

LeetCode刷题--- 计算布尔二叉树的值

个人主页：元清加油_【C】,【C语言】,【数据结构与算法】-CSDN博客 个人专栏：http://t.csdnimg.cn/ZxuNL http://t.csdnimg.cn/c9twt 前言：这个专栏主要讲述递归递归、搜索与回溯算法，所以下面题目主要也是这些算法做的 我讲述…
阅读更多...
cache教程1.LRU 缓存淘汰策略

cache教程1.LRU 缓存淘汰策略

这一节实现LRU算法，要理解明白其使用的数据结构。 FIFO/LFU/LRU 算法简介 Cache的缓存全部存储在内存中，内存是有限的，因此不可能无限制地添加数据。当占用内存超过了给定的内存大小时候，就需要从缓存中移除一条或多条数据了。我…
阅读更多...
计算机网络（二）| 物理层上 | 数据通信基础知识 调制 频率范围 信噪比

计算机网络（二）| 物理层上 | 数据通信基础知识 调制 频率范围 信噪比

文章目录 1 物理层基本概念2.数据通信基础知识2.1 数据通信基本概念2.2 信道基本概念2.2.1 基带调制（编码）方式2.2.2 带通调制方式 2.3 信道的极限速率影响因素2.3.1 **频率范围**2.3.2 **信噪比** 内容笔记来源于谢希任老师《计算机网络》 物理层重点 …
阅读更多...
Xilinx FPGA平台DDR3设计详解（三）：DDR3 介绍

Xilinx FPGA平台DDR3设计详解（三）：DDR3 介绍

本文介绍一下常用的存储芯片DDR3，包括DDR3的芯片型号识别、DDR3芯片命名、DDR3的基本结构等知识，为后续掌握FPGA DDR3的读写控制打下坚实基础。 一、DDR3芯片型​号 电路板上的镁光DDR3芯片上没有具体的型号名。 ​如果想知道具体的DDR3芯片型号&#…
阅读更多...
rename--一些例子与问题

rename--一些例子与问题

指令 A 和指令 B之间存在先写后读(RAW)的相关性 指令 B 的源寄存器 r0 来自于指令 A 产生的结果因此在进行寄存器重命名的时候，指令 B 的 r0 对应的物理寄存器应该直接来自于指令A所对应的P30,而不应该来自于从RAT读取的值。指令A,B,D之间存在先写后写(WAW)的相关性…
阅读更多...
阿里云效部署前后端

阿里云效部署前后端

静态站点到OSS 阿里云-云效，阿里云企业级一站式 DevOps，可以免费使用（会限制人数、流水线数量等，个人项目够用了）。相关文章 CI 持续集成 - 阿里云云效 OSS 是对象存储的意思，一般一个项目对应一个 Bucke…
阅读更多...
20231202年江西省“振兴杯”网络信息行业（信息安全测试员）职业技能竞赛

20231202年江西省“振兴杯”网络信息行业（信息安全测试员）职业技能竞赛

C1-xor chall.py from flag import flagdef encrypt(x, y):keyzxbresultfor i in range(len(x)):resultchr(ord(x[i])^ord(y[i])^ord(key[i%3]))return result x flag y flag[1:] flag[0]enc open(flag.enc, wb) enc.write(encrypt(x, y)) enc.close()简单的异或&#xf…
阅读更多...
一个小问题

一个小问题

用paddle的paddleOCR的时候，需要修改部分代码，但是直接Python xx.py不能运行，需要用paddle自己的命令行方式运行，感觉很麻烦啊。 另外工作上遇到像这样的小问题，应不应该去问同事呢，感觉这个问题比较简单但…
阅读更多...
使用Jython将Python代码转换为Java可执行文件

使用Jython将Python代码转换为Java可执行文件

步骤1：安装Jython 首先，我们需要安装Jython。可以使用pip命令来安装Jython： pip install jython 步骤2：编写Python代码 第二步是编写你的Python代码。在这个例子中，我们简单地打印出"Hello World!"。你可…
阅读更多...
Java API接口强势对接：构建高效稳定的系统集成方案

Java API接口强势对接：构建高效稳定的系统集成方案

文章目录 1. Java API接口简介2. Java API接口的优势2.1 高度可移植性2.2 强大的网络通信能力2.3 多样化的数据处理能力 3. 实战：Java API接口强势对接示例3.1 场景描述3.2 用户管理系统3.3 订单处理系统3.4 系统集成 4. 拓展：Java API接口在微服务架构中…
阅读更多...
LeetCode：1466. 重新规划路线（DFS C++、Java）

LeetCode：1466. 重新规划路线（DFS C++、Java）

目录 1466. 重新规划路线 题目描述： 实现代码与解析： DFS 原理思路： 1466. 重新规划路线 题目描述： n 座城市，从 0 到 n-1 编号，其间共有 n-1 条路线。因此，要想在两座不同城市之间旅行只有…
阅读更多...
智能优化算法应用：基于变色龙算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于变色龙算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于变色龙算法无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用：基于变色龙算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.变色龙算法4.实验参数设定5.算法结果6.参考文献7.…
阅读更多...
Revisiting Proposal-based Object Detection阅读笔记

Revisiting Proposal-based Object Detection阅读笔记

Revisiting Proposal-based Object Detection阅读笔记 论文地址：link Abstract For any object detector, the obtained box proposals or queries need to be classified and regressed towards ground truth boxes. 对于任何物体检测器来说，获得的…
阅读更多...
Spring 声明式事务

Spring 声明式事务

Spring 声明式事务 1.Spring 事务管理概述1.1 事务管理的重要性1.2 Spring事务管理的两种方式1.2.1 编程式事务管理1.2.2 声明式事务管理 1.3 为什么选择声明式事务管理 2. 声明式事务管理2.1 基本用法2.2 常用属性2.2.1 propagation（传播行为）2.2.2 iso…
阅读更多...
什么情况下会产生StackOverflowError（栈溢出）和OutOfMemoryError（堆溢出）怎么排查

什么情况下会产生StackOverflowError（栈溢出）和OutOfMemoryError（堆溢出）怎么排查

目录 一、概念 栈溢出（StackOverflowError） 堆溢出（OutOfMemoryError） 二、排查方法 栈溢出（StackOverflowError） 堆溢出（OutOfMemoryError） 相关的Java代码示例 栈溢出 堆溢…
阅读更多...
K8S pod无损上下线

K8S pod无损上下线

在最近的K8s服务上线过程中，我发现了一些问题，更具体的说，我在使用阿里云k8s的过程中注意到：会出现slb短时RT增加，Pod部署初期就达到了扩容上限，并且开始大量的扩容，这无疑占用了大量的k8s资源。…
阅读更多...
接口自动化测试之Yaml数据驱动封装！

接口自动化测试之Yaml数据驱动封装！

一、数据驱动：pytest.mark.parametrize(） 首先看个样本： import pytestclass TestData:# parametrize有两个值，一个是args_name:参数名，一个是args_value:参数值,可以有多个，进行数据解包# args_value可以…
阅读更多...
【广州华锐互动VRAR】VR戒毒科普宣传系统有效提高戒毒成功率

【广州华锐互动VRAR】VR戒毒科普宣传系统有效提高戒毒成功率

随着科技的不断发展，虚拟现实（VR）技术已经逐渐渗透到各个领域，为人们的生活带来了前所未有的便利。在教育科普领域，VR技术的应用也日益广泛，本文将详细介绍广州华锐互动开发的VR戒毒科普宣传系统&#xff0…
阅读更多...
serialVersionUID确保序列化版本

serialVersionUID确保序列化版本

实现Serializable接口的目的是为类可持久化，比如在网络传输或本地存储，为系统的分布和异构部署提供先决条件。若没有序列化，现在我们所熟悉的远程调用，对象数据库都不可能存在， serialVersionUID适用于java序列化机制。…
阅读更多...
最新文章

Copyright @ 2022~2023