空间不足导致Oracle集群内存使用率暴增

一、现象

 操作系统内存使用率告警,已达到98%,,告警内容如下:

【全景监控:Oracle主机内存使用监控】

【主机名】:XXXXX11

【主机IP】主机IP:*.126.15

【告警内容】当前内存使用率为98.9%,超警戒值90%

请及时处理

二、分析

1、查看操作系统内存使用情况

free -g

top

M

2、查看sga和pga分配的内存分别是:140g和40g。

3、集群日志发现如下报错

2022-03-20 20:22:19.247: 
[ohasd(30064)]CRS-10000:CLSU-00100: Operating System function: mkdir failed with error data: 28
CLSU-00101: Operating System error message: No space left on device
CLSU-00103: error location: authprep6
CLSU-00104: additional error information: failed to make dir /u01/app/11.2.0/grid/auth/ohasd/gw11/A10760792022-03-20 20:22:19.248: 
[ohasd(30064)]CRS-10000:CLSU-00100: Operating System function: mkdir failed with error data: 28
CLSU-00101: Operating System error message: No space left on device
CLSU-00103: error location: authprep6
CLSU-00104: additional error information: failed to make dir /u01/app/11.2.0/grid/auth/ohasd/gw11/A0906893

4、查看内存排行榜,top M ohas.d占用率最高

5、根据alert的报错日志查看空间使用率77%

[grid@gw11 crsd]$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_user01-LogVol0450G  4.5G   43G  10% /
tmpfs                 126G  736M  126G   1% /dev/shm
/dev/sda1             190M   42M  139M  24% /boot
/dev/mapper/vg_user01-LogVol0120G   45M   19G   1% /tmp
/dev/mapper/vg_user01-LogVol02148G  108G   33G  77% /u01
/dev/mapper/vg_user01-LogVol009.8G  636M  8.6G   7% /var
/dev/mapper/vg_user01-ogg_vg493G  8.8G  459G   2% /ogg
/dev/sds              2.0T   76G  1.8T   4% /nfs

6、当前空间看并没有不足,进一步查看删除未释放的空间,发现异常,存在大量删除未释放的文件,至此问题原因已明确,由于在删除文件的时候,进程占用,导致空间未能释放,从而引起空间不足。

[root@gw11 oraagent_grid]# lsof |grep delete
oracle     47876    oracle    3u      REG              253,5       7607   21495944 /ogg/dirrpt/R_P_JF9.rpt (deleted)
oracle     47876    oracle    5w      REG              253,5   10490641        114 /ogg/ggserr.log.9 (deleted)
oracle     47876    oracle    8w      REG              253,5       5876   21495906 /ogg/dirrpt/r_p_jf9.dsc (deleted)
server    246950    oracle    2w      REG              253,5   10490505        119 /ogg/ggserr.log.9 (deleted)
server    246951    oracle    2w      REG              253,5   10490505        119 /ogg/ggserr.log.9 (deleted)
server    246952    oracle    2w      REG              253,5   10490505        119 /ogg/ggserr.log.9 (deleted)
server    246953    oracle    2w      REG              253,5   10490505        119 /ogg/ggserr.log.9 (deleted)
oracle    257774    oracle    3u      REG              253,5       7310   21496010 /ogg/dirrpt/REP_FLO39.rpt (deleted)
oracle    257774    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257774    oracle    8w      REG              253,5       4855   21495982 /ogg/dirrpt/rep_flo39.dsc (deleted)
oracle    257775    oracle    3u      REG              253,5       7308   21496000 /ogg/dirrpt/REP_FLO29.rpt (deleted)
oracle    257775    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257775    oracle    8w      REG              253,5       4856   21495932 /ogg/dirrpt/rep_flo29.dsc (deleted)
oracle    257776    oracle    3u      REG              253,5       7310   21496013 /ogg/dirrpt/REP_FLO59.rpt (deleted)
oracle    257776    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257776    oracle    8w      REG              253,5       5003   21495861 /ogg/dirrpt/rep_flo59.dsc (deleted)
oracle    257777    oracle    3u      REG              253,5       7491   21496015 /ogg/dirrpt/REP_ORD19.rpt (deleted)
oracle    257777    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257777    oracle    8w      REG              253,5       5662   21496050 /ogg/dirrpt/REP_ORD19.dsc (deleted)
oracle    257778    oracle    3u      REG              253,5       6482   21495827 /ogg/dirrpt/REP_FLO19.rpt (deleted)
oracle    257778    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257778    oracle    8w      REG              253,5       5169   21495994 /ogg/dirrpt/rep_flo19.dsc (deleted)
oracle    257779    oracle    3u      REG              253,5       7474   21496020 /ogg/dirrpt/REP_ORD29.rpt (deleted)
oracle    257779    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257779    oracle    8w      REG              253,5       5522   21495877 /ogg/dirrpt/REP_ORD29.dsc (deleted)
oracle    257780    oracle    3u      REG              253,5       7474   21496028 /ogg/dirrpt/REP_ORD59.rpt (deleted)
oracle    257780    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257780    oracle    8w      REG              253,5       5498   21496153 /ogg/dirrpt/REP_ORD59.dsc (deleted)
oracle    257781    oracle    3u      REG              253,5       6481   21496014 /ogg/dirrpt/REP_FLOW9.rpt (deleted)
oracle    257781    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257781    oracle    8w      REG              253,5       4840   21495993 /ogg/dirrpt/rep_flow9.dsc (deleted)
oracle    257782    oracle    3u      REG              253,5       7310   21496012 /ogg/dirrpt/REP_FLO49.rpt (deleted)
oracle    257782    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257782    oracle    8w      REG              253,5       5099   21495977 /ogg/dirrpt/rep_flo49.dsc (deleted)
oracle    257783    oracle    3u      REG              253,5       7475   21496046 /ogg/dirrpt/REP_ORDE9.rpt (deleted)
oracle    257783    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257783    oracle    8w      REG              253,5       5662   21496148 /ogg/dirrpt/rep_orde9.dsc (deleted)
oracle    257785    oracle    3u      REG              253,5       7474   21496023 /ogg/dirrpt/REP_ORD39.rpt (deleted)
oracle    257785    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257785    oracle    8w      REG              253,5       5661   21496212 /ogg/dirrpt/REP_ORD39.dsc (deleted)
oracle    257786    oracle    3u      REG              253,5       7474   21496025 /ogg/dirrpt/REP_ORD49.rpt (deleted)
oracle    257786    oracle    5w      REG              253,5   10490644        120 /ogg/ggserr.log.9 (deleted)
oracle    257786    oracle    8w      REG              253,5       5498   21496152 /ogg/dirrpt/REP_ORD49.dsc (deleted)
oracle    268915    oracle    3u      REG              253,5       7755   21496082 /ogg/dirrpt/REP_ICR49.rpt (deleted)
oracle    268915    oracle    5w      REG              253,5   10490643        123 /ogg/ggserr.log.9 (deleted)
oracle    268915    oracle    8w      REG              253,5        330   21495988 /ogg/dirrpt/REP_ICR49.dsc (deleted)
oracle    268916    oracle    3u      REG              253,5       7801   21496080 /ogg/dirrpt/REP_ICR29.rpt (deleted)
oracle    268916    oracle    5w      REG              253,5   10490643        123 /ogg/ggserr.log.9 (deleted)
oracle    268916    oracle    8w      REG              253,5        330   21495986 /ogg/dirrpt/REP_ICR29.dsc (deleted)
oracle    268917    oracle    3u      REG              253,5       7755   21496079 /ogg/dirrpt/REP_ICR19.rpt (deleted)
oracle    268917    oracle    5w      REG              253,5   10490643        123 /ogg/ggserr.log.9 (deleted)
oracle    268917    oracle    8w      REG              253,5        330   21495987 /ogg/dirrpt/REP_ICR19.dsc (deleted)
oracle    268918    oracle    3u      REG              253,5       7755   21496083 /ogg/dirrpt/REP_ICR39.rpt (deleted)
oracle    268918    oracle    5w      REG              253,5   10490643        123 /ogg/ggserr.log.9 (deleted)
oracle    268918    oracle    8w      REG              253,5        330   21495985 /ogg/dirrpt/REP_ICR39.dsc (deleted)
gpnpd.bin 370856      grid   36uw     REG              253,3          0     524808 /var/tmp/.oracle/ora_gipc_GPNPD_bywsgw11_lock (deleted)
gipcd.bin 370870      grid   34uw     REG              253,3          0     524816 /var/tmp/.oracle/ora_gipc_gipcd_bywsgw11_lock (deleted)
osysmond. 370883      root   58uw     REG              253,3          0     524818 /var/tmp/.oracle/ora_gipc_sbywsgw11gridbyicdb-clusterCRFM_CLIIPC_lock (deleted)
osysmond. 370883      root   60uw     REG              253,3          0     524820 /var/tmp/.oracle/ora_gipc_sbywsgw11gridbyicdb-clusterCRFM_SIPC_lock (deleted)
ocssd.bin 370964      grid   35uw     REG              253,3          0     524814 /var/tmp/.oracle/sOCSSD_LL_bywsgw11__lock (deleted)
ocssd.bin 370964      grid   94uw     REG              253,3          0     524844 /var/tmp/.oracle/sOracle_CSS_LclLstnr_byicdb-cluster_1_lock (deleted)
ocssd.bin 370964      grid  100uw     REG              253,3          0     524845 /var/tmp/.oracle/sOCSSD_LL_bywsgw11_byicdb-cluster_lock (deleted)
oracle    372244      grid   16w      REG              253,4        832    5657402 /u01/app/grid/diag/asm/+asm/+ASM1/trace/+ASM1_ping_372244.trc (deleted)
oracle    372244      grid   17w      REG              253,4         62    5657404 /u01/app/grid/diag/asm/+asm/+ASM1/trace/+ASM1_ping_372244.trm (deleted)
oracle    372246      grid   15w      REG              253,4     106031    5657393 /u01/app/grid/diag/asm/+asm/+ASM1/trace/+ASM1_dia0_372246_base_1.trc (deleted)
oracle    372246      grid   16w      REG              253,4      13846    5657394 /u01/app/grid/diag/asm/+asm/+ASM1/trace/+ASM1_dia0_372246_base_1.trm (deleted)
crsd.bin  373237      root   61uw     REG              253,3          0     524846 /var/tmp/.oracle/sprocr_local_conn_0_PROC_lock (deleted)
crsd.bin  373237      root  122uw     REG              253,3          0     524847 /var/tmp/.oracle/sCRSD_IPC_SOCKET_11_lock (deleted)
oracle    373253      grid   11u      REG              253,4        756    5657420 /u01/app/11.2.0/grid/rdbms/audit/+ASM1_ora_373253_20200815180326047345143795.aud (deleted)
oracle    373257      grid   13u      REG              253,4        756    5657421 /u01/app/11.2.0/grid/rdbms/audit/+ASM1_ora_373257_20200815180326173317143795.aud (deleted)
oracle    374115    oracle   16w      REG              253,4        886    5511353 /u01/app/oracle/diag/rdbms/byicdb/byicdb1/trace/byicdb1_ping_374115.trc (deleted)
oracle    374115    oracle   17w      REG              253,4         64    5511356 /u01/app/oracle/diag/rdbms/byicdb/byicdb1/trace/byicdb1_ping_374115.trm (deleted)
oracle    374185    oracle   18w      REG              253,4        877    5511337 /u01/app/oracle/diag/rdbms/byicdb/byicdb1/trace/byicdb1_asmb_374185.trc (deleted)
oracle    374185    oracle   19w      REG              253,4         64    5511338 /u01/app/oracle/diag/rdbms/byicdb/byicdb1/trace/byicdb1_asmb_374185.trm (deleted)
oracle    374197      grid   13u      REG              253,4        758    5657431 /u01/app/11.2.0/grid/rdbms/audit/+ASM1_ora_374197_20200815180410057079143795.aud (deleted)
oracle    399268    oracle    3u      REG              253,5       7241   21495844 /ogg/dirrpt/REP_REQE9.rpt (deleted)
oracle    399268    oracle    5w      REG              253,5   10490459        124 /ogg/ggserr.log.9 (deleted)
oracle    399268    oracle    8w      REG              253,5        740   21495867 /ogg/dirrpt/rep_reqe9.dsc (deleted)

三、解决

1、清理一些必要的无用日志释放空间。

2、重启集群,释放被占用的内存。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/65523.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

spark汇总

目录 描述运行模式1. Windows模式代码示例 2. Local模式3. Standalone模式 RDD描述特性RDD创建代码示例(并行化创建)代码示例(读取外部数据)代码示例(读取目录下的所有文件) 算子DAGSparkSQLSparkStreaming…

矩母函数(MGF)

矩母函数(MGF)简介 矩母函数(Moment Generating Function,MGF)是概率统计中描述随机变量分布特征的重要工具。MGF的主要用途是通过导数来计算随机变量的矩(比如均值、方差等),同时它…

React中的合成事件

合成事件与原生事件 区别: 1. 命名不一样,原生用纯小写方式,react用小驼峰的方式 原生:onclick React的:onClick 2. 事件处理函数的写法不一样 原生的是传入一个字符串,react写法传入一个回调函数 3.…

ajax与json

目录 1、ajax1.1、什么是ajax1.2、ajax核心AJAX 工作原理示例代码重要属性和方法兼容性 1.3、jQuery ajax什么是jQuery ajaxjQuery AJAX 核心概念基本用法1. **使用 $.ajax() 方法**2. **使用简化方法****使用 $.get() 方法****使用 $.post() 方法** 常用配置选项示例&#xff…

CSS——26. 伪元素2(“::before ,::after”)

::before伪类 <!DOCTYPE html> <html><head><meta charset"UTF-8"><title>伪元素</title><style type"text/css">div::before{content: "我最棒";}}</style></head><body><!--…

Openssl1.1.1s rpm包构建与升级

rpmbuild入门知识 openssh/ssl二进制升级 文章目录 前言一、资源准备1.下载openssh、openssl二进制包2.安装rpmbuild工具3.拷贝源码包到SOURCES目录下4.系统开启telnet&#xff0c;防止意外导致shh无法连接5.编译工具安装6.补充说明 二、制作 OpenSSL RPM 包1.编写 SPEC 文件2.…

patchwork++地面分割学习笔记

参考资料&#xff1a;古月居 - ROS机器人知识分享社区 https://zhuanlan.zhihu.com/p/644297447 patchwork算法一共包含四部分内容&#xff1a;提出了以下四个部分&#xff1a;RNR、RVPF、A-GLE 和 TGR。 1&#xff09;基于 3D LiDAR 反射模型的反射噪声消除 (RNR)&#xff…

基于Spring Boot的海滨体育馆管理系统的设计与实现

风定落花生&#xff0c;歌声逐流水&#xff0c;大家好我是风歌&#xff0c;混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的海滨体育馆管理系统的设计与实现。项目源码以及部署相关请联系风歌&#xff0c;文末附上联系信息 。 项目简介&#xff1a; 宠物医院…

通过Android Studio修改第三方jar包并重新生成jar包

最近接手了来自公司其他同事的一个Unity项目,里面有一个封装的jar包要改动一下,无奈关于这个jar包的原工程文件丢失了,于是自己动手来修改下jar包,并做下记录。 一、导入第三方jar包 1、新建项目EditJarDemo(项目名随便取) 2、新建libs文件夹,把你要修改的third.jar 复制…

浅尝Selenium自动化框架

浅尝Selenium自动化框架 Selenium基本介绍Selenium原理Selenium学习要点写个Selenium Demo结束 Selenium基本介绍 Selenium 是一个开源的自动化测试工具&#xff0c;只用于测试 Web 应用程序。它支持多种编程语言&#xff08;如 Java、Python、C# 等&#xff09;来编写测试脚本…

计算机网络之---物理层设备

什么是物理层设备 物理层设备是指负责数据在物理媒介上传输的硬件设备&#xff0c;它们主要处理数据的转换、信号的传输与接收&#xff0c;而不涉及数据的内容或意义。常见的物理层设备包括网卡、集线器、光纤收发器、调制解调器等。 物理层设备有哪些 1、网卡&#xff08;N…

SQL中的数据库对象

视图&#xff1a;VIEW 概念 ① 虚拟表&#xff0c;本身不存储数据&#xff0c;可以看做是存储起来的SELECT语句 ② 视图中SELECT语句中涉及到的表&#xff0c;称为基表 ③ 针对视图做DML操作&#xff0c;对影响到基表中的数据&#xff0c;反之亦然 ④ 创建、删除视图本身&#…

flink的EventTime和Watermark

时间机制 Flink中的时间机制主要用在判断是否触发时间窗口window的计算。 在Flink中有三种时间概念&#xff1a;ProcessTime、IngestionTime、EventTime。 ProcessTime&#xff1a;是在数据抵达算子产生的时间&#xff08;Flink默认使用ProcessTime&#xff09; IngestionT…

web服务器架构,websocket

1. 非前后端分离架构 1. 前端html后端servlet 被tomcat服务器打包&#xff0c;统一指定根目录入口。通过原生表单发送到后端&#xff0c;后端根据请求数据进行重定向或请求转发&#xff0c;这样就不能进行动态渲染&#xff0c;也就必须存在很多静态html对应每一个请求。 这里…

Ubuntu 下测试 NVME SSD 的读写速度

在 Ubuntu 系统下&#xff0c;测试 NVME SSD 的读写速度&#xff0c;有好多种方法&#xff0c;常用的有如下几种&#xff1a; 1. Gnome-disks Gnome-disks&#xff08;也称为“Disks”&#xff09;是 GNOME 桌面环境中的磁盘管理工具&#xff0c;有图形界面&#xff0c;是测试…

SpringBoot之核心配置

学习目标&#xff1a; 1.熟悉Spring Boot全局配置文件的使用 2.掌握Spring Boot配置文件属性值注入 3.熟悉Spring Boot自定义配置 4.掌握Profile多环境配置 5.了解随机值设置以及参数间引用 1.全局配置文件 Spring Boot使用 application.properties 或者application.yaml 的文…

后端服务集成ElasticSearch搜索功能技术方案

文章目录 一、为什么选用ElasticSearch二、ElasticSearch基本概念1、文档和字段2、索引和映射3、倒排索引、文档和词条4、分词器 三、ElasticSearch工作原理1、Term Dictionary、Term index2、Stored Fields3、Docs Values4、Segment5、Lucene6、高性能、高扩展性、高可用①高性…

举例说明AI模型怎么聚类,最后神经网络怎么保存

举例说明怎么聚类,最后神经网络怎么保存 目录 举例说明怎么聚类,最后神经网络怎么保存K - Means聚类算法实现神经元特征聚类划分成不同专家的原理和过程 特征提取: 首先,需要从神经元中提取有代表性的特征。例如,对于一个多层感知机(MLP)中的神经元,其权重向量可以作为特…

ocrmypdf使用时的cannot import name ‘PdfMatrix‘ from ‘pikepdf‘问题

最近在做pdf的ocr,之前使用过ocrmypdf&#xff0c;打算再次使用&#xff0c;发现它更新了&#xff0c;所以就打算使用最新版 环境&#xff1a;win11anaconda 创建虚拟环境后安装语句&#xff1a; pip install ocrmypdf -i https://pypi.tuna.tsinghua.edu.cn/simple pip in…

【JavaEE进阶】获取Cookie/Session

&#x1f340;Cookie简介 HTTP协议自身是属于 "⽆状态"协议. "⽆状态"的含义指的是: 默认情况下 HTTP 协议的客⼾端和服务器之间的这次通信,和下次通信之间没有直接的联系.但是实际开发中,我们很多时候是需要知道请求之间的关联关系的. 例如登陆⽹站成…