问题说明:
rac数据库节点一表面上看由于归档等待事件导致业务性能问题。
问题分析过程:
查看awr报告top事件,等待事件主要为归档切换问题:
查看事件,归档等待达到20多分钟
检查节点alert日志发现,最早12点53分49秒就有归档失败报错,如下:
到13:19:39的时候,发生了所有online logs需要归档,导致数据库等待归档事件,如下:
查看最早发生归档异常时间段的trace日志,如下图:
在告警中,报asynch I/O内核限制,主要是由于异步IO请求达到AIO-MAX-NR的上限。
查看当前内核参数配置,cat /etc/sysctl.conf,如下图:
结论及解决:
结论分析
异步IO请求达到AIO-MAX-NR的上限,导致后续文件句柄不能生成,不能打开新的文件,所以导致归档不能打开写入到本地。
解决方案
- 优化内核参数,建议调整如下参数:
调整fs.aio-max-nr为当前1.5倍,并同时调整file-max、fs.aio-nr为当前1.5倍,fs.aio-nr没有设置,可以通过“sysctl -a|grep aio”命令查看当前的fs.aio-nr配置,具体设置值参考如下:
fs.aio-max-nr = 4718592
fs.file-max = 10223616
使用“sysctl -p”使参数生效。
aio-max-nr :允许的并发请求的最大个数,一是来自网络的I/O;二是对文件(设备)的I/O。
对于服务器程序,I/O是制约系统性能最关键的因素。对于需要处理大量连接的高并发服务器程序,异步I/O几乎是不二的选择。