IT运维:使用数据分析平台监控DELL服务器

概述

在企业日常运维中,我们有着大量的服务器设备,设备故障一般可以通过常用的监控软件实现自动告警,但如果在管理运维中我们要做的不仅仅是发现故障,处理硬件故障,我们还需要进一步的了解,今年一共出现了多少次硬件故障,其中内存故障多少次,硬盘故障多少次,主板、CPU故障多少次,到底哪台服务器故障最多?这些事件可以给我们是否更换设备,减少故障提供依据。

我们选用鸿鹄对服务器的日志进行收集,它可以快速搜索,也能够定制图表,完美的解决掉这些痛点。

监控目标

收集基础架构中服务器设备的日志

监控服务器设备的登录安全

监控服务器设备的配置安全

统计服务器设备的故障情况

安装vector

Vector作为数据采集器,可以接收设备的syslog日志,并转发鸿鹄平台。Vector配置方法参考下文:

安装Vector

图片

查看安装后vector版本,确认安装成功

vector安装好后,直接执行vector 时,系统首先会去/usr/bin下寻找命令,如果不在这个目录中,就会找不到了。这个时候我们就需要为这些找不到的命令建立一个链接文件,链接到/usr/bin下  

图片

(具体代码请加入鸿鹄技术交流群,详见鸿鹄知识库)

登录鸿鹄平台,数据管理>新建数据集

图片

图片

编辑数据源名称,选择数据集范围为上面创建的“switch”,此时会启用

图片

创建syslog.toml脚本,需要调整字段

address = "0.0.0.0:514":0.0.0.0表示接收所有主机发送过来的syslog,514表示接收的端口(syslog默认为514)

._target_table = "switch" : 表示上文你创建的数据集名称

mode = "udp":表示接收syslog的协议syslog默认为udp)

address = "172.20.6.111:9092":鸿鹄的IP和相应的端口

图片

运行修改的syslog脚本,注意保持运行状态。

图片

(具体代码请加入鸿鹄技术交流群,详见鸿鹄知识库)

登录交换机触发syslog(注:登录交换机输入命令都会自动触发syslog)。登录鸿鹄平台查看数据是否导入到switch数据集。如下图事件计数已经显示数据导入成功

图片

查询下通过vector导入到switch数据集的数据

图片

图片

配置服务器syslog

配置系统日志服务器,填写日志系统的IP,端口号默认

图片

开启警报

图片

设置发送到日志平台的警报类型

图片

鸿鹄查看是否收到日志

图片

字段抽取

抽取字段的目的:比如在生成图表时,我要调用severity,发现鸿鹄并没有提取这个字段,那么我就没法调用这个字段生成图表。

IDRAC由于有自己特定的日志格式,鸿鹄并不会抽取所有字段,因此要针对IDRAC日志格式进行数据抽取。字段抽取的逻辑是,先通过sql语句创建视图,视图生成后我们就可以直接调用视图里的字段,它实际日志仍旧存放在原数据集。

我们先分析下IDRAC的日志格式。我们实际的日志格式分析,需要抽取的字段

图片

idrac_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

where contains( switch._message, 'iDRAC') 'iDRAC'指的是你要搜索到这个写日志特定的字段,通过IDRAC可以限定日志里所有包含IDRAC的日志

图片

正则表达式如何写以及测试

访问https://regex101.com/,在REGULAR EXPRESSION里填写正则表达式,或直接在这里写

在TESTING STRING里输入日志,可以直接从鸿鹄上拷贝相关的日志

正则表达式如果是正确的,会生成对应的颜色,以及右下角会Match  information里会显示抽取的字段名和字段内容

图片

在高阶查询中运行,成功

图片

我们运行下搜索语句测试下,同时在红色部分可以看到我们抽取出来的字段

图片

图表展示

在图表创建部分,我这边每个类型的图表只会举一个例子,但会把所有的搜索语言列出来,供大家参考。

仪表板>新建仪表板

图片

创建完成

图片

日志告警等级统计

新建图表>日志告警等级统计

选择图表类型:饼图

查询语句:这个语句可以先在查询里验证,确认查找的结果是想要的

时间范围:选择30天,可以根据自己的情况调整

图片

图片

生成图表后,可以查看到近30天内,各种类型的告警情况。

目的:比如没有error,没有告警,我们就可以很轻易的判断设备运行良好。也可以很容易的判断目前各个类型告警占比。

图片

服务器数量

新建图表>服务器数量

选择图表类型:单值趋势图

查询语句:这个语句可以先在查询里验证,确认查找的结果是想要的

时间范围:选择30天,可以根据自己的情况调整

图片

图片

生成图表后,可以统计所有有日志的发送到鸿鹄的服务器数量。

目的:用于确认当前监控的服务器总计数量,便于检查错漏,主要为了图表布局的好看。

图片

配置变更明细

新建图标>配置更变明细

选择图表类型:表格(由于我这里需要展示明细,所以选择表格的方式)

查询语句:这个语句可以先在查询里验证,确认查找的结果是想要的

时间范围:选择30天,可以根据自己的情况调整

图片

图片

生成图表后,可以查看到具体哪个时间,哪个用户,哪个设备,做了哪些操作

目的:比如在非维护时间段或者非工作时间段,变更设备配置,通过查询看看哪些人在这个时间段登录设备,进行了哪些配置,从而判断这些行为是否正常,是否合规。

图片

配置变更图表

新建图标>配置更变图表

选择图表类型:柱状图

查询语句:这个语句可以先在查询里验证,确认查找的结果是想要的

时间范围:选择30天,可以根据自己的情况调整

图片

图片

生成图表后,可以查看到最近一个月哪些服务器变更了多少次配置

目的:比如最近并没有故障或维护,服务器配置出现变更就是异常事件,通过配置更变明细可以判断这些行为是否正常,是否合规。

图片

配置变更趋势图表

新建图标>配置变更趋势图表

选择图表类型:线状图

查询语句:这个语句可以先在查询里验证,确认查找的结果是想要的

时间范围:选择30天,可以根据自己的情况调整

图片

图片

生成图表后,可以查看到最近一个月服务器变更了的趋势是怎么样的

目的:比如最近并没有故障或维护,服务器配置出现变更就是异常事件,通过配置更变明细可以判断这些行为是否正常,是否合规。

图片

搜索语句

以下列出所有本文中的搜索语句,供参考

小提示:搜索语句命令部分会调用抽取的字符段,如果未抽取字符段,会出现报错

图片

效果图

图表创建完成后,我们选择“网格布局”对图表布局进行优化调整,最终效果图如下

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/53097.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

nodejs+vue+elementui农业产品信息网上商城管理系统_9927h

语言 node.js 框架:Express 前端:Vue.js 数据库:mysql 数据库工具:Navicat 开发软件:VScode 前端nodejsvueelementui,系统使用权限分别包括管理员、种植户和用户,其中管理员拥有着最大的权限,同时管理员的…

MySQL数据库 索引、事务、储存引擎

索引 索引的概念 索引是一个排序的列表,在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址(类似于C语言的链表通过指针指向数据记录的内存地址)。 使用索引后可以不用扫描全表来定位某行的数据,而是先通过索引表找…

【智算中心】GPU是如何改变世界的

现在有市场消息表示,NVIDIA正计划减少A800 GPU的产量,以促进其更高端的H800 GPU 的销售。很显然NVIDIA是希望从H800 GPU上获得更多销售量,从中国市场获得更多利益。而且最近一段时间有传闻美国要彻底封杀AI芯片的出口,让国内甚至连…

【java】LinkedList 和 ArrayList的简介与对比

Java LinkedList和 ArrayList 在使用上,几乎是一样的。由于LinkedList是基于双向链表的,会多出list.getFirst();获取头部元素等方法 链表(Linked list)是一种常见的基础数据结构,是一种线性表,但是并不会按…

掌握指针和数组:经典笔试题攻略(万字详解)

🍁博客主页:江池俊的博客 💫收录专栏:C语言刷题专栏 💡代码仓库:江池俊的代码仓库 🎪我的社区:GeekHub 🎉欢迎大家点赞👍评论📝收藏⭐ 文章目录 前…

电脑显示“Operating System not found”该怎么办?

“Operating System not found”是一种常见的电脑错误提示,这类错误会导致你无法成功启动Windows。那么电脑显示“Operating System not found”该怎么办呢? 方法1. 检查硬盘 首先,您可以测试硬盘是否存在问题。为此,您可以采取以…

基于JSP+Servlet+Mysql停车场管理系统(含实训报告)

TOC 一、系统介绍 项目类型:Java web项目 项目名称:基于JSPServlet的停车场管理系统 项目架构:B/S架构 开发语言:Java语言 前端技术:HTML、CSS、JS、JQuery等技术 后端技术:JSP、Servlet、JDBC等技术…

Python案例|Matplotlib库实现的数据分析

数据展示是数据分析和挖掘中的重要环节,通过图形的形式可以直观、清晰地呈现数据内在的规律。 本文所用数据采用上一篇案例实现后的数据表,数据存储在newbj_lianJia.csv文件中,具体代码如下。 import pandas as pd #导入库 import matplot…

自定义拖拽功能,上下拖拽改变盒子高度

核心在于监听鼠标的move来改变div的高度&#xff0c;抽成了组件 <template><div ref"container" class"drag"><z-tooltip v-if"isShowIcon" effect"dark" content"格式化" placement"top-start"&…

视频分割合并工具说明

使用说明书&#xff1a;视频分割合并工具 欢迎使用视频生成工具&#xff01;本工具旨在帮助您将视频文件按照指定的规则分割并合并&#xff0c;以生成您所需的视频。 本程序还自带提高分辨率1920:1080&#xff0c;以及增加10db声音的功能 软件下载地址 https://github.com/c…

树模型与集成学习:LightGBM

目录 树模型与集成学习 LightGBM 的贡献 LightGBM 的贡献&#xff1a;单边梯度抽样算法 LightGBM 的贡献&#xff1a;直方图算法 LightGBM 的贡献&#xff1a;互斥特征捆绑算法 LightGBM 的贡献&#xff1a;深度限制的 Leaf-wise 算法 树模型与集成学习 树模型是非常好的…

Windows系统下,将文件夹中文件名字全部复制提取出来

一、使用命令提示符&#xff08;Command Prompt&#xff09;&#xff1a; 1、打开文件夹&#xff0c;确保你所需的文件都在该文件夹中。 2、在文件夹的路径栏中&#xff0c;输入 “cmd” 并按下 Enter 键&#xff0c;以打开命令提示符并将其当前路径设置为所选文件夹的路径。 …

Java——一个简单的使用JPanel和JButton来设计窗口界面

这段代码是一个简单的使用JPanel和JButton来设计窗口界面的例子。 在designFrame方法中&#xff0c;创建了一个JFrame对象作为窗口&#xff0c;然后创建了两个JPanel对象作为面板&#xff0c;分别用于放置按钮。 创建了两个JButton对象作为按钮&#xff0c;并设置按钮的文本内容…

AI 时代,程序员无需焦虑 | 《服务端开发:技术、方法与实用解决方案》(文末送书福利4.0)

文章目录 &#x1f4cb;前言&#x1f3af;程序员会被 AI 取代么&#xff1f;&#x1f3af;服务端开发尚难被 AI 取代&#x1f3af; 服务端开发何去何从&#xff1f;&#x1f3af;业界首部体系化、全景式解读服务端开发的著作&#x1f4ac;读者对象&#x1f4da;本书优势&#x…

k-近邻算法概述,k-means与k-NN的区别对比

目录 k-近邻算法概述 k-近邻算法细节 k值的选取 分类器的决策 k-means与k-NN的区别对比 k-近邻算法概述 k近邻&#xff08;k-nearest neighbor, k-NN&#xff09;算法由 Cover 和 Hart 于1968年提出&#xff0c;是一种简单的分类方法。通俗来说&#xff0c;就是给定一个…

3D角色展示

先看效果&#xff1a; 再看代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>3D卡片悬停</title><style>font-face {font-family: "Exoct";src: url("htt…

centos7设置java后端项目开机自启【脚本、开机自启】

1.切换目录 cd /etc/init.d/2.编辑脚本 vim wbs-service-start.sh编辑内容 #!/bin/bash # chkconfig: 2345 80 90 # description: auto_runnohup java -jar /usr/java/wbs-service.jar > /dev/null 2>&1 & echo $! > /var/run/wbs-service.pid3.添加进入系…

Hugo·Stack主题·杂记

运行环境 hugo版本&#xff1a;v0.117.0&#xff08;扩展版&#xff09; go&#xff1a;1.21.0 PowerShell 7&#xff08;x64&#xff09; Windows10 添加主题 git submodule add https://github.com/CaiJimmy/hugo-theme-stack/ themes/hugo-theme-stack修改配置文件 m…

C++ 编译器优化与SIMD指令集

C 编译器优化与SIMD指令集 1. 汇编语言1.1 通用寄存器&#xff1a;32位时代1.2 通用寄存器&#xff1a;64位时代1.3 8位&#xff0c;16位&#xff0c;32位&#xff0c;64位版本1.4 AT&T 汇编语言1.5 返回值&#xff1a;通过 eax 传出1.6 前6个参数&#xff1a;分别通过 edi…

用好「留存」,闭环小程序运营链路

如何通过线上小程序获取用户线索&#xff0c;提高企业抗风险能力&#xff0c;建立有效的营销数字化系统一直是困扰每一个小程序开发者与运营者的问题。 当我们选择使用小程序设计自己的运营流程时&#xff0c;从「推广」到「转化」&#xff0c;再到最终的「留存」都是运营过程…