rsyslog syslog详解

前言:

rsyslog 是一个 syslogd 的多线程增强版。syslog是Linux系统默认的日志守护进程。默认的syslog配置文件是/etc/syslog.conf文件。程序,守护进程和内核提供了访问系统的日志信息。因此,任何希望生成日志信息的程序都可以向 syslog 接口呼叫生成该信息。
      几乎所有的网络设备都可以通过syslog协议,将日志信息以用户数据报协议(UDP)方式传送到远端服务器,远端接收日志服务器必须通过syslogd监听UDP 端口514,并根据 syslog.conf配置文件中的配置处理本机,接收访问系统的日志信息,把指定的事件写入特定文件中,供后台数据库管理和响应之用。意味着可以让任何事件都登录到一台或多台服务器上,以备后台数据库用off-line(离线) 方法分析远端设备的事件。
      通常,syslog 接受来自系统的各种功能的信息,每个信息都包括重要级。/etc/syslog.conf 文件通知 syslogd 如何根据设备和信息重要级别来报告信息。

 

需求背景:

 

以及在系统日志落地前支持hook处理。

 

安装:

yum install rsyslog -y

  

 

一、什么是syslog协议

1、介绍(略)

2、syslog标准协议如下图

  这里的facility为模块,serverity为等级,由这两个信息共同计算出一个PRI头部。HEADER部分包含了时间和主机名。在HEADER和MSG之间有一个空格,MSG是需要记录的日志部分(日志消息体)。

  这里也就是说,理论上使用这种格式构造的字符串发送,接收方就能解析出来。实际上根据实验,我使用了UDP发送,接收方syslog日志服务器能正确解析。

  这里需要注意的是,如果使用了程序的库,比如:python的syslog库(同样c++也有相似的库),那么就不再需要关注PRI和HEADER部分,只要将相关的参数(facility,severity,time,ip)传入函数,调用发送就可以,不必自己构造字符串。对服务端来说,接收到的是整个消息,但通常来讲,比如使用linux默认的rsyslog作为接收服务端的话,是不能看到除MSG之外的部分。所看到的消息跟接收端配置有关,这个在下面有具体的讲。

3、以下是各级别及对应的数字代码

Facility:有0-23种设备可选,在python的syslog库中有一部分缺失

0 kernel messages 
1 user-level messages 
2 mail system 
3 system daemons 
4 security/authorization messages 
5 messages generated internally by syslogd 
6 line printer subsystem 
7 network news subsystem 
8 UUCP subsystem 
9 clock daemon 
10 security/authorization messages 
11 FTP daemon 
12 NTP subsystem 
13 log audit 
14 log alert 
15 clock daemon 
16-23     local0 - local7

Severity:日志等级

0 Emergency
1 Alert
2 Critical
3 Error
4 Warning
5 Notice
6 Informational
7 Debug

这里结合等级再详细讲一下syslog协议:

Priority(优先级) = facility * 8 + severity值。比如说,一个核心信息(facility=0)和一个Emergency的severity将会产生优先级为0。同样, 一个“local use 4”信息(facility=20)和一个Notice的severity(severity=5)将会产生165的优先级。

标题(HEADER)部分由称为TIMESTAMP和HOSTNAME的两个域组成,PRI结尾的“>”会马上跟着一个 TIMESTAMP,任何一个TIMESTAMP或者HOSTNAME域后面都必须跟着一个空格字符。HOSTNAME包含主机的名称,若无主机名或无法 识别则显示IP地址。如果一个主机有多个IP地址,它通常会使用它传送信息的那个IP地址。TIMESTAMP是本机时间,采用的格式是“Mmm dd hh:mm:ss”表示月日时分秒。HOSTNAME域仅仅能够包括主机名称,Ipv4地址或者是信息产生者的Ipv6地址。

MSG部分是Syslog数据包剩下的部分。这通常包含了产生信息进程的额外信息,以及信息的文本部分。MSG部分有两个域,分别为TAG域和 CONTENT域,TAG域的值是产生信息的程序或者进程的名称,CONTENT包含了这个信息的详细内容。传统上来说,这个域的格式较为自由,并且给出 一些时间的具体信息。TAG是一个不许超过32个字符的字母数字字符串,任何一个非字母数字字符都将会终止TAG域,并且被假设是CONTENT域的开 始。在大多数情况下,表示TAG结束的CONTENT域的第一个字符用左大括号( [ ],分号( : )或者是空格来表示。

4、Syslog库

  以python的库为例:

  openlog(ident[, logopt[, facility]])

  首先需要使用openlog指定模块及相应的信息。ident为头部需要显示的字符串,这个信息不包含在MSG中,可以通过配置日志服务器模板决定是否显示。logopt是一些参数,可选择有(LOG_PID, LOG_CONS, LOG_NDELAY, LOG_NOWAIT and LOG_PERROR),对应的分别是(包括每个消息PID,直接写入系统控制台,立即打开连接,不等待子进程(因为其有可能在记录消息的时候就被创建了,GNU C库不创建子进程,所以该选项在Linux上没有影响),同时输出到stderr)。facility则是模块参数,需要填入对应的值,这里syslog库中有以下参数使用:

1

2

LOG_KERN, LOG_USER, LOG_MAIL, LOG_DAEMON, LOG_AUTH, LOG_LPR

LOG_NEWS, LOG_UUCP, LOG_CRON and LOG_LOCAL0 to LOG_LOCAL7

  通常来说,openlog需要在模块最开始指定,即限定了这个模块内都是一个facility的日志。

  

  syslog([sevirity], msg):

  这个是具体打印日志的函数,第一个参数指定消息的级别,第二个参数为日志内容。

  sevirity对应的参数为:

1

LOG_EMERG, LOG_ALERT, LOG_CRIT, LOG_ERR, LOG_WARNING, <br>LOG_NOTICE, LOG_INFO, LOG_DEBUG.

  

  closelog():

  这个是关闭的功能,不过多解释了。

5、说明部分

  python的syslog库打印日志是依赖了rsyslog服务,具体的转发规则,记录文件等在rsyslog.conf中配置

二、了解rsyslog服务

1、rsyslog介绍(略)

2、rsyslog配置文件

  配置文件/etc/rsyslog.conf大概分为三个部分

  #MODULES

  这个部分是针对接收配置的,主要是指定接收日志的协议和端口。若要配置日志服务器,则需要将相应的配置项去掉注释。

  #GLOBAL DIRECTIVES

  这个部分主要用来配置模板,模板的作用是指定你希望在日志文件中保存的日志格式。

  默认配置为:

1

2

# Use default timestamp format

$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

  这里列举一个模板,将所有信息保存:

1

2

3

4

5

6

7

8

9

10

11

12

# 这里第一行(为了方便显示,参数写成了一列)是模板,即日志服务器记录到日志文件的格式

# 第二行是指定需要使用的模板myFormat,这个名字可以自己定义

$template myFormat,"%TIMESTAMP% host=%HOSTNAME%,

                   relayHost=%FROMHOST%,

                   tag=%syslogtag%,

                   programName=%programname%,

                                procid=%PROCID%,

                                facility=%syslogfacility-text%,

                                sev=%syslogseverity-text%,

                                appName=%APP-NAME%,

                                msg=%msg%\n"

$ActionFileDefaultTemplate myFormat

  模板额外说明:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

#在rsyslog7 和更高版本使用以下格式:

template(name="scalaLogFormat" type="list") {

        property(name="timestamp" dateFormat="rfc3339")

        constant(value=" host=")

        property(name="hostname")

        constant(value=", relayHost=")

        property(name="fromhost")

        constant(value=", tag=")

        property(name="syslogtag")

        constant(value=", programName=")

        property(name="programname")

        constant(value=", procid=")

        property(name="procid")

        constant(value=", facility=")

        property(name="syslogfacility-text")

        constant(value=", sev=")

        property(name="syslogseverity-text")

        constant(value=", appName=")

        property(name="app-name")

        constant(value=", msg=")

        property(name="msg" )

        constant(value="\n")

        }

  ### begin forwarding rule

  这个模块主要讲一下转发

  #*.* @@remote-host:514

  根据这个实例可以看出,分为4个部分[模块.等级] [转发协议][日志服务器地址]:[日志服务器端口],其中转发协议的参数@@为TCP协议,对应的接收端也需要配置接受TCP协议。@为UDP协议。

  注:使用TCP协议,若地址错误或不能连同的情况,转发的协议会写入缓存,但是不用担心会卡死服务器,当到达一定限度后会自动转存到硬盘,这个不是我们应该关心的部分,使用就好了。

说明:

  针对rsyslog.conf配置文件的所有操作都需要重启服务生效(service rsyslog restart)

  在新版本的rsyslog中,对日志发送有默认限速,如果有集中大量推送日志的情况,需要在配置文件中加上参数$SystemLogRateLimitInterval 0(具体位置没有影响,但通常写在GLOBAL DIRECTIVES模块)

  通常来说,日志推送到服务器的协议使用UDP

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/438986.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

第一节:框架前期准备篇之Log4Net日志详解

一. Log4Net简介 Log4net是从Java中的Log4j迁移过来的一个.Net版的开源日志框架&#xff0c;它的功能很强大&#xff0c;可以将日志分为不同的等级&#xff0c;以不同的格式输出到不同的存储介质中&#xff0c;比如&#xff1a;数据库、txt文件、内存缓冲区、邮件、控制台、ANS…

第二节:框架前期准备篇之AutoFac常见用法总结

一. 说在前面的话 凡是大约工作在两年以上的朋友们&#xff0c;或多或少都会接触到一些框架搭建方面的知识&#xff0c;只要一谈到框架搭建这个问题或者最佳用法这个问题&#xff0c;势必会引起一点点小小的风波&#xff0c;我说我的好&#xff0c;他说他的好&#xff0c;非常容…

第三节:框架前期准备篇之利用Newtonsoft.Json改造MVC默认的JsonResult

一. 背景 在MVC框架中&#xff0c;我们可能经常会用到 return Json()&#xff0c;而Json方法内部又是一个JsonResult类&#xff0c;那么JsonResult内部又是什么原理呢&#xff1f;在MVC框架中&#xff0c;各种xxxResult便捷了我们的开发&#xff0c;但这些都不是本节的重点&…

php 跳转qq群代码_邪少xml论坛qqxml代码—QQ音乐可播放框架QQ群任意跳转个人网站链接引流...

邪少XML论坛xml代码—QQ音乐可播放框架效果图&#xff1a;代码如下&#xff1a;<?xml version1.0 encodingUTF-8 standaloneyes ?><msg serviceID"2" templateID"1" action"web" brief"[分享] 古分一道桥" sourceMsgId&quo…

第四节:框架前期准备篇之进程外Session的两种配置方式

一. 基本介绍 1. 背景&#xff1a;Asp.Net默认的Session机制是进程内&#xff0c;存储在服务器端内存中&#xff0c;有这么几个缺点&#xff1a; ①&#xff1a;既然存在内存中&#xff0c;空间有限&#xff0c;不能存储大数据量信息&#xff0c;数据量多的话Session会被挤爆。…

广播延时大约多久_在长沙广播电台打广告要多少钱?

在长沙这个堵城&#xff0c;特别是每天上下班高峰期&#xff0c;很多人都堵在车里。有调查统计显示&#xff0c;长沙市高峰拥堵延时指数1.711&#xff0c;即高峰出行时间是畅通状态下的1.711倍&#xff0c;高峰平均行车速度24.9km/h。在堵车的时候&#xff0c;容易着急上火&…

云计算-Linux-用户管理,用户信息文件详解

云计算-Linux-用户管理,用户信息文件详解 这个就不讲啥了,用户干啥用的还能不知道吗 这个用户目录是在这/etc/skel下的 创建用户 useradd(只有root才能用) 扩展参数 -u指定用户的UID -d指定用户的家目录 -c指定用户的描述信息(备注) -g指定用户基本组 -G指定用户附加组 -s…

第五节:框架前期准备篇之锁机制处理并发

一. 简介 (一). 在处理并发的这个问题上&#xff0c;锁大致分为两类&#xff1a;悲观锁和乐观锁。 1. 悲观锁&#xff1a;悲观的认为每次去拿数据的时候都会被别人修改&#xff0c;所以每次在拿数据的时候都会“上锁”&#xff0c;操作完成之后再“解锁”。 在数据加锁期间&a…

表面粗糙度的基本评定参数是_表面粗糙度100问,讲得明明白白

提醒&#xff1a;点上方↑↑↑“制造原理”订阅后 满足你的好奇来源&#xff1a;机械工程师1&#xff0e; 什么称为表面粗糙度&#xff1f;答&#xff1a;表面粗糙度是指零件加工表面上具有的由较小间距和峰谷所组成的微观几何形状特征。它是一种微观几何形状误差。2&#xff0…

第六节:框架搭建之EF的Fluent Api模式的使用流程

一. 前言 沉寂了约一个月的时间&#xff0c;今天用一篇简单的文章重新回归博客&#xff0c;主要来探讨一下Fluent Api模式在实际项目中的使用流程。 1. Fluent API属于EF CodeFirst模式的一种&#xff0c;EF还有一种模式是DataAnnotations&#xff0c;两种模式各有千秋吧&…

高通modem启动过程_苹果首次承认正自研基带芯片,高通要被抛弃了?

以苹果技术实力&#xff0c;摆脱依赖&#xff0c;只是时间的问题。”作者 | 肖漫苹果和高通的基带芯片故事续集&#xff0c;又开始上映了。据彭博社 12 月 10 日报道&#xff0c;苹果公司芯片负责人对员工表示&#xff0c;苹果已开始为未来的设备自研蜂窝调制解调器&#xff0c…

第七节:框架搭建之页面静态化的剖析

一. 前言 抛砖引玉&#xff1a; 提到项目性能优化&#xff0c;大部分人第一时间就会想到缓存&#xff0c;针对“读多写少”的数据&#xff0c;可以放到缓存里&#xff0c;设置个过期时间&#xff0c;这样就不用每次都去数据库中查询了&#xff0c; 减轻了数据库的压力&#xff…

第八节:数据库层次的锁机制详解和事务隔离级别

一. 基本概念 1.共享锁&#xff1a;(holdlock) (1). select的时候会自动加上共享锁&#xff0c;该条语句执行完&#xff0c;共享锁立即释放&#xff0c;与事务是否提交没有关系。 (2). 显式通过添加(holdlock)来显式添加共享锁&#xff08;比如给select语句显式添加共享锁&…

第九节:基于MVC5+AutoFac+EF+Log4Net的基础结构搭建

一. 前言 从本节开始&#xff0c;将陆续的介绍几种框架搭建组合形式&#xff0c;分析每种搭建形式的优势和弊端&#xff0c;剖析搭建过程中涉及到的一些思想和技巧。 (一). 技术选型 1. DotNet框架&#xff1a;4.6 2. 数据库访问&#xff1a;EF 6.2 (CodeFrist模式) 3. IOC框架…

第十节:基于MVC5+Unity+EF+Log4Net的基础结构搭建

一. 前言 从本节开始&#xff0c;将陆续的介绍几种框架搭建组合形式&#xff0c;分析每种搭建形式的优势和弊端&#xff0c;剖析搭建过程中涉及到的一些思想和技巧。 (一). 技术选型 1. DotNet框架&#xff1a;4.6 2. 数据库访问&#xff1a;EF 6.2 (CodeFrist模式) 3. IOC框架…

a*算法的优缺点_K-近邻算法以及案例

什么是K-近邻算法(KNN)根据邻居判断类型。如果一个样本在特征空间中有K个最相似&#xff08;距离相近&#xff09;的样本大多数属于一个类别&#xff0c;则该样品也属于这个类别。如何求距离呢?非常简单,如图。a1,a2,a3代表样本a的特征值 b1,b2,b3代表b的样本值&#xff0c;根…

android 预约挂号代码_告别排队!用Python定时自动挂号和快捷查询化验报告

作者 | 阿文来源 | 程序人生(ID: coder_life)我什么要做这个事情去年单位体检查出问题来&#xff0c;经过穿刺手术确诊是个慢性肾脏病2期&#xff0c; IGA 肾病三期&#xff0c;可能大家对于这个病并不是很了解&#xff0c;但是另外一个词可能大家都听过&#xff0c;叫"尿…

灵动思绪EF(Entity FrameWork)

很久之前就想写这篇文章了&#xff0c;但是由于种种原因&#xff0c;没有将自己学习的EF知识整理成一片文章。今天我就用CodeFirst和ModelFirst两种方式的简单案例将自己学习的EF知识做个总结。 在讲解EF之前&#xff0c;我们先来看下ORM ORM全称&#xff1a;(Object-Relatio…

json qbytearray 串 转_JSON数据采集网关,json转Modbus RTU串IO口RS485转4~20mA边缘计算智能终端...

JSON数据采集网关边缘计算智能终端是一种能够将各种传感器仪表仪器设备的数据采集后按照JSON格式上传服务器的网关&#xff0c;可以实现云边协同。JSON(JavaScript Object Notation)是java中的数据格式。例如{“Energy”:”100”, “time”:”22:22:15”}这样的格式&#xff0c…