Linux日志服务rsyslog深度解析(上)

🐇明明跟你说过:个人主页

🏅个人专栏:《Linux :从菜鸟到飞鸟的逆袭》🏅

🔖行路有良友,便是天堂🔖

目录

一、引言

1、日志在Linux系统中的作用

2、rsyslog历史背景 

3、rsyslog与syslogd的比较 

二、rsyslog基础知识 

1、rsyslog的安装与配置基础

2、rsyslog的组件架构


一、引言

1、日志在Linux系统中的作用

1. 系统监控和管理

  • 系统健康检查:日志文件记录了系统的启动过程、内核消息、硬件事件等,可以帮助管理员了解系统的健康状况。
  • 资源使用监控:日志文件可以记录CPU、内存、磁盘和网络等资源的使用情况,帮助管理员监控系统性能。

2. 故障排查和调试

  • 错误排查:当系统或应用程序发生错误时,日志文件中通常会记录错误信息和堆栈跟踪,这些信息对故障排查和调试非常有帮助。
  • 行为回溯:通过查看日志文件,可以了解系统或应用程序在特定时间段内的行为,帮助找出问题的根源。

3. 安全监控

  • 入侵检测:日志文件可以记录系统的登录尝试、权限变更和异常操作等,有助于检测和防范潜在的入侵行为。
  • 审计和合规:日志文件可以用于审计和合规检查,确保系统操作符合安全策略和法规要求。

4. 性能分析和优化

  • 性能瓶颈分析:通过分析日志文件中的性能数据,可以找出系统或应用程序的性能瓶颈,进行相应的优化。
  • 趋势分析:日志文件中的数据可以用于分析系统性能的历史趋势,帮助预测未来的性能需求和瓶颈。

 

2、rsyslog历史背景 

rsyslog 是一个开源的日志处理工具,广泛用于UNIX和Linux系统中。它起源于经典的syslog,并在此基础上进行了大量的扩展和改进。

1. syslog的起源

  • syslog协议:最早由Eric Allman在1980年代为BSD Unix开发。syslog协议提供了一个标准化的日志记录机制,用于记录系统事件和应用程序消息。
  • syslog守护进程:是最早的系统日志记录工具之一,负责接收和处理来自系统和应用程序的日志消息。

2. syslog的局限性


随着时间的推移,经典的syslog守护进程暴露出了一些局限性,包括:

  • 扩展性不足:syslog的设计较为简单,难以满足现代系统复杂的日志处理需求。
  • 性能问题:在处理大量日志消息时,syslog的性能和效率较低。
  • 灵活性不足:缺乏高级的过滤、格式化和转发功能,难以适应多样化的日志处理场景。

3. rsyslog的诞生

  • 起源:rsyslog由Rainer Gerhards在2004年开始开发,旨在解决经典syslog的局限性。
  • 开源发布:rsyslog在2007年作为开源项目发布,迅速得到了社区的广泛关注和使用。

4. rsyslog的特点和改进


rsyslog在经典syslog的基础上进行了大量改进,具有以下主要特点:

  • 高性能:通过多线程和异步处理机制,极大地提高了日志处理的性能和效率。
  • 模块化设计:采用模块化架构,支持通过插件扩展功能,包括多种输入、输出和处理模块。
  • 高级过滤和处理:支持复杂的过滤规则和日志消息的格式化处理,满足多样化的日志处理需求。
  • 可靠性:提供可靠的日志传输机制,确保日志消息不会丢失。
  • 支持多种协议:支持包括UDP、TCP、RELp在内的多种网络协议,增强了日志消息的传输能力。
  • 丰富的输出选项:支持将日志消息发送到文件、数据库、远程服务器等多种目标。

5. 发展历程

  1. 2004年:Rainer Gerhards开始开发rsyslog。
  2. 2007年:rsyslog作为开源项目发布,逐步取代经典syslog守护进程。
  3. 2008年:加入了对RELp(Reliable Event Logging Protocol)的支持,提高了日志传输的可靠性。
  4. 2010年:引入了对零消息队列(ZeroMQ)的支持,进一步提升了并发处理能力。
  5. 2011年:加入了对 Elasticsearch、Redis 等现代存储系统的支持。
  6. 2012年以后:持续进行功能扩展和性能优化,逐步成为Linux系统中最常用的日志处理工具之一。

3、rsyslog与syslogd的比较 

syslogd 是最早的 UNIX 和 Linux 系统日志守护进程之一,它提供了一种简单而有效的方式来记录和管理系统和应用程序的日志。
rsyslog syslogd 是两个用于日志管理的守护进程,尽管它们有共同的历史渊源,但在功能和特性上有显著的差异。

1. 性能和扩展性


syslogd:

  • 性能:设计简单,适合处理中小规模的日志量。
  • 扩展性:扩展性有限,难以处理大量并发日志消息。

rsyslog:

  • 性能:支持多线程和异步处理,能够高效地处理大量日志消息。
  • 扩展性:模块化设计,允许通过插件进行功能扩展,能够适应大规模和高并发的日志处理需求。


2. 配置灵活性


syslogd:

  • 配置文件:配置文件格式相对简单,但功能有限。
  • 灵活性:缺乏高级的过滤和处理功能,配置灵活性较低。

rsyslog:

  • 配置文件:支持复杂的配置文件格式,允许进行精细的日志过滤、格式化和路由。
  • 灵活性:提供强大的配置选项,支持复杂的日志处理需求。


3. 支持的输入和输出


syslogd:

  • 输入:主要支持标准的syslog协议(UDP)。
  • 输出:主要支持将日志消息写入文件或发送到远程syslog服务器。

rsyslog:

  • 输入:支持多种输入来源,包括文件、网络(UDP、TCP、RELp)、数据库、消息队列等。
  • 输出:支持多种输出目标,包括文件、数据库、远程服务器、消息队列、Elasticsearch等。


4. 可靠性


syslogd:

  • 可靠性:使用UDP传输日志消息,传输不可靠,可能丢失日志消息。

rsyslog:

  • 可靠性:支持多种可靠的传输协议(如TCP、RELp),提供可靠的日志传输机制,确保日志消息不丢失。


5. 日志处理功能


syslogd:

  • 处理功能:基本的日志记录和转发功能,缺乏高级的处理能力。

rsyslog:

  • 处理功能:支持复杂的日志处理规则,包括条件过滤、消息修改、格式化、转发等,功能强大。


6. 安全性


syslogd:

  • 安全性:基本的安全性特性,缺乏现代化的安全机制。

rsyslog:

  • 安全性:支持TLS加密传输,增强了日志消息传输的安全性;提供更细粒度的访问控制和安全配置选项。


7. 社区支持和更新


syslogd:

  • 社区支持:作为传统的日志守护进程,社区支持和开发更新较少。

rsyslog:

  • 社区支持:活跃的开源社区,持续的功能更新和改进,广泛的文档和用户支持。


rsyslog 和 syslogd 各有特点:

  • syslogd:适合于简单的日志记录需求,小规模系统使用。
  • rsyslog:功能强大,适合处理大规模、高并发的日志需求,支持复杂的日志处理规则和多种传输协议,提供高性能和高可靠性。

二、rsyslog基础知识 

1、rsyslog的安装与配置基础

安装 rsyslog
在大多数 Linux 发行版中,rsyslog 都可以通过包管理器进行安装。

在 Debian/Ubuntu 系统上:

sudo apt update
sudo apt install rsyslog


在 Red Hat/CentOS 系统上:

sudo yum update
sudo yum install rsyslog


在 Fedora 系统上:

sudo dnf update
sudo dnf install rsyslog


启动和启用 rsyslog 服务
安装完成后,可以通过以下命令启动和启用 rsyslog 服务:

sudo systemctl start rsyslog
sudo systemctl enable rsyslog


配置 rsyslog
rsyslog 的主配置文件通常位于 /etc/rsyslog.conf,而具体的配置文件则位于 /etc/rsyslog.d/ 目录下。配置文件使用一种简单的规则语言,可以指定日志消息的来源、过滤条件和输出目标。配置文件示例
以下是一个基本的 rsyslog 配置文件示例:

# 加载输入模块
module(load="imuxsock")  # 本地 Unix socket 输入
module(load="imklog")    # 内核日志输入# 日志格式模板
template(name="TraditionalFormat" type="string" string="%TIMESTAMP% %HOSTNAME% %syslogtag%%msg%\n")# 日志过滤和输出
authpriv.*                      /var/log/secure
mail.*                          -/var/log/mail
cron.*                          /var/log/cron# 记录所有日志到 /var/log/messages,排除 mail, authpriv 和 cron 日志
*.info;mail.none;authpriv.none;cron.none                /var/log/messages# 记录紧急日志到所有用户终端
*.emerg                         :omusrmsg:*# 将日志消息转发到远程服务器
*.* @192.168.1.100:514


配置详解

  • 模块加载:加载必要的输入模块,如本地 Unix socket (imuxsock) 和内核日志输入模块 (imklog)。
  • 模板:定义日志消息的格式。
  • 日志过滤和输出:指定不同类型的日志消息的处理规则和输出目标。
  • 远程日志转发:将所有日志消息转发到远程服务器(IP 地址:192.168.1.100,端口:514)。

2、rsyslog的组件架构

rsyslog 是一个高度模块化和可扩展的系统日志处理工具,其组件架构使其能够灵活地处理、过滤和转发日志消息。以下是 rsyslog 的主要组件及其架构的详细介绍:

1. 输入模块(Input Modules)
输入模块负责接收各种来源的日志消息。常用的输入模块包括:

  • imuxsock:从 Unix 域套接字接收本地日志消息。
  • imklog:从内核日志缓冲区接收内核日志消息。
  • imudp:通过 UDP 协议接收日志消息。
  • imtcp:通过 TCP 协议接收日志消息。
  • imfile:从文件中读取日志消息。


2. 过滤和解析器(Parsers and Filters)
过滤器和解析器用于处理和解析接收到的日志消息,并根据预定义的规则过滤日志。常见的过滤器和解析器包括:

  • RainerScript:rsyslog 的内置脚本语言,用于复杂的日志处理和过滤。
  • Syslog parser:解析标准的 syslog 消息格式。
  • JSON parser:解析 JSON 格式的日志消息。
  • Filter conditions:基于消息内容、来源等条件进行日志过滤。


3. 输出模块(Output Modules)
输出模块负责将处理后的日志消息转发到指定的目标位置。常用的输出模块包括:

  • omfile:将日志消息写入文件。
  • omudp:通过 UDP 协议发送日志消息。
  • omtcp:通过 TCP 协议发送日志消息。
  • omelasticsearch:将日志消息发送到 Elasticsearch。
  • ommysql:将日志消息写入 MySQL 数据库。
  • omkafka:将日志消息发送到 Kafka 主题。


4. 缓冲与队列(Buffers and Queues)
为了提高性能和可靠性,rsyslog 支持异步操作和消息队列。队列用于缓冲日志消息,避免在高负载或网络故障时丢失日志。常见的队列类型包括:

  • 内存队列:将消息存储在内存中,适用于低延迟需求的场景。
  • 磁盘队列:将消息存储在磁盘上,适用于高可靠性需求的场景。


5. 模板(Templates)

  • 模板用于定义日志消息的输出格式。用户可以自定义日志格式,以便与特定的日志收集系统或数据库兼容。模板支持多种格式化选项和变量。

6. 安全与加密(Security and Encryption)
rsyslog 支持 TLS/SSL 加密,以确保日志消息在传输过程中的安全性。相关模块包括:

  • imtcp + TLS:通过 TLS 加密的 TCP 连接接收日志消息。
  • omfwd + TLS:通过 TLS 加密的 TCP/UDP 连接发送日志消息。

 💕💕💕每一次的分享都是一次成长的旅程,感谢您的陪伴和关注。希望这些关于Linux的文章能陪伴您走过技术的一段旅程,共同见证成长和进步!😺😺😺

🧨🧨🧨让我们一起在技术的海洋中探索前行,共同书写美好的未来!!! 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/23664.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

保姆级讲解 FTP服务器的搭建、配置与管理

本来目录很长的 因为感觉不太美观 所以小标题都删掉了 本文介绍了 本地用户的FTP服务器搭建实例匿名用户的FTP服务器搭建实例虚拟用户的FTP服务器搭建实例企业常见类型搭建实验 配置与管理FTP服务器 配置与管理FTP服务器一、FTP相关知识二、项目设计与准备三、项目实施四、认识…

实验一、网络传输介质————双绞线 《计算机网络》

蝙蝠身上长鸡毛,忘了自己是什么鸟。 目录 一、实验目的 二、实验内容 1.双绞线的原理以及分类 2.了解双绞线的性质、结构与特性 3.掌握双绞线的制作方法 4.了解双绞线的材质 5.了解双绞线的发展趋势 三、实验小结 一、实验目的 1.双绞线的原理以及分类 2.了…

MyBatisPlus——入门到进阶

✅作者简介:大家好,我是 Meteors., 向往着更加简洁高效的代码写法与编程方式,持续分享Java技术内容。🍎个人主页:Meteors.的博客💞当前专栏:知识分享、知识备份✨特色专栏: 知识分享…

【GIS教程】土地利用转移矩阵

随着科技社会的不断进步,人类活动对地理环境的影响与塑造日益明显,土地不断的侵蚀与改变也导致一系列的环境问题日益突出。土地利用/覆盖(LUCC)作为全球环境变化研究的重点问题为越来越多的国际研究机构所重视,研究它的…

Day25 首页待办事项及备忘录添加功能

​ 本章节,完成首页待办事项及备忘录添加功能 一.修改待办事项和备忘录逻辑处理类,即AddMemoViewModel和AddTodoViewModel 在 AddMemoViewModel逻辑处理类中,为了支持与其关联的View视图文件的数据绑定,需要定义一个与视图文件相匹配的实体类 Model。这个Model将包含 View中…

图像算法---自动对焦AF

一,CDAF反差对焦原理 CDAF,全称Contrast Detection Auto Focus,即反差式对焦或对比度检测自动对焦,是一种广泛应用于入门级数码相机和相机模块化智能手机上的自动对焦技术。以下是关于CDAF反差对焦的详细介绍: 工作原…

测绘航空摄影乙级资质升级为甲级的过渡期规划

升级测绘航空摄影乙级资质为甲级通常需要一个详细的过渡期规划,这个过程涉及提升技术力量、积累业绩、完善管理体系等多个方面。以下是一个概括性的过渡期规划框架,具体实施时需结合实际情况和最新的资质标准进行调整: 1. 了解最新资质标准 …

每日AI资讯-20240606

智普AI推出全新开源大模型GLM-4-9B 智谱AI日前推出全新开源模型GLM-4-9B,该尺寸模型首次具备多模态能力。据了解,GLM-4-9B,最高支持1M/约两百万字上下文输入,相当于2本《红楼梦》或125篇论文的长度。性能上,GLM-4-9B函…

《手把手教你》系列练习篇之13-python+ selenium自动化测试 -压轴篇(详细教程)

1. 简介 “压轴”原本是戏曲名词,指一场折子戏演出的倒数第二个剧目。在现代社会中有很多应用,比如“压轴戏”,但压轴也是人们知识的一个盲区。“压轴”本意是指倒数第二个节目,而不是人们常说的倒数第一个,倒数第一个…

苗情生态自动监测站

TH-MQ1在现代农业发展中,苗情生态自动监测站的应用已经变得日益重要。这种技术不仅为农业生产提供了实时的数据支持,还通过精准监测和科学决策,提高了农业生产的效率和质量。 首先,苗情生态自动监测站的优势在于其能够实现精准监…

Java并发编程:线程与并发工具

Java并发编程:线程与并发工具 引言 在现代计算机程序中,并发编程是一个不可避免的主题。无论是提升应用程序性能,还是处理多个任务并发执行,Java为开发者提供了丰富的并发编程工具。在本篇文章中,我们将深入探讨Java的并发编程,包括线程的基础知识、线程池的使用以及常…

全流程透明双语大语言模型MAP-Neo,4.5T 高质量数据训练

前言 近年来,大语言模型 (LLM) 已经成为人工智能领域最热门的研究方向之一,并在各种任务中展现出前所未有的性能。然而,由于商业利益的驱动,许多最具竞争力的模型,例如 GPT、Gemini 和 Claude,其训练细节和…

读书笔记-《软件定义安全》之一:SDN和NFV:下一代网络的变革

第1章 SDN和NFV:下一代网络的变革 1.什么是SDN和NFV 1.1 SDN/NFV的体系结构 SDN SDN的体系结构可以分为3层: 基础设施层由经过资源抽象的网络设备组成,仅实现网络转发等数据平面的功能,不包含或仅包含有限的控制平面的功能。…

Unity Magica Cloth2 使用教程

视频教程 参考文章 前提: 找到角色的模型 模之屋,我这里准备了转好FBX格式的吟霖模型点击自取【源自 模之屋】 角色舞蹈动画 点击下载【源自 Mixamo】 导入Unity【如何将原神的角色导入Unity】 三渲二 (必须是2022.3LTS和URP项目) Magica Cloth2 头…

深入探索Stage #13:CSS层叠样式表的IE特性伪协议注入

在网络安全领域,跨站脚本攻击(XSS)是一种常见的攻击手段。随着Web技术的不断发展,攻击者也在不断探索新的攻击途径。本文将详细介绍如何利用IE浏览器的特性,通过CSS层叠样式表进行XSS攻击。 实验环境搭建 为了模拟IE…

spring boot 白盒测试实战

假设项目中存在以下代码: 常量类:public final static String NUMBER_REGEX "\\d"; service:return ReUtil.getGroup0(Constants.NUMBER_REGEX, waybill); 代码解析 解释: return ReUtil.getGroup0(Constants.NUMB…

python学习 - 使用OpenCV库(cv2)和imutils库实现辅助答题卡判别

测试数据见文章顶部位置资源!!! 使用了OpenCV库(cv2)和imutils库。代码的主要目的是处理图像中的问题,如识别图像中的文字,并对其进行分析和排序。 辅助答题卡判别 # -*- coding:utf-8 -*- fr…

python实现邮箱轰炸机

最近在学计算机网络看到套接字的练习 于是应用SMTP协议写了个发送邮箱的玩玩 可以发一大堆垃圾邮件给对方 其中参考了 关于发邮件报错535 Error:authentication failed解决方法http://t.csdnimg.cn/Bc0Dq 已经查询如何获取网易邮箱客户端授权码 base64编码 i…

Mybatis05-一对多和多对一处理

多对一和一对多 多对一 多对一的理解: 多个学生对应一个老师 如果对于学生这边,就是一个多对一的现象,即从学生这边关联一个老师! 结果映射(resultMap): association 一个复杂类型的关联&…

在线Logo背景去除:pixian.ai

文章目录 简介特色 简介 pixian.ai是一款智能图片背景去除工具,进入网页后,会非常醒目地提示你准备【Free】还是【Paid】,这点就非常好,不向有一些网站,主打免费使用,但时不时弹出“免费注册”&#xff0c…