基于多设计模式下的同步异步日志系统

基于多设计模式下的同步&异步日志系统

代码链接：https://github.com/Janonez/Log_System

1. 项目介绍

本项目主要实现一个日志系统， 其主要支持以下功能：

  • 支持多级别日志消息
  • 支持同步日志和异步日志
  • 支持可靠写入日志到标准输出、文件以及滚动文件中
  • 支持多线程程序并发写日志
  • 支持扩展不同的日志落地目标地

2. 开发环境

  • CentOS 7
  • VSCode/vim
  • g++/gdb
  • Makefile

3. 核心技术

  • 类层次设计（继承和多态的应用）
  • C++11（多线程、auto、智能指针、右值引用等）
  • 双缓冲区
  • 生产消费模型
  • 多线程
  • 设计模式（单例、工厂、代理、模板等）

4. 日志系统介绍

4.1 为什么需要日志系统

  1. 生产环境的产品为了保证其稳定性及安全性是不允许开发人员附加调试器去排查问题， 可以借助日志系统来打印一些日志帮助开发人员解决问题，上线客户端的产品出现bug无法复现并解决， 可以借助日志系统打印日志并上传到服务端帮助开发人员进行分析
  2. 对于一些高频操作（如定时器、心跳包）在少量调试次数下可能无法触发我们想要的行为，通过断点的暂停方式，我们不得不重复操作几十次、上百次甚至更多，导致排查问题效率是非常低下， 可以借助打印日志的方式查问题。
  3. 在分布式、多线程/多进程代码中， 出现bug比较难以定位， 可以借助日志系统打印log帮助定位bug
  4. 帮助首次接触项目代码的新开发人员理解代码的运行流程

4.2 日志系统技术实现

日志系统的技术实现主要包括三种类型:

  1. 利用printf、std::cout等输出函数将日志信息打印到控制台
  2. 对于大型商业化项目， 为了方便排查问题，我们一般会将日志输出到文件或者是数据库系统方便
  3. 查询和分析日志， 主要分为同步日志和异步日志方式

4.2.1 同步写日志

同步日志是指当输出日志时，必须等待日志输出语句执行完毕后，才能执行后面的业务逻辑语句，日志输出语句与程序的业务逻辑语句将在同一个线程运行。每次调用一次打印日志API就对应一次系统调用write写日志文件。

在高并发场景下，随着日志数量不断增加，同步日志系统容易产生系统瓶颈：

  • 一方面，大量的日志打印陷入等量的write系统调用，有一定系统开销。
  • 另一方面，使得打印日志的进程附带了大量同步的磁盘IO，影响程序性能。

4.2.2 异步写日志

异步日志是指在进行日志输出时，日志输出语句与业务逻辑语句并不是在同一个线程中运行，而是有专门的线程用于进行日志输出操作。业务线程只需要将日志放到一个内存缓冲区中不用等待即可继续执行后续业务逻辑（作为日志的生产者），而日志的落地操作交给单独的日志线程去完成（作为日志
的消费者）, 这是一个典型的生产-消费模型。

这样做的好处是即使日志没有真的地完成输出也不会影响程序的主业务，可以提高程序的性能：

  • 主线程调用日志打印接口成为非阻塞操作
  • 同步的磁盘IO从主线程中剥离出来交给单独的线程完成

5. 日志系统框架设计

将一条消息，进行格式化成为指定格式的字符串后，写入到指定位置

本项目实现的是一个多日志器日志系统，主要实现的功能是让程序员能够轻松的将程序运行日志信息落地到指定的位置，且支持同步与异步两种方式的日志落地方式。

5.1 模块划分

  • 日志等级模块：对输出日志的等级进行划分，以便于控制日志的输出，并提供等级枚举转字符串功能。
  • 日志消息模块：中间存储日志输出所需的各项要素信息
  • 日志消息格式化模块：设置日志输出格式，并提供对日志消息进行格式化功能。
  • 日志消息落地模块：决定了日志的落地方向，可以是标准输出，也可以是日志文件，也可以滚动文件输出…
  • 日志器模块：此模块是对以上几个模块的整合模块，用户通过日志器进行日志的输出，有效降低用户的使用难度。包含有：日志消息落地模块对象，日志消息格式化模块对象，日志输出等级
  • 日志器管理模块：创建的所有日志器进行统一管理。并提供一个默认日志器提供标准输出的日志输出。
  • 异步线程模块：实现对日志的异步输出功能，用户只需要将输出日志任务放入任务池，异步线程负责日志的落地输出功能，以此提供更加高效的非阻塞日志输出。

5.2 模块关系图

6. 代码设计

6.1 实用类设计

提前完成一些零碎的功能接口，以便于项目中会用到。

  • 获取系统时间
  • 判断文件是否存在
  • 获取文件的所在目录路径
  • 创建目录

6.2 日志等级类设计

定义出日志系统所包含的所有日志等级，分别为：

  1. UNKNOW：未知等级日志
  2. DEBUG：调试等级的日志
  3. INFO：提示等级的日志
  4. WARN：警告等级的日志
  5. ERROR：错误等级的日志
  6. FATAL：致命错误等级的日志
  7. OFF：关闭所有日志输出

每个项目都会设置一个默认的日志输出等级，只有输出的日志等级大于等于默认限制等级的时候才可以进行输出

提供一个接口，将对应等级的枚举，转换为一个对应的字符串，例如DEBUG -->> “DEBUG”

6.3 日志消息类设计

日志消息类主要是封装一条完整的日志消息所需的内容，其中包括日志输出时间、日志等级、日志源文件名称、源代码行号、线程ID、具体的日志信息等内容。

6.4 日志输出格式化类设计

日志格式化（Formatter）类主要负责格式化日志消息，组织成为指定格式的字符串。其主要包含以下内容：

  1. 格式化字符串
    %d 日期
    %T 缩进
    %t 线程id
    %p 日志级别
    %c 日志器名称
    %f 文件名
    %l 行号
    %m 日志消息
    %n 换行

  2. 格式化子项数组

    MsgFormatItem ：有效日志数据
    LevelFormatItem ：日志等级
    NameFormatItem ：日志器名称
    ThreadFormatItem ：线程ID
    TimeFormatItem ：时间戳
    CFileFormatItem ：文件名
    CLineFormatItem ：行号
    TabFormatItem ：制表符缩进
    NLineFormatItem ：换行
    OtherFormatItem ：非格式化的原始字符串

6.5 日志落地(LogSink)类设计（简单工厂模式）

日志落地类主要负责将格式化完成后的日志消息字符串，输出到指定位置。

目前实现了三个不同方向上的日志落地：

  • 标准输出：StdoutSink
  • 固定文件：FileSink
  • 滚动文件：RollSink

6.6 日志器类(Logger)设计（建造者模式）

日志器主要是对前面所有模块进行整合，向外提供接口完成不同等级的日志输出

  1. 管理的成员：
    格式化模块对象（不同输出等级的日志）
    落地模块对象数组（一个日志器可能会向多个位置进行日志输出）
    默认的日志输出限制等级（大于等于限制等级的日志才能输出）
    互斥锁（保证日志输出是线程安全的，不会出现交叉日志）
    日志器名称（日志器的唯一表示，以便于查找）
  2. 实现：
    抽象Logger基类（派生出同步日志器类 & 异步日志器类），两个不同的日志器在日志的落地方式上有所不同：
    同步日志器：直接对日志消息进行输出
    异步日志器：将日志消息放入缓冲区，由异步线程进行输出

使用建造者模式来建造日志器，不要让用户直接去构造日志器，简化用户操作

  1. 抽象一个日志器建造者类

    设置日志器类型

    将不同类型日志器的创建放到同一个日志器建造者类中完成

  2. 派生出具体的建造者类 – 局部日志器的建造者 & 全局的日志器建造者

6.7 双缓冲区异步任务处理器（AsyncLooper）设计

设计思想：异步处理线程 + 数据池
使用者将需要完成的任务添加到任务池中，由异步线程来完成任务的实际执行操作。
任务池的设计思想：双缓冲区阻塞数据池
优势：避免了空间的频繁申请释放，且尽可能的减少了生产者与消费者之间锁冲突的概率，提高了任务处理效率。
在任务池的设计中，有很多备选方案，比如循环队列等等，但是不管是哪一种都会涉及到锁冲突的情况，因为在生产者与消费者模型中，任何两个角色之间都具有互斥关系，因此每一次的任务添加与取出都有可能涉及锁的冲突，而双缓冲区不同，双缓冲区是处理器将一个缓冲区中的任务全部处理完毕
后，然后交换两个缓冲区，重新对新的缓冲区中的任务进行处理，虽然同时多线程写入也会冲突，但是冲突并不会像每次只处理一条的时候频繁（减少了生产者与消费者之间的锁冲突），且不涉及到空间的频繁申请释放所带来的消耗。

单个缓冲区的设计：直接存放格式化后的日志消息字符串，这样做的优点是：

  1. 减少了LogMsg对象频繁的构造的消耗
  2. 可以针对缓冲区中的日志消息，一次性进行IO操作，减少IO次数，提高效率

6.8 异步日志器(AsyncLogger)设计

异步日志器类继承自日志器类， 并在同步日志器类上拓展了异步消息处理器。

  1. 异步工作使用双缓冲区
    外界将任务数据添加到输入缓冲区中。异步线程对处理缓冲区中的数据进行处理，如果处理缓冲区中没有数据就交换缓冲区
  2. 回调函数：针对缓冲区中数据的处理接口，外界传入一个函数，告诉异步工作器如何处理

6.9 单例日志器管理类设计（单例模式）

日志的输出，我们希望能够在任意位置都可以进行，但是当我们创建了一个日志器之后，就会受到日志器所在作用域的访问属性限制。

为了突破访问区域的限制，我们创建一个日志器管理类，且这个类是一个单例类，这样的话，我们就可以在任意位置来通过管理器单例获取到指定的日志器来进行日志输出了。

单例管理器创建的时候，默认创建一个用于标准输出的打印日志器，让用户再不创建任何日志器的情况下，也能进行标准输出的打印，方便用户使用。

基于单例日志器管理器的设计思想，我们对于日志器建造者类进行继承，继承出一个全局日志器建造者类，实现一个日志器在创建完毕后，直接将其添加到单例的日志器管理器中，以便于能够在任何位置通过日志器名称能够获取到指定的日志器进行日志输出。

6.10 日志宏&全局接口设计（代理模式）

提供全局的日志器获取接口。
使用代理模式通过全局函数或宏函数来代理Logger类的log、debug、info、warn、error、fatal等接口，以便于控制源码文件名称和行号的输出控制，简化用户操作。
当仅需标准输出日志的时候可以通过主日志器来打印日志。 且操作时只需要通过宏函数直接进行输出即可。

7. 性能测试

下面对日志系统做一个性能测试，测试一下平均每秒能打印多少条日志消息到文件。
主要的测试方法是：每秒能打印日志数 = 打印日志条数 / 总的打印日志消耗时间
主要测试要素：同步/异步 & 单线程/多线程

  • 100w+条指定长度的日志输出所耗时间
  • 每秒可以输出多少条日志
  • 每秒可以输出多少MB日志

测试环境：

阿里云轻量应用服务器

CPU：2核 CPU

RAM：2GB

ROM：50GB ESSD

OS：CentOS 7.6

[Janonez@linux bench]$ ./bench 
// sync_logger - 同步单线程
测试日志: 1000000 条, 总大小: 97656KB线程[0]: 输出日志数量: 1000000, 耗时: 1.8201s总耗时: 1.8201 s每秒输出日志数量: 549420 条每秒输出日志大小: 53654KB// async_logger - 异步单线程
测试日志: 1000000 条, 总大小: 97656KB线程[0]: 输出日志数量: 1000000, 耗时: 1.67192s总耗时: 1.67192 s每秒输出日志数量: 598113 条每秒输出日志大小: 58409KB[Janonez@linux bench]$ ./bench 
// sync_logger - 同步多线程
测试日志: 1000000 条, 总大小: 97656KB线程[2]: 输出日志数量: 333333, 耗时: 1.57987s线程[1]: 输出日志数量: 333333, 耗时: 1.69374s线程[0]: 输出日志数量: 333333, 耗时: 1.72153s总耗时: 1.72153 s每秒输出日志数量: 580876 条每秒输出日志大小: 56726KB// async_logger - 异步多线程
测试日志: 1000000 条, 总大小: 97656KB线程[0]: 输出日志数量: 333333, 耗时: 1.14526s线程[2]: 输出日志数量: 333333, 耗时: 1.18942s线程[1]: 输出日志数量: 333333, 耗时: 1.26282s总耗时: 1.26282 s每秒输出日志数量: 791876 条每秒输出日志大小: 77331KB

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/71488.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Three.js】第二十一章 Physics 物理

【Three.js】第二十一章 Physics 物理

介绍 物理是WebGL可以添加到项目体验中最酷的功能之一。人们喜欢真实物理感的物体，看到它们碰撞、倒塌、坠落和弹跳，就像我的作品集一样： https: //bruno-simon.com/ 有很多方法可以将物理功能添加到您的项目中，这取决于您想要实…
阅读更多...
21.4 CSS 盒子模型

21.4 CSS 盒子模型

1. 边框样式 border-style属性: 指定元素的边框样式.常用属性值: - none: 无边框(默认值). - solid: 实线边框. - dotted: 点状边框. - dashed: 虚线边框. - double: 双线边框. - groove: 凹槽状边框. - ridge: 脊状边框. - inset: 内阴影边框. - outset: 外阴影边框.这些值可…
阅读更多...
使用SimPowerSystems并网光伏阵列研究（Simulink实现）

使用SimPowerSystems并网光伏阵列研究（Simulink实现）

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…
阅读更多...
C++：类和对象（二）

C++：类和对象（二）

本文主要介绍：构造函数、析构函数、拷贝构造函数、赋值运算符重载、const成员函数、取地址及const取地址操作符重载。 目录 一、类的六个默认成员函数 二、构造函数 1.概念 2.特性 三、析构函数 1.概念 2.特性 四、拷贝构造函数 1.概念 2.特征 五、赋值…
阅读更多...
TS编译选项

TS编译选项

自动监控编译 tsc xxx.ts -w 在一个文件夹下，创建 tsconfig.json 文件，在用命令 tsc 就可以自动编译当前文件夹下的ts文件 tsconfig.json文件配置如下： {/*tsconfig.json 是ts编译器的配置文件，ts编译器可以根据它的信息来对代…
阅读更多...
Jenkins+maven+testng+htmlreport单元自动化测试

Jenkins+maven+testng+htmlreport单元自动化测试

背景说明 为了可以在jenkins自动化运行单元测试的代码，所以使用maventestng的技术结合，达到手动或者定时去执行单元测试的代码，以便提高人工运行的自动化的效率。单元通过该方案也可以套用在httpclient框架去执行测试web api接口的自动化测试…
阅读更多...
2022年09月 C/C++（五级）真题解析#中国电子学会#全国青少年软件编程等级考试

2022年09月 C/C++（五级）真题解析#中国电子学会#全国青少年软件编程等级考试

C/C++编程（1~8级）全部真题・点这里 第1题：城堡问题 1 2 3 4 5 6 7 ############################# 1 # | # | # | | # #####—#####—#—#####—# 2 # # | # # # # # #—#####—#####—#####—# 3 # | | # # # # # #—#########—#####—#—# 4 # # | | | | # # ###########…
阅读更多...
2023高教社杯数学建模E题思路模型 - 黄河水沙监测数据分析

2023高教社杯数学建模E题思路模型 - 黄河水沙监测数据分析

# 1 赛题 E 题 黄河水沙监测数据分析 黄河是中华民族的母亲河。研究黄河水沙通量的变化规律对沿黄流域的环境治理、气候变 化和人民生活的影响， 以及对优化黄河流域水资源分配、协调人地关系、调水调沙、防洪减灾 等方面都具有重要的理论指导意义。 附件 1 给出了位…
阅读更多...
Opencv图像暗通道调优

Opencv图像暗通道调优

基于雾天退化模型的去雾算法，Opencv图像暗通道调优，（清华版代码）对普通相片也有较好的调优效果，相片更通透。 结合代码实际运行效果、算法理论模型、实际代码。我个人理解，实际效果是对图像的三个颜色通道…
阅读更多...
04架构管理之分支管理实践-一种git分支管理最佳实践

04架构管理之分支管理实践-一种git分支管理最佳实践

专栏说明：针对于企业的架构管理岗位，分享架构管理岗位的职责，工作内容，指导架构师如何完成架构管理工作，完成架构师到架构管理者的转变。计划以10篇博客阐述清楚架构管理工作，专栏名称：架构管理…
阅读更多...
PDF转Word的方法分享与注意事项。

PDF转Word的方法分享与注意事项。

PDF和Word是两种常用的文档格式，它们各有优点，适用于不同的场景。然而，有时候我们需要将PDF转换为Word，以便更好地进行编辑和排版。本文将介绍几种常用的PDF转Word的方法，并分享一些注意事项。 一、PDF转Word的方法 使…
阅读更多...
05-JVM内存分配机制深度剖析

05-JVM内存分配机制深度剖析

上一篇：04-JVM对象创建深度剖析 1.对象栈上分配 我们通过JVM内存分配可以知道JAVA中的对象都是在堆上进行分配，当对象没有被引用的时候，需要依靠GC进行回收内存，如果对象数量较多的时候，会给GC带来较大压力&#xff…
阅读更多...
按照xml文件和txt文件名，将对应名字的图象文件复制

按照xml文件和txt文件名，将对应名字的图象文件复制

按照xml文件和txt文件名，将对应名字的图象文件复制 需求分析解决方案 需求分析 就是已经标注了xml和txt文件，需要将其对应的图象文件挑选出来 解决方案 # 按照xml文件删除对应的图片 # coding: utf-8 from PIL import Image, ImageDraw, ImageFont imp…
阅读更多...
多维时序 | MATLAB实现GWO-GRU灰狼算法优化门控循环单元的多变量时间序列预测

多维时序 | MATLAB实现GWO-GRU灰狼算法优化门控循环单元的多变量时间序列预测

多维时序 | MATLAB实现GWO-GRU灰狼算法优化门控循环单元的多变量时间序列预测 目录 多维时序 | MATLAB实现GWO-GRU灰狼算法优化门控循环单元的多变量时间序列预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 MATLAB实现基于GWO-GRU灰狼算法优化门控循环单元的多变量时…
阅读更多...
dbeaver离线安装clickhouse连接驱动

dbeaver离线安装clickhouse连接驱动

Clickhouse 数据库连接工具——DBeaver 主要介绍了Clickhouse 数据库连接工具——DBeaver相关的知识，希望对你有一定的参考价值。 Clickhouse 数据库连接工具——DBeaver 1.下载 DBeaver 和 连接驱动 https://dbeaver.io/files/dbeaver-ce-latest-x86_64-setup.…
阅读更多...
如何实现软件的快速交付与部署？

如何实现软件的快速交付与部署？

一、低代码开发 微服务、平台化、云计算作为当前的IT技术热点，主要强调共享重用，它们促进了软件快速交付和部署。 但现实的痛点却是，大多数软件即使采用了微服务技术或者平台化思路，也难以做到通过软件共享重用来快速满足业务需求…
阅读更多...
【Spring面试】一、SpringBoot启动优化与Spring IoC

【Spring面试】一、SpringBoot启动优化与Spring IoC

文章目录 Q1、SpringBoot可以同时处理多少请求Q2、SpringBoot如何优化启动速度Q3、谈谈对Spring的理解Q4、Spring的优缺点Q5、Spring IoC容器是什么？作用与优点？Q6、Spring IoC的实现机制是什么Q7、IoC和DI的区别是什么Q8、紧耦合与松耦合的区别&#xf…
阅读更多...
Ubuntu yolov5 环境配置

Ubuntu yolov5 环境配置

查看Ubuntu版本 $ cat /proc/version Linux version 5.4.0-150-generic (builddbos03-amd64-012) (gcc version 7.5.0 (Ubuntu 7.5.0-3ubuntu1~18.04)) #167~18.04.1-Ubuntu SMP Wed May 24 00:51:42 UTC 2023虚拟机磁盘扩容 因为在环境搭建过程中遇到了磁盘空间不足的问题&a…
阅读更多...
伪静态web.config常见规则写法与参数介绍说明

伪静态web.config常见规则写法与参数介绍说明

伪静态web.config常见规则写法与参数介绍说明. 示例1&#xff1a; <?xml version"1.0" encoding"UTF-8"?> <configuration><system.webServer><rewrite><rules><rule name"规则 1" stopProcessing"tru…
阅读更多...
css flex:1；详解，配合demo效果解答

css flex:1；详解，配合demo效果解答

前言 给设置了display&#xff1a;flex的子组件设置了flex&#xff1a;1&#xff1b;就能让他填满整个容器&#xff0c;如果有多个就平均 flex&#xff1a;1&#xff1b;是另外三个样式属性的简写&#xff0c;等同 flex-grow: 0; flex-shrink: 1; flex-basis: auto;我们就针…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023