16、架构-可观测性-事件日志详细解析

 事件日志

事件日志是记录系统运行期间发生的离散事件的关键工具。它们在系统的可观测性中起着至关重要的作用,帮助开发者和运维人员追踪、分析和解决系统问题。以下是对事件日志处理各个方面的详细解析,并结合具体的数据案例和技术支撑。

 输出

日志输出是记录系统行为的基础步骤。输出日志的信息应包括系统执行的操作、发生的异常或警告以及定期任务等。一个好的日志输出应做到如下几点:

  1. 避免打印敏感信息:日志中不应包含密码、银行账号、身份证号等敏感信息。例如,在某次系统检查中发现某系统日志中打印了用户的密码,这是极其危险的行为,容易导致信息泄露。

  2. 避免引用慢操作:日志记录应尽量避免引用需要大量计算或远程调用的数据。例如,一个系统在记录用户行为时,直接调用数据库查询用户详细信息,导致日志记录操作耗时过长,影响系统性能。

  3. 处理请求时的TraceID:每个请求应带有唯一的TraceID,以便在分布式系统中追踪整个请求链条。例如,使用Spring Cloud Sleuth可以自动生成和记录TraceID,帮助在分布式系统中快速定位问题。

  4. 系统启动时输出配置信息:系统启动时应记录非敏感的配置信息,如数据库连接信息、临时目录路径等。这些信息有助于在系统出问题时进行诊断。

技术支撑和数据案例

在某金融系统中,通过Spring Cloud Sleuth为每个请求生成TraceID,并在日志中记录。所有日志集中收集到Elasticsearch中,运维人员可以通过Kibana查询和分析每个请求的详细链路,快速定位和解决问题。

收集与缓冲

分布式系统中的日志记录需要集中收集和缓冲,以便统一查询和分析。以下是日志收集与缓冲的几个关键点:

  1. 日志收集器的部署:在每个节点部署轻量级的日志收集器,如Filebeat,以收集日志并发送到集中存储系统。Filebeat作为一个轻量级的日志收集器,使用Golang编写,性能高效,适合大规模分布式系统的日志收集需求。

  2. 缓冲层的使用:面对突发流量时,可以在日志收集器和存储系统之间加入缓冲层,如Kafka或Redis,以削峰填谷。例如,某大规模系统每天的日志量超过10PB,使用Kafka作为缓冲层,有效缓解了Logstash和Elasticsearch的处理压力。

技术支撑和数据案例

某电商平台每天处理数百万次用户请求,日志量巨大。通过使用Filebeat收集日志,Kafka进行缓冲,Logstash进行加工和聚合,最终存储到Elasticsearch中。使用Kibana进行可视化分析,实现了对用户行为的实时监控和分析。

加工与聚合

收集到的日志通常是非结构化的,需要经过加工和聚合处理,以便后续查询和分析。以下是日志加工与聚合的几个步骤:

  1. 结构化日志数据:使用Logstash等工具将非结构化的日志数据转换为结构化数据。例如,将Nginx的访问日志解析为包含IP地址、请求时间、请求类型等字段的结构化数据。

  2. 日志聚合:在日志数据进入存储系统之前,先进行聚合处理。例如,统计某段时间内各类请求的数量,并生成相关的可视化报表。这样可以减少存储系统的实时计算压力。

技术支撑和数据案例

在某金融系统中,通过使用Logstash将非结构化的日志数据转换为结构化数据,并进行聚合处理。例如,统计每分钟内的交易请求数量,并生成可视化报表,方便分析交易高峰期和系统性能瓶颈。

 存储与查询

日志数据最终需要存储在高效的查询系统中,以便快速检索和分析。以下是存储与查询的几个关键点:

  1. Elasticsearch的使用:Elasticsearch作为日志存储和查询的核心组件,具有强大的全文检索和近实时查询能力。它可以与Kibana结合,提供强大的可视化和分析功能。例如,某系统使用Elasticsearch和Kibana进行日志分析,实现了对系统运行状态的实时监控和问题排查。

  2. 日志数据的索引和查询:在Elasticsearch中,对日志数据进行索引,使得查询操作更加高效。例如,通过索引TraceID字段,可以快速定位和分析分布式系统中的请求链路,帮助排查系统故障。

技术支撑和数据案例

某电商平台使用Elasticsearch和Kibana进行日志存储和查询,通过索引用户ID和请求时间字段,实现了对用户行为的快速检索和分析。例如,可以快速查询某用户在某段时间内的所有请求记录,帮助分析用户行为模式和系统异常。

总结

事件日志是分布式系统可观测性的重要组成部分。通过科学合理的日志输出、收集、缓冲、加工、聚合和存储查询,可以实现对系统运行状态的实时监控和问题排查。上述方法和技术,不仅适用于大规模分布式系统,也可以为中小型系统提供有效的解决方案。通过实际案例的分析,可以看到这些技术在提升系统可观测性方面的显著效果,为系统的稳定运行保驾护航。

扩展学习

为了更深入地理解和掌握事件日志的处理,可以参考以下资源和工具:

  1. Spring Cloud Sleuth:了解如何在分布式系统中实现请求追踪和日志记录。
  2. Filebeat:学习如何部署和配置Filebeat以实现日志收集。
  3. Kafka:了解Kafka在日志缓冲和消息传递中的应用。
  4. Logstash:学习如何使用Logstash进行日志数据的加工和聚合。
  5. Elasticsearch:深入学习Elasticsearch的索引和查询优化技术。
  6. Kibana:了解如何使用Kibana进行日志数据的可视化和分析。

通过对这些工具和技术的深入学习和实践,可以进一步提升系统的可观测性和日志管理能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/853005.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何优雅的删除正式环境中的大表

引起 MySQL 数据库性能抖动的原因有很多,比如大事务、定时批量查询等,而这些原因我们一般都会注意到。但是,有一个引起性能抖动的原因却经常被我们忽视,那就是在生产环境删除无用的大表,即 DROP TABLE。 一、为什么要 DROP TABLE? 生产环境中,为什么要 DROP TABLE?相…

周五美国股市总结,标普止步四日连涨,纳指五日连创新高,法股单周跌幅两年多最深

美国消费者信心意外下滑至七个月新低,通胀预期反弹,标普大盘脱离历史最高,道指连跌四日,罗素小盘股跌至六周新低,有分析称对经济担忧浮现。全周标普和纳指分别累涨1.6%和3.2%,都是八周里第七周上涨&#xf…

btstack协议栈实战篇--LE Peripheral - Delayed Response

btstack协议栈---总目录_bt stack是什么-CSDN博客 数据包处理器用于处理配对请求。 这里列出的是主要应用代码。它初始化了 L2CAP、安全管理器,并使用从 lecreditbasedflowcontrolmodeserver:gatt 生成的预编译 ATT 数据库来配置 ATT 服务器。最后,它配置广告…

mysql和redis备份和恢复数据的笔记

一、mysql的备份及恢复方法: 1.完全备份与恢复 1.1物理备份与恢复 物理备份又叫冷备份,需停止数据库服务,适合线下服务器 备份数据流程: 第一步:制作备份文件 systemctl stop mysqld #创建存放备份文件的目录 mkdir /bakdir …

连锁门店收银系统源码!

1.系统概况 智慧新零售系统是一套针对零售行业的saas收银系统,线下线上一体化的收银系统。核心功能涵盖了线下收银、小程序商城、会员管理、50营销插件、ERP进销存管理、跑腿配送等行业解决方案。 2.适用行业及门店 智慧新零售是针对零售行业的saas收银系统&#…

一文入门vim

先来波快问快答。 第一个问题,vim是什么? vim就是一文本编辑器。 第二个问题,我们为什么要使用vim? 好像在终端中可选择使用的文本编辑器也不多(其他有,但是相对而言vim用的比较广泛) 第三…

Java核心(四)反射

这篇内容叫反射也不够准确,其实它更像是java类加载的一个延申。 Java类加载过程 之前解释过一个Java的类的加载过程,现在回顾一下类的加载: 类的加载指的是将类的字节码文件(.class文件)中数据读入到内存中&#xff…

C语言之数组

目录 一、数组的概念 二、一维数组的使用 数组的创建 数组的初始化 数组的使用 三、一维数组在内存中的存储 四、sizeof计算数组元素个数 五、二维数组的使用 数组的创建 数组的初始化 数组的使用 六、二维数组在内存中的存储 七、C99中的变长数组 八、总结 一、…

暑假该不该选择打工兼职?

暑假是学生们放松心情、休息调整的重要时期,然而,也有越来越多的学生选择利用这段时间参与打工兼职活动。打工兼职不仅能为学生们提供经济来源,还能让他们提前接触社会,积累实践经验。然而,在参与打工兼职的过程中&…

ComfyUI 宝藏插件之辅助工具

今天我们就来分享下这个 ComfyUI 辅助脚本工具的功能。 插件安装,小伙伴们直接在管理器里搜索「ComfyUI-Custom-Scripts」,点击安装就可以了,这里再告诉小伙伴们一个小技巧,点击名称可以跳转到插件所在的官网哦。 没有安装管理器…

Elasticsearch:ES|QL 同步及 async 查询操作

目录 ES|QL query API 请求 前提条件 查询参数 请求正文 响应正文 ES|Q async query API 请求 前提条件 路径参数 请求正文 响应正文 ES|QL async query get API 请求 前提条件 路径参数 查询参数 响应正文 ES|QL async query delete API 请求 前提条件 …

Rust 实战丨并发构建倒排索引

引言 继上篇 Rust 实战丨倒排索引,本篇我们将参考《Rust 程序设计(第二版)》中并发编程篇章来实现高并发构建倒排索引。 本篇主要分为以下几个部分: 功能展示:展示我们最终实现的 2 个工具的效果(构建索…

python面试题3:什么是装饰器decorator(难度--简单)

文章目录 题目回答 题目 什么是装饰器(decorator)?(常考题) 回答 装饰器是一个高级功能,允许增加,修改函数,类,方法的行为。允许将现有函数传递给装饰器,该…

mac 本地启动rocketmq

Mac 本地起rocketmq 官网下载:RocketMq官网下载地址 下载后解压 如果电脑配置不高或者不希望rocketmq占用太大内存的,修改配置/bin/runbroker.sh JAVA_OPT"${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m"-Xmx4g 初始堆大小 4g -Xms4g 最大…

Python武器库开发-武器库篇之SMB服务暴力破解(五十五)

Python武器库开发-武器库篇之SMB服务暴力破解(五十五) SMB服务(Server Message Block)是一种用于文件共享、打印机共享和其他资源共享的网络协议。它最初由IBM开发,后来被微软广泛采用。 SMB服务允许多台计算机在网络上共享文件和资源&…

笔记本硬盘对拷:升级硬盘的好方法!

如今电子产品更新换代的速度不断加快,笔记本电脑的配置也日新月异。几年前购买的笔记本硬盘容量350G曾经令你感到相当满意。但时至今日,这样的容量是否已经显得有些落后?如果你想要升级硬盘,笔记本硬盘对拷是一个很好的选择。 需要…

Radis初阶 Radis基本命令与在Springboot中访问Radis

阿里网盘链接 文章目录 初始NoSQL数据库对比MySQL数据库从结构方面:从关系方面:从查询方式:从事物方面: Redis入门Redis数据结构访问Radis通用命令(tab键:自动补全)KEYSDELEXISTSEXPIRETTL Str…

第63集《摄大乘论》

《摄大乘论》,和尚尼慈悲、诸位法师、诸位居士,阿弥陀佛!(阿弥陀佛!)请大家打开《讲义》第二一一页,庚五、摄持。 我们这一大科讲到佛陀法身的功德,这当中有十门分别,这个地方是第五科。佛陀的…

Liquibase(Oracle SQLcl集成版)简明示例

本文使用的是Oracle SQLcl中集成的Liquibase,而非开源版Liquibase。 Liquibase的快速入门可以参见Liquibase Core Concepts。需要了解一下概念: Change log:基于文本的更改日志文件按顺序列出对数据库所做的所有更改Change set:…

LabVIEW开发中的常见通讯协议详解

介绍LabVIEW开发中常见的通讯协议,包括RS-232、RS-485、I2C、SPI、CAN、Ethernet、Modbus和GPIB等。通过对各协议的具体内容、特点、使用范围及注意事项进行全面解析,帮助开发者选择合适的通讯协议,提高系统性能和可靠性。 1. RS-232 内容&a…