统一日志管理方案：Spring项目logback日志与logstash和Elasticsearch整合

原创/朱季谦

最近在做一个将分布式系统的日志数据通过logstash传到kafka的功能，做完之后决定业余搭一个ELK日志分析系统，将logstash采集到的日志传给Elasticsearch。经过一番捣鼓，也把这个过程给走通了，于是写了这篇总结，可按照以下步骤搭建logstash采集spring日志数据并传输给Elasticsearch。

首先，logstash是一个开源的数据收集引擎，能够同时从多个来源采集到数据，并将数据转发到想存储的“库”中。例如，logstash可以采集数据转发存储到Elasticsearch，也可以转发到kafka等消息中间件里。logstash拥有强大的插件生态，包括基本的http、tcp、udp、file以及kafa、redis等等。这些插件，在logstash5.x版本以上的，是已经自带了，不需要额外安装。

在基于ssm的开发过程中，运行Spring项目时，可以在控制台上看到log的日志打印信息，我们可以把这些日志信息的ERROR日志进行监听和转发存储。

如何实现logstash来监听Spring项目的日志并将ERROR数据进行转发存储呢？

部署架构图：

本地验证环境：win10，Spring+Mybatis+logback.xml

可以按照以下流程来实现：

1.下载logstash。

根据以下地址来网盘获取logstash-5.5.2版本的：

链接：https://pan.baidu.com/s/1h7xo65P7_O76Azt0-I-2-A

提取码：95vg

还可以官网下载：Download Logstash Free | Get Started Now | Elastic

2.安装logstash

直接把压缩包压缩到本地某个盘里就可以了，不需要做额外操作了，5.x以上版本的logstash是不需要安装其他插件，已经自带大部分插件。

3.验证是否安装成功

运行cmd，进入logstash的bin目录下，运行指令：logstash -e 'input{stdin{}} output{stdout{}}'

运行成功的截图如下，即为安装并启动成功：

启动以后，在光标处输入：hellowrold

正常情况下，会显示以下信息，证明logstash可以正常使用了。

在这个过程里，涉及到几个概念，logstash是一个管道，里面有两个input和output的必选元素，即输入与输出，之间还可以有一个可选的过滤器filter过滤器。input插件从源头获取到数据，过滤器会根据条件来进行修改，最后通过ouput插件将数据传输，可输出给Elasticsearch、kafka、file

等。

处理过程模型图如下：

Logstash 提供了一个 shell 脚本叫 logstash，支持以下运行参数：

执行命令： -e 执行-e后面的参数：logstash -e 'input{stdin{}} output{stdout{}}'

执行文件: --config 或 -f 执行-f后面的conf文件：logstash -f logstash.conf

输入插件：input{ … }

过滤插件：filter{ … }

输出插件：output{ … }

测试配置文件是否正确，然后退出：-t

在这篇文章里，主要用到以上这些命令，其余读者若感兴趣可以自行去研究探索。

4.配置一个文件**.conf

可以在bin目录或者config目录或者其他目录下，新建一个**.conf文件，我选择的是bin目录下，新建文件logstash.conf，截图如下：

在logstash.conf文件里配置信息：

复制代码

 1 input { stdin { } }#该行可有可无，写来打印测试而已2 input {3     #开启tcp插件的监听4     tcp {5     #这个需要配置成本机IP，不然logstash无法启动6     host => "127.0.0.1"7     #端口号8     port => 96009     #将日志以json格式输入
10     codec => json_lines
11   }
12 }
13 
14 output {
15    #输出打印
16     stdout { codec => rubydebug } 
17 }

复制代码

配置好，就可以先启动进行监听了，启动命令：先cd进到存放logstash.conf的目录下，我的目录在bin里，所以进入的是bin目录，执行：logstash -f logstash.conf。

5.在spring进行logstash配置的maven依赖引入

我在项目里用到的开源日志组件是logback，它是log4j的改良，主要分为以下三个模块：

logback-classic：log4j的一个改良版本，完整实现了slf4j API，可以方便更换成其它日志系统如log4j或JDK14 Logging。

logback-access：访问模块与Servlet容器集成提供通过Http来访问日志的功能。

logback-core：是其它两个模块的基础模块。

logback需要在maven里引用到的依赖：

复制代码

<dependency><groupId>ch.qos.logback</groupId><artifactId>logback-classic</artifactId><version>1.2.3</version>
</dependency>
<dependency><groupId>ch.qos.logback</groupId><artifactId>logback-core</artifactId><version>1.2.3</version>
</dependency>
<dependency><groupId>ch.qos.logback</groupId><artifactId>logback-access</artifactId><version>1.2.3</version>
</dependency>
<dependency><groupId>net.logstash.log4j</groupId><artifactId>jsonevent-layout</artifactId><version>1.6</version>
</dependency>
<dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>5.0</version>
</dependency>

复制代码

如果引用到的ch.qos.logback依赖版本太低的话，可能会出现以下错误：java.lang.NoSuchMethodError: ch.qos.logback.core.util.Loader.getResourceOccurrenceCount(Ljava/lang/String;Ljava/lang/ClassLoader;)Ljava/util/Set;

可以根据项目需求来选择合适的版本，经过测试，以上的1.2.3版本是可以符合要求的。配置完成依赖后，就可以开始进行下一步配置。

6.在spring的logback.xml里进行logstash配置（省略logback其余无关该流程的部分）

复制代码

 1 <!--开启tcp格式的logstash传输，通过TCP协议连接Logstash-->2 <appender name="STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">3     <destination>127.0.0.1:9600</destination>4 5     <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">6         <jsonFactoryDecorator class="net.logstash.logback.decorate.CharacterEscapesJsonFactoryDecorator">7             <escape>8                 <targetCharacterCode>10</targetCharacterCode>9                 <escapeSequence>\u2028</escapeSequence>
10             </escape>
11         </jsonFactoryDecorator>
12         <providers>
13             <pattern>
14                 <pattern>
15                     {
16                     "timestamp":"%date{ISO8601}",
17                     "user":"test",
18                     "message":"[%d{yyyy-MM-dd HH:mm:ss.SSS}][%p][%t][%l{80}|%L]%m"}%n
19                     }
20                 </pattern>
21             </pattern>
22         </providers>
23     </encoder>
24     <keepAliveDuration>5 minutes</keepAliveDuration>
25 </appender>
26 
27 <root level="INFO">
28     <appender-ref ref="STASH"/>
29 </root>

复制代码

配置说明：

encoder：配置的规范；

LoggingEventCompositeJsonEncoder：json格式的编码器，即将日志数据转换成json格式；

jsonFactoryDecorator：解决中文转码的问题；

providers：json格式提供者，对json进行一个定制化设置，比如，timestamp，message，thread_name等，其他的自定义的字段的值可以通过MDC设置进来，格式就是%date{xx},

注意：按照上面的设置，logstash才可以正常接收到日志数据，否则是无法接收到的。

destination定义的ip与端口与logstash里的logstash.conf需一直，logstash.conf里的tcp会一直监听这个ip的端口：

配置完成后，启动spring项目，这时原来监听tcp的logstash就可以实时监听接收到了数据，logstash的控制台显示打印如下：

若要监听到的是ERROR级别的日志，在logback.xml里的logstash配置里的appender里添加一行以下代码即可：

复制代码

<filter class="ch.qos.logback.classic.filter.ThresholdFilter"><level>ERROR</level>
</filter>

复制代码

复制代码

在日志级别修改为以下即可：
1  <root level="INFO">
2     <appender-ref ref="STASH"/>
3     <appender-ref ref="ERROR"/>
4  </root>

复制代码

 7.到这一步，就完成了通过logstash收集spring的logback日志的功能，在这个基础上，可以再进一步扩展，扩展将logstash采集到的数据输出到Elasticsearch。

复制代码

 1  input { stdin { } }#该行可有可无2  input {3      #开启tcp模式的监听4      tcp {5      #这个需要配置成本机IP，不然logstash无法启动6      host => "127.0.0.1"7      #端口号8      port => 96009      #将日志以json格式输入
10      codec => json_lines
11     }
12 }
13  
14 output {
15     #输出打印
16     stdout { codec => rubydebug } 
17     elasticsearch { hosts => ["127.0.0.1:9200"] }
18 }

复制代码

 打开已经本地安装的Elasticsearch：http://127.0.0.1:9100/，可以看到，ES可以接受到logstash接收到的数据了：

 同理，可根据以上方案在分布式架构环境当中，集成各个模块的日志，统一推送到Elasticsearch里。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/231789.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Linux发行版比较：Ubuntu、CentOS、Red Hat与其他系统的优劣分析

Linux发行版比较：Ubuntu、CentOS、Red Hat与其他系统的优劣分析

导言 Linux作为开源操作系统&#xff0c;有众多不同的发行版&#xff0c;每个发行版都有其独特的特性和适用场景。本文将聚焦于比较Ubuntu、CentOS、Red Hat和其他系统&#xff0c;深入分析它们的优势、用途以及在不同领域的应用。Linux操作系统的生态系统中&#xff0c;Ubuntu…
阅读更多...
SpringCloudAliBaba篇之Seata：分布式事务组件理论与实践

SpringCloudAliBaba篇之Seata：分布式事务组件理论与实践

1、事务简介 事务(Transaction)是访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。在关系数据库中&#xff0c;一个事务由一组SQL语句组成&#xff0c;事务具有4个属性&#xff1a;原子性、一致性、隔离性、持久性。这四个属性通常称为ACID原则。 原子性(atomici…
阅读更多...
【AI提示词专栏】提示词思维导图帮助

【AI提示词专栏】提示词思维导图帮助

提示词重要作用 提示词&#xff0c;就像是我们生活中的“小助手”或者“贴心小棉袄”&#xff0c;总是在关键时刻给我们提供帮助和指引。它们就像那些无处不在的小标签&#xff0c;时刻提醒我们该做什么、不该做什么&#xff0c;或者给我们一些有趣的启示。 比如&#xff0c;在…
阅读更多...
HarmonyOS4.0从零开始的开发教程19HarmonyOS应用/元服务上架

HarmonyOS4.0从零开始的开发教程19HarmonyOS应用/元服务上架

HarmonyOS&#xff08;十七&#xff09;HarmonyOS应用/元服务上架 概述 当您开发、调试完HarmonyOS应用/元服务&#xff0c;就可以前往AppGallery Connect申请上架&#xff0c;华为审核通过后&#xff0c;用户即可在华为应用市场获取您的HarmonyOS应用/元服务。 HarmonyOS会…
阅读更多...
HTML_CSS的基本选择器的使用及其作用范围和优先级

HTML_CSS的基本选择器的使用及其作用范围和优先级

目录 ✨CSS的使用&#xff1a;行内样式内部样式外部样式 ✨CSS基本选择器&#xff1a;id选择器class选择器标签选择器 ✨优先级&#xff1a;选择器的优先级样式表的优先级 ✨CSS的使用&#xff1a; 根据定义CSS的位置不同&#xff0c;分为行内样式、内部样式和外部样式 行内样…
阅读更多...
美颜SDK技术对比，深入了解视频美颜SDK的工作机制

美颜SDK技术对比，深入了解视频美颜SDK的工作机制

如何在实时视频中呈现更加自然、美丽的画面&#xff0c;而这正是美颜SDK技术发挥作用的领域之一。本文将对几种主流视频美颜SDK进行深入比较&#xff0c;以揭示它们的工作机制及各自的优劣之处。 随着科技的不断进步&#xff0c;美颜技术已经从简单的图片处理发展到了视频领域…
阅读更多...
AI绘画室内设计提示词大全（持续更新）

AI绘画室内设计提示词大全（持续更新）

当你开始使用AI绘画进行室内设计&#xff08;interior design&#xff09;时&#xff0c;选择合适的提示词和关键概念对于成功构思和实现你的设计理念至关重要。以下是一些关于室内设计的提示词&#xff0c;涵盖了空间类型、设计风格、光线效果、布局规划、材料类型以及其他要求…
阅读更多...
硬件基础-电容

硬件基础-电容

电容 本质&#xff1a;电容两端电压不能激变&#xff0c;所以可以起到稳定电压作用。充放电。 电容量的大小: 想使电容容量大:①使用介电常数高的介质 ②增大极板间的面积 ③减小极板间的距离。 品牌 国外&#xff1a;村田 muRata、松下 PANASONIC、三星 SAMSUNG、太诱 TAI…
阅读更多...
sql_lab靶场搭建以及存在的一些问题

sql_lab靶场搭建以及存在的一些问题

sql_lab靶场搭建问题 首先检查小皮版本 把小皮改到5.3.29版本如果没有可以直接点击更多版本进行选择安装 当版本不对时则会暴出这种错误 SETTING UP THE DATABASE SCHEMA AND POPULATING DATA IN TABLES: Fatal error: Uncaught Error: Call to undefined function mysql_co…
阅读更多...
2018年第七届数学建模国际赛小美赛A题空中加油飞行计划解题全过程文档及程序

2018年第七届数学建模国际赛小美赛A题空中加油飞行计划解题全过程文档及程序

2018年第七届数学建模国际赛小美赛 A题 空中加油飞行计划 原题再现&#xff1a; 太平洋中部一个小岛上的居民被自然灾害困住。救援人员需要派遣一架轻型飞机运送少量急救药品到岛上&#xff0c;并运送一名重伤者到医疗基地求救。岛上有一个无人值守的简易机场&#xff0c;可以…
阅读更多...
50ms时延工业相机

50ms时延工业相机

华睿工业相机A3504CG000 参数配置&#xff1a; 相机端到端理论时延&#xff1a;80ms 厂家同步信息&#xff0c;此款设备帧率上线23fps&#xff0c;单帧时延&#xff1a;43.48ms&#xff0c;按照一图缓存加上传输显示的话&#xff0c;厂家预估时延在&#xff1a;80ms 厂家还有…
阅读更多...
基于Docker Compose的容器编排技术

基于Docker Compose的容器编排技术

1.1 介绍一下 Docker 建议我们每⼀个容器中只运⾏⼀个服务&#xff0c;因为 Docker 容器本身占⽤资源极少&#xff0c;所以最好是 将每个服务单独的分割开来但是这样我们⼜⾯临了⼀个问题&#xff1f; 如果我需要同时部署好多个服务&#xff0c;难道要每个服务单独写 Dockerf…
阅读更多...
深入了解Linux信号：作用、产生、捕捉和阻塞

深入了解Linux信号：作用、产生、捕捉和阻塞

这里写目录标题 引言1. 信号的基本概念1.1 信号的分类和编号&#xff1a;1.2 查看信号默认处理动作1.3 信号的作用1.4 信号的产生 2. 常见信号及其作用示例 3. 信号捕捉和处理3.1 信号捕捉函数3.2 sigaction 函数示例 4. 信号阻塞示例 结语 引言 Linux操作系统中&#xff0c;信…
阅读更多...
EM（Expectation-Maximum）算法

EM（Expectation-Maximum）算法

EM算法 简介 EM算法的核心分为两步 E步&#xff08;Expection-Step&#xff09;M步&#xff08;Maximization-Step&#xff09; 因为在最大化过程中存在两个参量 r , θ r,\theta r,θ&#xff0c;其中若知道 r r r&#xff0c;则知道 θ \theta θ&#xff1b;若知道 θ \…
阅读更多...
机器学习之线性回归（Linear Regression）

机器学习之线性回归（Linear Regression）

概念 线性回归（Linear Regression）是机器学习中的一种基本的监督学习算法，用于建立输入变量（特征）与输出变量（目标）之间的线性关系。它假设输入变量与输出变量之间存在线性关系，并试图找到最佳拟合线来描述这种关系。 在简单线性回归中，只涉及两个变量：一个是自变量…
阅读更多...
Go环境安装

Go环境安装

目录 下载地址 安装 macos环境 window及其他环境 GOPROXY 非常重要 Go开发编辑器 下载地址 Go官网下载地址&#xff1a;https://golang.org/dl/ Go官方镜像站&#xff08;推荐&#xff09;&#xff1a;https://golang.google.cn/dl/ 选择要下载的系统版本&#xff1a; 安装 注意…
阅读更多...
Github 2023-12-19开源项目日报 Top10

Github 2023-12-19开源项目日报 Top10

根据Github Trendings的统计&#xff0c;今日(2023-12-19统计)共有10个项目上榜。根据开发语言中项目的数量&#xff0c;汇总情况如下&#xff1a; 开发语言项目数量Python项目4Rust项目2非开发语言项目2C#项目1TypeScript项目1 Avalonia: 跨平台UI框架和Avalonia XPF 创建周…
阅读更多...
弹幕情感分析可视化

弹幕情感分析可视化

弹幕情感分析可视化 引言1. 弹幕数据爬取2. 弹幕数据处理3. 弹幕数据可视化4. 弹幕情感分析5. 创新点&#xff1a;弹幕情感倾向分布 引言 当今互联网时代&#xff0c;大量的弹幕数据蕴含着丰富的信息&#xff0c;通过对这些数据进行分析和可视化&#xff0c;我们能够深入了解用…
阅读更多...
端口占用命令 netstat (centos)+netstat (windows)

端口占用命令 netstat (centos)+netstat (windows)

linux 1.使用 netstat 命令查看端口占用情况 netstat -tlnp 使用 -p 选项查看进程信息。 使用 -t 选项列出 TCP 协议的连接&#xff1a;类似&#xff08;使用 -u 选项列出 UDP 协议的连接&#xff1a;&#xff09; 2.查找占用指定端口号的应用信息 netstat -tlnp | grep 3…
阅读更多...
输电线路定位：精确导航，确保电力传输安全

输电线路定位：精确导航，确保电力传输安全

在现代社会中&#xff0c;电力作为生活的基石&#xff0c;其安全稳定运行至关重要。而输电线路作为电力传输的重要通道&#xff0c;其故障定位和修复显得尤为重要。恒峰智慧科技将为您介绍一种采用分布式行波测量技术的输电线路定位方法&#xff0c;以提高故障定位精度&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023