SpringBoot接入轻量级分布式日志框架GrayLog

1.前言

日志在我们日常开发定位错误，链路错误排查时必不可少，如果我们只有一个服务，我们可以只简单的通过打印的日志文件进行排查定位就可以，但是在分布式服务环境下，多个环境的日志统一收集、展示则成为一个问题。目前主流的日志收集服务ELK，即便没用过肯定大家也肯定听说过，就是Elasticsearch + Logstash + Kibana：

  • Elasticsearch：存储引擎，存放日志内容，利于全文检索
  • Logstash：数据传输管道，将日志内容传输到Elasticsearch，并且支持过滤内容，将内容格式化后再传输，可以满足绝大部分的应用场景
  • Kibana：开源的分析和可视化平台，在这里查看Elasticsearch中的数据

ELK有点重，服务占用资源高，并且部署和维护有些复杂,所以后面又衍生出：EFK
Elasticsearch + Filebeat + Kibana，用Filebeat替代Logstash做日志的收集，它是由Golang开发，够轻量，占用资源少，如果没有过滤日志内容进行格式化的需求，用这个替代Logstash确实是很不错的选择。

但今天给大家分享一个更加轻量级别的ELK日志框架，就是GrayLog
在这里插入图片描述

Graylog整合方案是使用 Elasticsearch 来存储，使用 MongoDB 来缓存，并且还有带流量控制的（throttling），同时其界面查询简单易用且易于扩展。

2.Graylog介绍

Graylog 日志监控系统Graylog 是一个开源的日志聚合、分析、审计、展现和预警工具。在功能上来说，和 ELK 类似，但又比 ELK 要简单很多。

依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐。当然，在扩展性上面确实没有比 ELK 好，但是其有商业版本可以选择。

2.1 Graylog 工作流程介绍

部署 Graylog 最简单的架构就是单机部署，复杂的也是部署集群模式，架构图示如下所示。
在这里插入图片描述
在这里插入图片描述

我们可以看到其中包含了三个组件，分别是 Elasticsearch、MongoDB 和 Graylog。

其中

  • Elasticsearch 用来持久化存储和检索日志文件数据（IO 密集）
  • MongoDB 用来存储关于 Graylog 的相关配置
  • Graylog 来提供 Web 界面和对外接口的（CPU 密集）

2.2 Graylog 组件功能

配置 Graylog 服务的核心就是理解对应组件的功能以及其运作方式！

简单来讲，Input 表示日志数据的来源，对不同来源的日志可以通过 Extractors 来进行日志的字段转换，比如将 Nginx 的状态码变成对应的英文表述等。

然后，通过不同的标签类型分组成不用的 Stream，并将这些日志数据存储到指定的Index 库中进行持久化保存。
在这里插入图片描述

Graylog 中的核心服务组件如下图所示：
在这里插入图片描述

具体流程如下：
1.Graylog 通过 Input 搜集日志，每个 Input 单独配置 Extractors 用来做字段转换。

2.Graylog 中日志搜索的基本单位是 Stream，每个 Stream 可以有自己单独的 Elastic Index Set，也可以共享一个 Index Set。

3.Extractor 在 System/Input 中配置。Graylog 中很方便的一点就是可以加载一条日志，然后基于这个实际的例子进行配置并能直接看到结果。

4.内置的 Extractor 基本可以完成各种字段提取和转换的任务，但是也有些限制，在应用里写日志的时候就需要考虑到这些限制。Input 可以配置多个 Extractors，按照顺序依次执行。

5.系统会有一个默认的 Stream，所有日志默认都会保存到这个 Stream 中，除非匹配了某个 Stream，并且这个 Stream 里配置了不保存日志到默认 Stream。

6.可以通过菜单 Streams 创建更多的 Stream，新创建的 Stream 是暂停状态，需要在配置完成后手动启动。

7.Stream 通过配置条件匹配日志，满足条件的日志添加 stream ID 标识字段并保存到对应的 Elastic Index Set 中。

8.Index Set 通过菜单 System/Indices 创建。日志存储的性能，可靠性和过期策略都通过 Index Set 来配置。

9.性能和可靠性就是配置 Elastic Index 的一些参数，主要参数包括，Shards 和 Replicas。

除了上面提到的日志处理流程，Graylog 还提供了 Pipeline 脚本实现更灵活的日志处理方案。

这里不详细阐述，只介绍如果使用 Pipelines 来过滤不需要的日志。下面是丢弃 level > 6 的所有日志的 Pipeline Rule 的例子。

rule "discard debug messages"
whento_long($message.level) > 6
thendrop_message();
end

从数据采集（input），字段解析（extractor），分流到 stream，再到 Pipeline 的清洗，一气呵成，无需在通过其他方式进行二次加工。

Sidecar 是一个轻量级的日志采集器，通过访问 Graylog 进行集中式管理，支持 Linux 和 windows 系统。

Sidecar 守护进程会定期访问 Graylog 的 REST API 接口获取 Sidecar 配置文件中定义的标签（tag），Sidecar 在首次运行时会从 Graylog 服务器拉取配置文件中指定标签（tag）的配置信息同步到本地。

目前 Sidecar 支持 NXLog，Filebeat 和 Winlogbeat。他们都通过 Graylog 中的 web 界面进行统一配置，支持 Beats、CEF、Gelf、Json API、NetFlow 等输出类型。

Graylog 最厉害的在于可以在配置文件中指定 Sidecar 把日志发送到哪个 Graylog 群集，并对 Graylog 群集中的多个 input 进行负载均衡，这样在遇到日志量非常庞大的时候，Graylog 也能应付自如。

日志集中保存到 Graylog 后就可以方便的使用搜索了。不过有时候还是需要对数据进行近一步的处理。

主要有两个途径:

  • 直接访问 Elastic 中保存的数据
  • 通过 Graylog 的 Output 转发到其它服务

更多grayLog的介绍可异步至：https://docs.graylog.org/docs

3.部署Graylog

新建一个docker-compose-graylog.yml 的内容：（PS：上面的官方使用文档中就有，也可以跟着我的思路直接复制粘贴也可以）

version: '3'
services:mongo:image: mongo:4.2networks:- graylogelasticsearch:image: docker.elastic.co/elasticsearch/elasticsearch-oss:7.10.2environment:- http.host=0.0.0.0- transport.host=localhost- network.host=0.0.0.0- "ES_JAVA_OPTS=-Dlog4j2.formatMsgNoLookups=true -Xms512m -Xmx512m"ulimits:memlock:soft: -1hard: -1deploy:resources:limits:memory: 1gnetworks:- grayloggraylog:image: graylog/graylog:4.2environment:- GRAYLOG_PASSWORD_SECRET=somepasswordpepper- GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918- GRAYLOG_HTTP_EXTERNAL_URI=http://127.0.0.1:9000/ # 这里注意要改ip- GRAYLOG_TIMEZONE=Asia/Shanghai- GRAYLOG_ROOT_TIMEZONE=Asia/Shanghaientrypoint: /usr/bin/tini -- wait-for-it elasticsearch:9200 --  /docker-entrypoint.shnetworks:- graylogrestart: alwaysdepends_on:- mongo- elasticsearchports:- 9000:9000- 1514:1514- 1514:1514/udp- 12201:12201- 12201:12201/udp
networks:graylog:driver: bridg

这个文件里唯一需要改动的就是 ip

嗯，写完 docker-compose-graylog.yml 文件，直接运行：

docker-compose -f docker-compose-graylog.yml up -d

即可
在这里插入图片描述

如果没有安装docker-compose的可以移步至此：Docker-Compose安装教程
如果出现以下错误：

failed to create network docker-compose_graylog: Error response from daemon: plugin "bridg" not found

在这里插入图片描述

可以先通过指令：

docker network create docker-compose_graylog

注意：docker-compose_graylog需要和你报错的network名称一致
然后再输入启动指令

docker-compose -f docker-compose-graylog.yml up -d

启动以后，我们就可以通过 ip:port（127.0.0.1:9000） 访问对应的Graylog后台地址了，默认的账号和密码是 admin/admin启动以后，我们就可以通过 ip:port 访问对应的Graylog后台地址了
在这里插入图片描述

随后，我们配置下 inputs 的配置，找到 GELF UDP ，然后点击 Launch new input ，只需要填写 Title 字段，保存就可以了（其他不用动）。
在这里插入图片描述

在这里插入图片描述

至此，gray-log配置完成

4.SpringBoot集成GrayLog

4.1 引入依赖

<dependency><groupId>de.siegmar</groupId><artifactId>logback-gelf</artifactId><version>3.0.0</version>
</dependency>

4.2 新增相关配置

接着在项目的resources目录下，新建一个logback.xml文件，编辑文件内容如下：

<?xml version="1.0" encoding="UTF-8"?><configuration scan="true" scanPeriod="10 seconds"><contextName>logback</contextName><!-- 格式化输出：%date表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度 %msg：日志消息，%n是换行符--><property name="LOG_PATTERN" value="%date{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n"/><!--    <property name="LOG_PATTERN"--><!--              value="%red(%d{yyyy-MM-dd HH:mm:ss}) %green([%thread]) %highlight(%-5level) %boldMagenta(%logger) - %cyan(%msg%n)"/>--><!-- 定义日志存储的路径，不要配置相对路径 --><!--    <property name="FILE_PATH" value="C:/Users/NineSun/Desktop/log/identity-log.%d{yyyy-MM-dd}.%i.log"/>--><!--0. 日志格式和颜色渲染 --><!-- 彩色日志依赖的渲染类 --><conversionRule conversionWord="clr"converterClass="org.springframework.boot.logging.logback.ColorConverter"/><conversionRule conversionWord="wex"converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/><conversionRule conversionWord="wEx"converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/><!-- 彩色日志格式 --><property name="CONSOLE_LOG_PATTERN"value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/><appender name="GELF" class="de.siegmar.logbackgelf.GelfUdpAppender"><graylogHost>127.0.0.1</graylogHost><graylogPort>12201</graylogPort><!-- 最大GELF数据块大小（单位：字节），508为建议最小值，最大值为65467 --><maxChunkSize>508</maxChunkSize><!-- 是否使用压缩 --><useCompression>true</useCompression><encoder class="de.siegmar.logbackgelf.GelfEncoder"><!-- 是否发送原生的日志信息 --><includeRawMessage>true</includeRawMessage><includeMarker>true</includeMarker><includeMdcData>true</includeMdcData><includeCallerData>true</includeCallerData><includeRootCauseData>true</includeRootCauseData><!-- 是否发送日志级别的名称，否则默认以数字代表日志级别 --><includeLevelName>true</includeLevelName><shortPatternLayout class="ch.qos.logback.classic.PatternLayout"><pattern>%m%nopex</pattern></shortPatternLayout><fullPatternLayout class="ch.qos.logback.classic.PatternLayout"><pattern>%d - [%thread] %-5level %logger{35} - %msg%n</pattern></fullPatternLayout><!-- 配置应用名称（服务名称），通过staticField标签可以自定义一些固定的日志字段 --><staticField>app_name:test</staticField></encoder></appender><!-- 控制台输出日志 --><appender name="console" class="ch.qos.logback.core.ConsoleAppender"><!-- 日志级别过滤INFO以下 --><filter class="ch.qos.logback.classic.filter.ThresholdFilter"><level>info</level></filter><encoder><!-- 按照上面配置的LOG_PATTERN来打印日志 --><pattern>${CONSOLE_LOG_PATTERN}</pattern></encoder></appender><!-- 日志输出级别 --><root level="debug"><appender-ref ref="GELF"/><appender-ref ref="console"/></root>
</configuration>

在appilcation.properties配置文件中设置日志配置文件

logging.config=classpath:logback.xml

在这个配置信息里，唯一要改的也只是 ip 的地址，重新启动项目，到这里接入就完毕了，我们再打开控制台，就能看到日志的信息啦。
在这里插入图片描述

4.3 graylog常用操作

1.graylog各个功能介绍

在这里插入图片描述

2.报警与通知

在这里插入图片描述

由于报警与通知种类较多，后面会专出一篇文章来介绍，此处先跳过

3.stream流

这个过程也相对复杂一点，不在本文中赘述，防止影响篇幅，后面也会专门介绍，此处只简单介绍一下其功能

默认情况下是需要配置一个input 就可以自动与all-message streams绑定 做到开箱即用

但是我们有可能想对不同的项目，使用不同的streams 使用不同的索引管理日志，例如 nginx的日志保存3天 业务日志保存一个月

input streams index 的关系如下
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/230776.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

基于CNN+数据增强+残差网络Resnet50的少样本高准确度猫咪种类识别—深度学习算法应用(含全部工程源码)+数据集+模型（一）

基于CNN+数据增强+残差网络Resnet50的少样本高准确度猫咪种类识别—深度学习算法应用(含全部工程源码)+数据集+模型（一）

系列文章目录 基于CNN数据增强残差网络Resnet50的少样本高准确度猫咪种类识别—深度学习算法应用(含全部工程源码)数据集模型&#xff08;一&#xff09; 基于CNN数据增强残差网络Resnet50的少样本高准确度猫咪种类识别—深度学习算法应用(含全部工程源码)数据集模型&#xf…
阅读更多...
1U、2U、4U和42U服务器，看完秒懂！

1U、2U、4U和42U服务器，看完秒懂！

晚上好&#xff0c;我的网工朋友。 服务器是一个很广泛的概念&#xff0c;涵盖了各种类型和规格的计算机&#xff0c;用于提供各种网络和数据服务。 而机架服务器是当前数据中心和专业计算环境中&#xff0c;使用最为广泛的服务器类型之一。 机架式服务器的外形看来不像计算…
阅读更多...
C++面试宝典第7题：重载自增自减运算符

C++面试宝典第7题：重载自增自减运算符

题目 编程实现一个自定义类CMyInteger，它重载了前缀和后缀形式的++和--操作符。同时，CMyInteger类还有一个Print成员函数，用于输出内部成员变量的值。完成该类后，下面使用CMyInteger的代码应能够编译通过，并得到与内置整形int相同的效果。 int main() {CMyInteger mi1(10…
阅读更多...
考研英语一图表作文必背模版句

考研英语一图表作文必背模版句

英语一的作文还是很靠日常积累的&#xff0c;依据潘赟老师的九宫格理论&#xff1a; 2——图画描述5——意义论证8——建议措施 这3个模块式最为核心也是最容易拉开分差的&#xff0c;对于时间有限的同志不建议忙下功夫浪费时间&#xff0c;而对于另外6个模块&#xff0c;还是…
阅读更多...
Flink系列之：自定义函数

Flink系列之：自定义函数

Flink系列之&#xff1a;自定义函数 一、自定义函数二、概述三、开发指南四、函数类五、求值方法六、类型推导七、自动类型推导八、定制类型推导九、确定性十、内置函数的确定性十一、运行时集成十二、标量函数十三、表值函数十四、聚合函数十五、表值聚合函数 一、自定义函数 …
阅读更多...
【深度学习目标检测】八、基于yolov5的抽烟识别（python，深度学习）

【深度学习目标检测】八、基于yolov5的抽烟识别（python，深度学习）

YOLOv5是目标检测领域一种非常优秀的模型&#xff0c;其具有以下几个优势&#xff1a; 1. 高精度&#xff1a;YOLOv5相比于其前身YOLOv4&#xff0c;在目标检测精度上有了显著的提升。YOLOv5使用了一系列的改进&#xff0c;如更深的网络结构、更多的特征层和更高分辨率的输入图…
阅读更多...
Git及Linux命令介绍

Git及Linux命令介绍

Git介绍 Git 命令如何工作 首先&#xff0c;必须确定我们的代码存储在哪里。常见的假设是只有两个位置 - 一个位于 Github 等远程服务器上&#xff0c;另一个位于我们的本地计算机上。然而&#xff0c;这并不完全准确。 Git 在我们的机器上维护了三个本地存储&#xff0c;这意…
阅读更多...
Linux-----12、时间日期

Linux-----12、时间日期

# 时间日期 # 时区设置 在Linux (opens new window)系统中&#xff0c;默认使用的是UTC时间。 即使在安装系统的时候&#xff0c;选择的时区是亚洲上海&#xff0c;Linux默认的BIOS时间&#xff08;也称&#xff1a;硬件时间&#xff09;也是UTC时间 (opens new window)。 在…
阅读更多...
90%的人学Python爬虫都干过这种事，别不承认！

90%的人学Python爬虫都干过这种事，别不承认！

可以说&#xff0c;我是因为想批量下载一个网站的图片&#xff0c;才开始学的python爬虫。当一张一张图片自动下载下来时&#xff0c;满满的成就感&#xff0c;也满满的罪恶感……哈哈哈&#xff01;&#xff01;&#xff01;窈窕淑女&#xff0c;君子好逑&#xff0c;这篇文章…
阅读更多...
Android 大版本升级变更截图方法总结

Android 大版本升级变更截图方法总结

Android 大版本升级变更截图方法总结 一、Android R (11) 平台二、Android S (12) 平台三、Android U (14) 平台 Android 原生的截屏功能是集成在 SystemUI 中&#xff0c;因此我们普通应用想要获取截图方法&#xff0c;就需要研读下 SystemUI 截屏部分的功能实现。 一、Androi…
阅读更多...
Android 移动端编译 cityhash动态库

Android 移动端编译 cityhash动态库

最近做项目&#xff0c; 硬件端 需要 用 cityhash 编译一个 动态库 提供给移动端使用&#xff0c;l 记录一下 编译过程 city .cpp // // Created by Administrator on 2023/12/12. // // Copyright (c) 2011 Google, Inc. // // Permission is hereby granted, free of charg…
阅读更多...
java配置+J_IDEA配置+git配置+maven配置+基本语句

java配置+J_IDEA配置+git配置+maven配置+基本语句

当前目录文件夹dir 进入文件夹cd 返回上一级cd.. 创建文件夹&#xff1a;mkdir 文件名删除文件夹&#xff1a;rd 文件夹名&#xff0c; 目录不为空不能直接删 rd /s 带子文件夹一起删 清屏cls 切换d盘才能进入 下载git地址&#xff1a; Git - Downloading Package (g…
阅读更多...
使用youtube的api

使用youtube的api

如何使用youtube的data api https://console.cloud.google.com/apis/dashboard 到这个地方先启用api,找到YouTube Data API v3 这个api,启用它 然后创建凭据 去创建凭据,里面创建相应的客户端,web的需要填写redirect地址,就是回调用的.客户端不需要这个. 创建客户端不需要详…
阅读更多...
一文读懂Allins-首个基于 AMM 的多链铭文资产交易协议

一文读懂Allins-首个基于 AMM 的多链铭文资产交易协议

“Allins 是铭文赛道中基础设施类的代表&#xff0c;该协议致力于以 AMM 的方式推动铭文资产的流动性&#xff0c;并为铭文资产交易者提供更好的 UI/UX。” 2023年1月份后&#xff0c;比特币Ordinals协议的推出为铭文赛道的兴起奠定了基础。该协议以聪为单位将比特币划分&#…
阅读更多...
ipa分发平台绑定域名有什么优势

ipa分发平台绑定域名有什么优势

大家好我是咕噜签名分发可爱多。今天跟大家分享一下&#xff0c;为什么建议大家将自己的域名绑定到分发平台&#xff08;比如咕噜分发&#xff09;。 将自己的域名绑定分发平台有几个原因和优势&#xff1a; 1. 专业性和品牌建设&#xff1a; 使用自己的域名可以让您的在线存…
阅读更多...
消息队列有哪些应用场景？

消息队列有哪些应用场景？

分布式系统不同模块之间的通信&#xff0c;除了远程服务调用以外&#xff0c;消息中间件是另外一个重要的手段&#xff0c;在各种互联网系统设计中&#xff0c;消息队列有着广泛的应用。从本文开始&#xff0c;专栏进入分布式消息的模块&#xff0c;将讨论消息队列使用中的高频…
阅读更多...
Windows如何安装使用TortoiseSVN客户端并实现公网访问本地SVN Server

Windows如何安装使用TortoiseSVN客户端并实现公网访问本地SVN Server

文章目录 前言1. TortoiseSVN 客户端下载安装2. 创建检出文件夹3. 创建与提交文件4. 公网访问测试 前言 TortoiseSVN是一个开源的版本控制系统&#xff0c;它与Apache Subversion&#xff08;SVN&#xff09;集成在一起&#xff0c;提供了一个用户友好的界面&#xff0c;方便用…
阅读更多...
三防平板电脑定制参数_三防移动平板终端方案

三防平板电脑定制参数_三防移动平板终端方案

这是一款搭载了低功耗高性能CPU的三防平板电脑。采用联发科MT6771处理器&#xff0c;内置4GB64GB内存和八核处理器&#xff0c;提供出色的性能和运行速度。同时&#xff0c;它运行着最新的安卓Android 11.0系统&#xff0c;全屏支持和屏幕内容显示的优化使其更加方便和简单易用…
阅读更多...
【华大】HC32F420JATB-LQ48学习资料及开发环境

【华大】HC32F420JATB-LQ48学习资料及开发环境

1. 产品特点 ⚫ 84MHz Cortex-M4 32位CPU平台 ⚫ 128K 字节 FLASH 存储器&#xff0c;具有擦写保护功能 ⚫ 24K 字节 RAM 存储器 ⚫ 6 通道 DMAC ⚫多达 52 个通用 I/O 管脚 ⚫ 时钟、晶振 ‒ 外部高速晶振 8MHz~32MHz ‒ 内部高速时钟 22MHz~24MHz ‒ 内部低速时钟 3…
阅读更多...
GoWin FPGA, GPIO--- startup1

GoWin FPGA, GPIO--- startup1

一个Bank只能用一个电压&#xff0c;假如同一个Bank&#xff0c;在引脚里设置不同的电压&#xff0c;编译不过。 解释说明 2. 错误引脚限制 以上编译设置会导致编译错误。 Floor planner说明
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023