Elasticsearch:Golang ECS 日志记录 - zerolog

ECS 记录器是你最喜欢的日志库的格式化程序/编码器插件。它们可让你轻松地将日志格式化为与 ECS 兼容的 JSON。在本教程中,我将详述如何

编码器以 JSON 格式记录日志,并以 ECS 错误格式处理错误字段的记录。

默认情况下,会添加以下字段:

{"log.level": "info","@timestamp": "2020-09-13T10:48:03.000Z","message":" some logging info","ecs.version": "1.6.0"
}

安装

将下面的包添加到你的 go.mod 文件中:

go.mod

module zerolog-logging
require go.elastic.co/ecszerolog main

然后,我们在 terminal 中打入如下的命令:

go get go.elastic.co/ecszerolog

配置

设置默认记录器。例如:

logger := ecszerolog.New(os.Stdout)
log.Logger = logger

示例

我们使用如下的简单例子来进行测试:

zerolog.go

package mainimport ("os""github.com/rs/zerolog""github.com/rs/zerolog/log""go.elastic.co/ecszerolog"
)func main() {logger := ecszerolog.New(os.Stdout)log.Logger = loggerlog.Info().Msg("hello world")// Add custom fields.log.Info().Str("custom", "foo").Msg("Hello, World!")log.Info().Str("foo", "bar").Dict("dict", zerolog.Dict().Str("bar", "baz").Int("n", 1),).Msg("hello world")
}

我们可以通过如下的方式来运行代码:

go run zerolog.go

我们可以看到如下的输出:

$ go run zerolog.go
{"log.level":"info","ecs.version":"1.6.0","@timestamp":"2024-07-23T02:46:52.612Z","message":"hello world"}
{"log.level":"info","ecs.version":"1.6.0","custom":"foo","@timestamp":"2024-07-23T02:46:52.612Z","message":"Hello, World!"}
{"log.level":"info","ecs.version":"1.6.0","foo":"bar","dict":{"bar":"baz","n":1},"@timestamp":"2024-07-23T02:46:52.612Z","message":"hello world"}

上面显示了一个 JSON 的输出格式的日志。它是和 ECS 相兼容的日子输出。更多格式的输出请参阅链接。更多关 zerolog 的使用方法,请参阅文章。

我们可以使用如下的方法把日志写入到一个文件中:

zerolog_file.go

package mainimport ("os""github.com/rs/zerolog""github.com/rs/zerolog/log""go.elastic.co/ecszerolog"
)func main() {file, err := os.OpenFile("myapp.log",os.O_APPEND|os.O_CREATE|os.O_WRONLY,0664,)if err != nil {panic(err)}defer file.Close()logger := ecszerolog.New(file).With().Timestamp().Logger()log.Logger = loggerlog.Info().Msg("hello world")// Add custom fields.log.Info().Str("custom", "foo").Msg("Hello, World!")log.Info().Str("foo", "bar").Dict("dict", zerolog.Dict().Str("bar", "baz").Int("n", 1),).Msg("hello world")
}

我们可以通过如下的方法来运行上面的应用:

$ pwd
/Users/liuxg/go/go-logging
$ go run zerolog_file.go 
$ ls
go.mod          go.sum          myapp.log       zerolog         zerolog.go      zerolog_file.go
$ cat myapp.log 
{"log.level":"info","ecs.version":"1.6.0","@timestamp":"2024-07-23T03:38:43.361Z","@timestamp":"2024-07-23T03:38:43.361Z","message":"hello world"}
{"log.level":"info","ecs.version":"1.6.0","custom":"foo","@timestamp":"2024-07-23T03:38:43.361Z","@timestamp":"2024-07-23T03:38:43.361Z","message":"Hello, World!"}
{"log.level":"info","ecs.version":"1.6.0","foo":"bar","dict":{"bar":"baz","n":1},"@timestamp":"2024-07-23T03:38:43.361Z","@timestamp":"2024-07-23T03:38:43.361Z","message":"hello world"}

把日志写入到 Elasticsearch

  1. 按照 Filebeat 快速入门
  2. 将以下配置添加到你的 filebeat.yaml 文件中。

 Filebeat 7.16+

filebeat.yaml

filebeat.inputs:
- type: filestream  # 1paths: /path/to/logs.jsonparsers:- ndjson:overwrite_keys: true # 2add_error_key: true  # 3expand_keys: true    # 4processors: # 5- add_host_metadata: ~- add_cloud_metadata: ~- add_docker_metadata: ~- add_kubernetes_metadata: ~
  1. 使用 filestream 输入从活动日志文件中读取行。
  2. 如果发生冲突,解码的 JSON 对象的值将覆盖 Filebeat 通常添加的字段(type、source、offset 等)。
  3. 如果发生 JSON 解组错误,Filebeat 将添加 “error.message” 和 “error.type: json” 键。
  4. Filebeat 将递归地从解码的 JSON 中去掉点键,并将其扩展为分层对象结构。
  5. Processors 可增强你的数据。请参阅 processors 以了解更多信息。

Filebeat < 7.16

filebeat.yaml

filebeat.inputs:
- type: logpaths: /path/to/logs.jsonjson.keys_under_root: truejson.overwrite_keys: truejson.add_error_key: truejson.expand_keys: trueprocessors:
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/874728.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【算法】深入理解并优化算法:提升软件开发效率与质量

目录 一、算法的基本概念 输入 输出 确定性 有限性 有效性 二、常见算法类型 1. 排序算法 选择排序&#xff08;Selection Sort&#xff09; 插入排序&#xff08;Insertion Sort&#xff09; 快速排序&#xff08;Quick Sort&#xff09; 归并排序&#xff08;Mer…

Langchain核心模块与实战[7]:专业级Prompt工程调教LLM[输入输出接口、提示词模板与例子选择器的协同工程]

Langchain核心模块与实战[7]:专业级Prompt工程调教LLM[输入输出接口、提示词模板与例子选择器的协同工程] 1. 大模型IO接口 任何语言模型应用的核心元素是…模型的输入和输出。LangChain提供了与任何语言模型进行接口交互的基本组件。 提示 prompts : 将模型输入模板化、动态…

云原生周刊:Kubernetes v1.31 中的移除和主要变更|2024.7.22

开源项目 Argo Rollouts Argo Rollouts 是一个 Kubernetes 控制器和一组自定义资源定义&#xff08;CRDs&#xff09;&#xff0c;提供高级部署功能&#xff0c;例如蓝绿部署、金丝雀部署、金丝雀分析、实验以及渐进式交付功能给 Kubernetes。 Argo Rollouts 可选地集成了 I…

MATLAB--文件操作相关指令

文章目录 文件操作相关指令前言 M文件创建MATLAB文件操作指令MATLAB文件流控制 文件操作相关指令 前言 记录一下M文件创建、操作、获取信息等相关资料。   MATLAB的M文件是用来代替MATLAB命令行窗口输入指令的文件。因此所有的MATLAB指令都可以再MATLAB的M文件中调用. M文件…

python 读取excel 并处理被合并单元格的数据

业务需求是 读取excel数据 并按指定规则拼接数据保存到 md文件中 遇到的问题&#xff0c;大量空列和空行 造成读取数据卡住&#xff0c;或者逐行 逐单元格遍历 过慢。&#xff08;例如&#xff1a;实际可用数据 一千 行&#xff0c;ws.max_row 读取到的有效行是十万 &#xff…

Harmony学习(二)------ArkUI(2)

1.主轴对齐方式.justifyContent build() {Column(){Text().width(200).height(100).backgroundColor(Color.Yellow).border({width:2})Text().width(200).height(100).backgroundColor(Color.Yellow).border({width:2}).margin(10)Text().width(200).height(100).backgroundCol…

关于iphone不能下载三方软件

iPhone 不能下载第三方软件的原因主要是因为苹果公司严格控制其应用生态系统&#xff0c;确保所有应用都通过其官方的 App Store 分发。这有几个主要原因&#xff1a; 安全性&#xff1a;苹果公司希望通过这种方式减少恶意软件的传播&#xff0c;保护用户的隐私和数据安全。所…

I can‘t link the chatbot model with react

题意&#xff1a;我无法将聊天机器人模型 chatbot 与React连接起来 问题背景&#xff1a; This is the model from flask import Flask, request, jsonify from flask_cors import CORS import json import nltk import numpy as np import random import pickle from time i…

【javascript】关于js控制滚动的一些注意事项

滚动方式有2种 1、element.scrollIntoView // 假设你有一个元素的ID是element-id const element document.getElementById(element-id); // 滚动到该元素 element.scrollIntoView(); // 如果你想要平滑滚动&#xff0c;可以传递一个选项对象 element.scrollIntoView({ behav…

Windows图形界面(GUI)-MFC-C/C++ - 键鼠操作

公开视频 -> 链接点击跳转公开课程博客首页 -> ​​​链接点击跳转博客主页 目录 MFC鼠标 派发流程 鼠标消息(客户区) 鼠标消息(非客户) 坐标处理 客户区 非客户 坐标转换 示例代码 MFC键盘 击键消息 虚拟键代码 键状态 MFC鼠标 派发流程 消息捕获&#…

科研绘图系列:R语言热图(heatmap)

介绍 热图是一种数据可视化技术,通常用于展示数据的分布情况。它通过颜色的变化来表示数据的大小或密度,使得观察者能够直观地理解数据集中的模式和趋势。以下是热图的一些关键特点和应用场景: 数据分布:热图可以显示数据在不同区域的分布情况,比如在地图上显示不同地区的…

【cocos creator】ts中export的模块管理

在 TypeScript&#xff08;TS&#xff09;中&#xff0c;export 和 import 的概念与 Java 中的 public 类、接口以及 import 语句有一些相似之处。可以用以下方式来类比理解&#xff1a; Export 在 TypeScript 中&#xff0c;export 用于将模块中的变量、函数、类等暴露给外部…

WHAT - CSS :root 变量定义和使用(var)

在日常开发中&#xff0c;我们经常遇到如下 CSS 代码&#xff1a; bg-primary {background-color: var(--primary-color); } disabled-foreground {color: var(--disabled-foreground-color); }这些变量通常来自于CSS变量&#xff08;也称为CSS自定义属性&#xff09;&#xf…

Mac 下华为鸿蒙 :DevEco Studio 开发工具下载

1.登录&#xff1a;华为开发者中心--开发--下载工具DevEco Studio 2.下载完成后 &#xff0c;安装&#xff0c;并创建一个新项目。 3.Tools --点击SDK Manager 下载SDK: 如果报&#xff1a;淘宝镜像源错误&#xff1a; npm ERR! code CERT_HAS_EXPIRED npm ERR! errno CERT_H…

Spring 的BeanPostProcessor 有什么作用?内置那些BeanPostProcessor

在 Spring 框架中&#xff0c;BeanPostProcessor 是一个用于在容器初始化时对 bean 的创建过程进行扩展和自定义的接口。它的作用主要体现在以下几个方面&#xff1a; BeanPostProcessor 的作用 前置处理 (postProcessBeforeInitialization)&#xff1a; 在调用 bean 的初始化…

使用docker-compose给自己上传的JAR打包成镜像并自动启动容器每次更新jar包自动化执行脚本

在持续集成和部署&#xff08;CI/CD&#xff09;过程中&#xff0c;自动化是提高效率的关键。本文将介绍如何使用Docker Compose将一个上传的JAR文件打包成Docker镜像&#xff0c;并在容器中自动启动该应用程序。同时&#xff0c;创建一个脚本&#xff0c;以便在每次更新JAR包后…

js动态规划

动态规划&#xff08;英语&#xff1a;Dynamic programming&#xff0c;简称 DP&#xff09;是一种在数学、管理科学、计算机科学、经济学和生物信息学中使用的&#xff0c;把原问题分解为相对简单的子问题 动态规划常常适用于有重叠子问题和最优子结构性质的问题&#xff0c;…

优略解距离法—Topsis模型【清风数模学习笔记】

层次分析法的局限性 &#xff08;1&#xff09;决策层不能太多 &#xff08;2&#xff09;数据已知&#xff0c;使用层次分析法不准确 构造计算评分 相较于取卷面理论上的最高分&#xff08;100&#xff09;和最低分&#xff08;0&#xff09;&#xff0c;取分数区间上的最…

Qt编程技巧总结篇(6)-QCustomPlot绘图篇(一)

文章目录 Qt编程技巧总结篇(6)-QCustomPlot绘图篇(一)图轴的放缩、拖拽与粗体图画标题设计轴标题设计图例设计简单画线的步骤1小结Qt编程技巧总结篇(6)-QCustomPlot绘图篇(一) 多线程学习,告一段落,这里开始使用QCustomPlot进行绘图操作,原来已经有一篇《Qt编程技巧…

Visio绘制的Tanh激活函数结构图,可导出高清图片,可修改,无水印。

Visio绘制的Tanh激活函数结构图,可导出高清图片&#xff0c;可修改&#xff0c;无水印。 方便用于小论文写作&#xff0c;方便用于毕业设计。 Visio版本为2021版&#xff0c;可用更高版本打开。 下载地址&#xff1a;tanh 图片展示&#xff1a;