比Filebeat更强大的日志收集工具-Fluent bit的http插件实战

文章目录

    • 1.前言
    • 2. fluent bit http插件配置以及参数详解
    • 3. Http 接口服务
      • 3.1 开发Http 接口服务
      • 3.2 重启fluent bit向http web服务发送数据


1.前言

Fluent Bit 的 HTTP 插件提供了一种灵活而通用的机制,可用于将日志数据 从各种环境中传输到指定的远程服务器,具有很强的适用性和实用性。

  • 实时日志传输: HTTP 插件使 Fluent Bit 能够将实时产生的日志数据以 HTTP 协议的形式传输到指定的远程服务器。这对于实时监控、分析和处理日志非常重要。
  • 远程日志收集: 在分布式系统或微服务架构中,日志可能产生在不同的节点上。使用 HTTP 插件,可以轻松地将这些分布在各处的日志集中传输到中心化的日志收集服务器。
  • 云服务集成: 在云环境中,可以使用 HTTP 插件将日志数据发送到云服务提供商的日志服务,实现云端的日志管理和监控。
  • 跨平台和跨语言: HTTP 是一种通用的协议,可以与几乎所有编程语言和平台兼容。因此,HTTP 插件使 Fluent Bit 能够与各种应用程序和系统集成,实现跨平台和跨语言的日志传输。

本文详细介绍了如何进行http插件的配置实现将fluent bit收集的日志信息传输至自定义http接口。

2. fluent bit http插件配置以及参数详解

在这里插入图片描述

  • Match

配置文件中定义的[Input]部分的tag值

在这里插入图片描述
如上述配置文件中所见,[Output]部分Match使用[Input]中Tag值sample

  • Format

文本传输内容的格式,默认为msgpack

  • Header

添加http请求头信息

此样例中通过请求头指定了
Content-Type:application/json

  • URI

目标web服务的Http URI

如,接口完整请求地址为
127.0.0.1:8080/output/http, 那么URI为output/http

  • json_date_key

在输出记录中指定时间键的名称

如,指定输出的时间key为@timestamp,那么通过http传送后接收到的时间信息如下,
在这里插入图片描述

  • json_date_format

指定日期的格式。 支持的格式为double、epoch、iso8601(例如:2018-05-30 T09:39:52 . 000681Z)和java_sql_timestamp(例如:2018-05-30 09:39:52.000681)

如, 指定日期格式为iso8601,Http服务接收到的数据中日期的格式如下,
在这里插入图片描述

3. Http 接口服务

3.1 开发Http 接口服务

注意服务入参一定是要json数组,因为fluent bit发送数据时是数组格式

package com.example.controller;import com.alibaba.fastjson.JSONObject;
import org.springframework.web.bind.annotation.*;@RestController
@RequestMapping("/output")
public class FluentBitDemo {@PostMapping("/http")public String inputAuditWithMsg(@RequestBody JSONObject[] audits){System.out.println("== begin audit with msg ==");for(JSONObject obj : audits){System.out.println("==  audit msg info ==" + obj.toString());}return "success";}
}

3.2 重启fluent bit向http web服务发送数据

查看Http服务接收到fluent bit 发送的数据
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/659125.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

EDR、SIEM、SOAR 和 XDR 的区别

在一个名为网络安全谷的神秘小镇,居住着四位守护者,他们分别是EDR(艾迪)、SIEM(西姆)、SOAR(索亚)和XDR(艾克斯)。他们各自拥有独特的能力,共同守…

TypeScript 基础概念,安装使用

怎么使用TypeScript? 本地环境搭建(使用vscode) 1、初始化项目,新建package.json 创建项目文件夹 mkdir test使用npm初始化项目 npm init 2、安装typescript npm install typescript -D 3、将typescript编译成JavaScript npx tsc…

力扣hot100 电话号码的字母组合 回溯

Problem: 17. 电话号码的字母组合 文章目录 思路复杂度💝 Code 思路 👨‍🏫 参考题解 复杂度 时间复杂度: O ( 3 8 ) O(3^8) O(38) 空间复杂度: O ( 3 8 ) O(3^8) O(38) 💝 Code class Solution {String[] map { "…

Redis 实际项目中的整合,记录各种用法

Redis缓存餐厅数据 我们来看主要的流程 很简单,就是在数据库和接口之间加了一层缓冲,在redis之前其实还可以加其他的缓存 例如 nginx的缓存 接下来,就是结合我的业务,来做缓存 我这里的业务逻辑是,按了分类的按钮,分别以不同的 分类为一组缓存数据 所以,这里的缓存粒度是分类…

leetcode-存在重复元素 II

219. 存在重复元素 II 题解: 可以使用哈希表来解决这个问题。遍历数组,对于每个元素,检查它是否已经在哈希表中出现过,如果出现过,则判断当前索引与哈希表中存储的索引之差是否小于等于k,如果是&#xff…

【JS逆向实战-入门篇】某gov网站加密参数分析与Python算法还原

文章目录 1. 写在前面2. 请求分析3. 断点分析4. 算法还原 【作者主页】:吴秋霖 【作者介绍】:Python领域优质创作者、阿里云博客专家、华为云享专家。长期致力于Python与爬虫领域研究与开发工作! 【作者推荐】:对JS逆向感兴趣的朋…

java中Ajax与Axios的使用

1,Ajax 1.1 概述 AJAX (Asynchronous JavaScript And XML):异步的 JavaScript 和 XML。 我们先来说概念中的 JavaScript 和 XML,JavaScript 表明该技术和前端相关;XML 是指以此进行数据交换。而这两个我们之前都学习过。 1.1.…

python-- 函数

在python中的函数: """1、python中的函数就类似于java中的方法;2、函数的语法的规则:def 函数的名称(参数1,参数2):执行的逻辑return 结果值在定义函数的时候,参数的类型是可以不用指定的。…

element ui组件 el-input只能数据整数,且设置不能小于0大于10

<el-input v-model"form.plan" type"number" step"0.5" min"0" max"10" keyup.native"proving($event)" input"editInput($event,plan)" placeholder"最高5分" oninput"if(value…

iOS开发Xcode中的ld64和-ld_classic是什么意思

在iOS应用程序开发中&#xff0c;Xcode是一款广泛使用的集成开发环境&#xff08;IDE&#xff09;&#xff0c;而链接器是构建应用程序的关键组成部分之一。在Xcode中&#xff0c;我们常常会遇到两个重要的概念&#xff1a;ld64和-ld_classic。它们分别代表了默认链接器和经典链…

前端大屏展示可视化——地图的绘制(持续更新)

一、ECharts 1、安装 npm install echarts2、引入 import * as echarts from echarts;3、渲染 3.1、前期准备&#xff0c;基础配置 // 地图实例 const myChart ref(null); // 地图配置 const option reactive({tooltip: {trigger: item,formatter: function (params) {re…

电脑风扇控制温度软件 Macs Fan Control Pro 中文

Macs Fan Control Pro是一款专为Mac用户设计的风扇控制软件&#xff0c;旨在提供更精细的风扇转速控制和温度监控。这款软件通过实时监测Mac内部硬件的温度&#xff0c;自动或手动调整风扇的转速&#xff0c;以确保系统温度保持在理想范围内。 Macs Fan Control Pro提供了直观…

wps隔行填充效果斑马线

1、首先要打开WPS Office软件。 2、用“所有线框”工具绘制一个表格。 3、点击颜料桶&#xff0c;选中颜色&#xff0c;在第二排填充。4、用鼠标选中前两排表格。 5、把鼠标放到单元格右下角的节点上&#xff0c;待“”出来&#xff0c;用鼠标向下拖动到最后一列表格。 6、表格…

【01】Linux 基本操作指令

带⭐的为重要指令 &#x1f308; 01、ls 展示当前目录下所有文件&#x1f308; 02、pwd 显示用户当前所在路径&#x1f308; 03、cd 进入指定目录&#x1f308; 04、touch 新建文件&#x1f308; 05、tree 以树形结构展示所有文件⭐ 06、mkdir 新建目录⭐ 07、rmdir 删除目录⭐…

Ubuntu server如何使用 Daphne + Nginx + supervisor部署 Django

Django从 3.0版开始加入对ASGI的支持,使Django开始具有异步功能。 截止目前的5.0版,对异步支持逐步也越来越好,相信在未来的版本中异步将会支持的更加完善。 所以说,我们也需要适时的更新我们的技能,学会在asgi异步服务器环境中部署django项目! 在部署之前我们所有的依…

赋能未来社区:数据中台智慧园区的全方位解决方案_光点科技

在信息技术与互联网快速发展的今天&#xff0c;传统的园区管理方式已无法满足时代对效率与智能化的追求。数据中台作为企业数字化转型的核心&#xff0c;正引领着智慧园区的发展趋势。一个集成了数据中台的智慧园区&#xff0c;不仅能有效地整合资源&#xff0c;优化管理流程&a…

2024美赛数学建模B题思路+代码

文章目录 1 赛题思路2 美赛比赛日期和时间3 赛题类型4 美赛常见数模问题5 建模资料 1 赛题思路 (赛题出来以后第一时间在CSDN分享) https://blog.csdn.net/dc_sinor?typeblog 2 美赛比赛日期和时间 比赛开始时间&#xff1a;北京时间2024年2月2日&#xff08;周五&#xff…

JavaScript 入门

第一个知识点&#xff1a;引入js文件 引入js文件有两种方式: 内部标签引用 外部引用 内部引用: <script>js代码 </script> 外部引用: 假设我们写了一个a.js 我们就通过代码&#xff1a; <script src"a.js"></script> 具体代码…

代码随想录算法刷题训练营day21

代码随想录算法刷题训练营day21&#xff1a;LeetCode(501)二叉搜索树中的众数、LeetCode(530)二叉搜索树的最小绝对差 LeetCode(501)二叉搜索树中的众数 题目 代码 import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map;/*…

【Linux】多线程(线程概念+线程控制)

&#x1f307;个人主页&#xff1a;平凡的小苏 &#x1f4da;学习格言&#xff1a;命运给你一个低的起点&#xff0c;是想看你精彩的翻盘&#xff0c;而不是让你自甘堕落&#xff0c;脚下的路虽然难走&#xff0c;但我还能走&#xff0c;比起向阳而生&#xff0c;我更想尝试逆风…