阿里云SLS日志服务之数据导入与加工处理

一、背景

采集vm虚拟机上的Log日志文本,如果需要经过特殊的加工处理,在本文主要讲述如何在SLS把kafka采集上来的数据经导入并加工后存储。

二、数据流转图

在这里插入图片描述

三、数据导入

在这里插入图片描述
在这里插入图片描述

  • 服务地址:填写kafka集群的地址
  • 数据格式:json字符串(这是因为我们每行的数据格式是json格式存储在本地)
    在这里插入图片描述
    其他配置:
    153/154/155三个Kafka集群节点
{"config.vpc.instance_port.v3":"9092","config.vpc.instance_port.v2":"9092","config.vpc.vpc_id.v1":"vpc-bp102du3yi8x2100kdsxp","config.vpc.instance_ip.v3":"10.xx.xx.155","config.vpc.instance_ip.v2":"10.xx.xx.154","config.vpc.instance_ip.v1":"10.xx.xx.153","group.id":"frontlog","config.vpc.vpc_id.v2":"vpc-bp102du3yi8x2100kdsxp","config.vpc.vpc_id.v3":"vpc-bp102du3yi8x2100kdsxp","config.vpc.instance_port.v1":"9092"}

在这里插入图片描述

  • 丰富的报表
    在这里插入图片描述

四、加工处理

在这里插入图片描述
在这里插入图片描述

  • 下面看一看加工的细节:

对原始的value字段进行加工,这里使用的是grok语法。
配置了两个解析,第二个解析是在第一个解析的基础上,进行二次进一步解析。
上一步解析出字段http_user_agent,
第二个解析,把http_user_agent进一步解析出字段appName和appVersion

由此可见,加工还是比较方便且灵活的。

在这里插入图片描述

  • 加工后的存储目标:

如此,kafka采集上来的Log数据,先经过了导入存储到某个索引,后又加工处理存储到另外一个索引。

所以说,一份数据保存了两份,一份是原始数据,另外一份是加工后的数据。

毫无疑问,会加大你的存储成本。
在这里插入图片描述

  • 加工情况的总体预览:

在这里插入图片描述

五、总结

到此,你应该明白,如果不用复杂的加工处理,不建议你使用本文提及的方案。
直接在sls配置Logtail即可。
本方案把采集的步骤拉长不说, 光是存储成本就翻一番。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/222558.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

WPS没保存关闭了怎么恢复数据?3个方法,完成数据恢复!

“我今天在使用WPS时,突然有点急事出去了一趟,但是我忘记保存文档了,回来之后发现电脑自动关机了,我的文档也没了!这可怎么办呢?有什么办法可以找回这些数据吗?” 在快节奏的工作中,…

黑马点评03一人一单

实战篇-07.优惠券秒杀-实现一人一单功能_哔哩哔哩_bilibili 1.之前的问题 虽然解决了超卖问题,但是无法保证一人只能买一张,容易发生黄牛行为。 2.解决方案 2.1订单查询:判断该用户是否已下单 在库存判断之前,判断用户id和优惠…

浅谈NLP和大模型的关系

目录 一、什么是NLP 二、NLP的应用举例 三、NLP的Python实现举例 四、NLP和大模型的关系 五、NLP的难点 5.1 内容的有效界定 5.2 消歧和模糊性 5.3 有瑕疵的或不规范的输入 5.4 语言行为与计划 六、研究热点 一、什么是NLP 如果单独说NLP这3个字母,具有两…

聚类笔记:聚类算法评估指标

1 内部评估方法 当一个聚类结果是基于数据聚类自身进行评估的,这一类叫做内部评估方法。如果某个聚类算法聚类的结果是类间相似性低,类内相似性高,那么内部评估方法会给予较高的分数评价。不过内部评价方法的缺点是: 这些评估方法…

Linux arm架构下构建Electron安装包

上篇文章我们介绍 Electron 基本的运行开发与 windows 安装包构建简单流程,这篇文章我们从零到一构建 Linux arm 架构下安装包,实际上 Linux arm 的构建流程,同样适用于 Linux x86 环境,只不过需要各自的环境依赖,Linu…

基于Spring Boot和微信小程序的智能小程序商城

文章目录 项目介绍主要功能截图:部分代码展示设计总结项目获取方式🍅 作者主页:超级无敌暴龙战士塔塔开 🍅 简介:Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我,都给你】 🍅文末获取源码联系🍅 项目介绍 基于Spring Boot和微信小程序的智能小程…

运筹学经典问题(六):设施选址问题

问题描述 设施选址问题(Facility Location Problem, FLP)也成选址-分配问题,是企业面临的一类重要问题:在哪里建造设施?建造多少?以及将哪些客户分配给哪些设施去服务? 以物流业的航空站点选…

毕设之-Hlang后端架构-双系统交互

文章目录 前言交互流程基本流程约定公钥人人中台携带公钥获取私钥私钥生成人人中台携带私钥访问私钥验证(博客系统) 调试演示总结 前言 前天我们完成了基本的整合,但是还没有整合到我们的业务系统,也就是博客系统。本来昨天要搞一…

使用 PHP 中的 Invoke 方法实现灵活而强大的调用

在 PHP 中,__invoke 方法是一种特殊的魔术方法,允许对象像函数一样被调用。通过实现 __invoke 方法,你可以使对象变得可调用,这在某些情境下可以提供更灵活和强大的代码结构。本文将介绍如何在 PHP 中使用 __invoke 方法&#xff…

利用闭包与高阶函数实现缓存函数的创建

缓存函数是一种用于存储和重复利用计算结果的机制。其基本思想是,当一个函数被调用并计算出结果时,将该结果存储在某种数据结构中 (通常是一个缓存对象)以备将来使用。当相同的输入参数再次传递给函数时,不再执行实际的计算,而是直…

C# OpenVINO 直接读取百度模型实现印章检测

目录 效果 模型信息 项目 代码 下载 其他 C# OpenVINO 直接读取百度模型实现印章检测 效果 模型信息 Inputs ------------------------- name:scale_factor tensor:F32[?, 2] name:image tensor:F32[?, 3, 608, 608] …

浮动的魅力与挑战:如何在前端设计中巧妙运用浮动(上)

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

Vue3 逻辑复用 - 组合式函数

“组合式函数”(Composables) 是一个利用 Vue 的组合式 API 来封装和复用有状态逻辑的函数。 一个实现实现鼠标跟踪功能 <script setup> import { ref, onMounted, onUnmounted } from vueconst x ref(0) const y ref(0)function update(event) {x.value event.page…

简单的教务系统

#include <stdio.h> #include <string.h> #define N 20 int i,j,n,m,lll0,renshu6; double zcj[N]{0};struct stu{ char num[10]; //学号char name[10]; //姓名char sex; //姓别double score[3]; //3 门课的成绩double sum; //3 门课的总分double aver; //3 门课的…

【docker】docker基本命令

启动类命令 启动docker&#xff1a; systemctl start docker停止Docker&#xff1a; systemctl stop docker重启Docker&#xff1a; systemctl restart docker查看状态&#xff1a; systemctl status docker设置开机自启&#xff1a; systemctl enable docker帮助类命令 …

【XR806开发板试用】+2.鸿蒙内核

非常感谢基于安谋科技STAR-MC1的全志XR806 Wi-FiBLE开源鸿蒙开发板试用活动&#xff01;非常感谢极术社区&#xff01;非常感谢极术小姐姐&#xff01;非常感谢全志在线开发者社区&#xff01;非常感谢通过试用申请&#xff01;非常感谢安谋科技&#xff01; 接上一篇&#xff…

pytorch文本分类(二):引入pytorch处理文本数据

pytorch文本数据处理 目录 pytorch文本数据处理1. Pytorch背景2. 数据分割3. 数据加载Dataset代码分析字典的用途代码修改的目的 Dataloader 4. 练习 原学习任务链接 相关数据链接&#xff1a;https://pan.baidu.com/s/1iwE3LdRv3uAkGGI2fF9BjA?pwdro0v 提取码&#xff1a;ro…

Django和ECharts异步请求示例

前提条件 创建django项目&#xff0c;安装配置过程这里就不讲述了。 后端url http://127.0.0.1:8000/echarts/demo/ view视图函数 from django.http import HttpResponse import jsondef EchartsDemo(request):data {}categories ["衬衫","羊毛衫",&…

Java架构师系统架构高性能维度分析

目录 1 导语2 性能维度概述和定义3 高性能流程4 高性能实现方案-缓存为王5 高性能实现方案-异步为帅、分布式为将6 高性能高并发架构案例分析7 总结想学习架构师构建流程请跳转:Java架构师系统架构设计 1 导语 Java架构师在构建高性能系统架构时,需要关注以下几个关键维度:…

Monkey工具之fastbot-iOS实践

背景 目前移动端App上线后 crash 率比较高&#xff0c; 尤其在iOS端。我们需要一款Monkey工具测试App的稳定性&#xff0c;更早的发现crash问题并修复。 去年移动开发者大会上有参加 fastbot 的分享&#xff0c;所以很自然的就想到Fastbot工具。 Fastbot-iOS安装配置 准备工…