基于阿里云日志服务快速打造简版业务监控看板

前言

最近老黄一直在弄双11相关的东西,所以博客和github都没怎么更新,这期间在公司也弄了不少东西。

下面就简单分享一下最近做的业务监控相关的内容吧。

先来说一下背景。

某业务在双11第一波大促的时候因为没有提供实时的业务看板,总结会的时候技术同事被相关领导和业务人员投诉,说是没办法清晰的了解到当时的情况,不能及时有效的调整对应的策略。

事后老黄了解到,那个业务是比较老的业务了,资源比较紧张,不敢去实时怼数据库(单点),怕数据库挂了,业务就全凉了。

为了避免尴尬的现状,不想再一次挨批,只能搞呀。

分析现状

3个应用,.NET Framework的项目,都是windows服务器,没有容器化。

离双11只有几天,不能改动太大,而且还要应对业务部门新的需求。

当时能想到的方案

  1. 业务埋点,接入prometheus,结合grafana

  2. 业务发MQ,消费数据到ES,前端做个面板

  3. 业务埋点,接入日志服务,结合仪盘表

大致分析

  • 方案1,业务团队对prometheus几乎是0认知,了解相关概念都要花不少时间,pass

  • 方案2,MQ目前用的是腾讯云的CMQ,被坑过2次了,也不能很好的hold住ES,pass

  • 方案3,有按内部规范打日志,业务方只要在关键地方加一行对应的日志,然后交由logtail去采集,上传到日志服务

所以在这三种方案中,老黄还是选了方案三

首先日志服务在内部各个系统都已经接入过了,也算是团队里面比较熟悉的了,其次是不会影响主业务,只在关键地方埋点,加日志。

虽说对业务代码有侵入性,但无疑是现阶段的一个最优解。

整体实现逻辑如下。

业务埋点

业务埋点,其实是一个非常简单,也是最为重要的一步。

我们有对应的日志帮助类,所以这里要处理的只是日志的内容。

SerilogHelper.Info($"[field1] [field2] [field3]", "metrics_name");

老黄这里给的约定是,字段内容放在[]里面,每个字段要用空格隔开。

然后就会把日志落盘到具体的某个目录,等着被Logtail采集到日志服务了。

当然这里有遇到一个问题,就是日志文件的格式,之前指定的是UTF-8,结果生成的文件是 UTF-8 with bom格式的。

这个会导致第一行日志不能被正确解析,所以要特别注意。

数据接入与展示

代码层面在上面一步已经搞定了,下面要做的就是日志的接入了。

根据业务场景,目前是一个应用一个指标,所以要建立三个日志库,按需选择存储时间,默认是永久。

建好日志库后要接入数据源,这里老黄选的是正则-文本日志

然后就是一堆常规配置了。

最重要的是Logtail配置这一步。

日志路径,就是程序日志输出的路径,这样logtail才会去设置的路径采集。

正则是一个比较重要的内容,logtail会根据这个正则去解析日志,提取成一个个的字段,这样会比较方便后面的查询。

接下来是查询分析的配置了。

这里就是要把统计的字段指定一下,还有一个是关掉全文索引,因为这种场景下,开全文索引意义不大,浪费钱。

到这一步,我们就可以把数据采集上来了。

最后要做的就是查询结果了。只要会简单的sql,用日志服务做统计肯定是不成问题的,难度相对比较低。

下面是具体的效果。

打码比较多,将就一下。

由于控制台上面提供了自动刷新和全屏的功能,所以挂面板出来的时候就可以省去人工的干预了。

总结

周一晚上被投诉,周二上午出方案,周二下午开搞,周三出结果,这一波操作真的是猛如虎。

不得不说,阿里云的日志服务确实是简化了很多繁琐的操作,解决了这一次问题的痛点。

但是抽取日志的方式还有待完善,有点别扭。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/307033.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一个.NET Core下的开源插件框架Pluginfactory

插件模式历史悠久,各种中大型软件基本上都会实现插件机制,以此支持功能扩展,从开发部署层面,插件机制也可实现功能解耦,对于并行开发、项目部署、功能定制等都有比较大的优势。在.NET Core下,一般我们基于.…

谈谈.NET Core IServiceProvider

【导读】最近重构部分代码,因历史原因在静态类中需使用注入实例,构造函数注入则不再可取,此时只能构造全局IServiceProvider,所以本文稍微分析下IServiceProvider要构造全局使用IServiceProvider,我们都知道不能在Conf…

使用 Xunit.DependencyInjection 改造测试项目

使用 Xunit.DependencyInjection 改造测试项目Intro这篇文章拖了很长时间没写,之前也有介绍过 Xunit.DependencyInjection 这个项目,这个项目是由大师写的一个 Xunit 基于微软 GenericHost 和 依赖注入实现的一个扩展库,可以让你更方便更容易…

discuz mysql data_Discuz!显示 Database Error的原因和解决方法

今天打开Discuz搭建的论坛显示:原因一:数据库表太大比如mysql数据库的表内容太大,超过10G就有可能会影响discuz论坛的运行。Discuz! Database Error是什么原因,怎么修复这种情况可以通过对数据库分表的方法来解决。原因二&#xf…

项目开发中经常有一些被嫌弃的小数据,现在全丢给 FastDFS

在我们开发项目的时候,经常会遇到大块数据的问题(2M-100M),比如说保存报表中1w个人的ID号,说实话,这些数据存储在服务器哪里都被嫌弃,放在redis,mongodb中吧,一下子你就会…

java 反射 int_Java 反射由浅入深 | 进阶必备

原标题:Java 反射由浅入深 | 进阶必备一、Java 反射机制参考了许多博文,总结了以下个人观点,若有不妥还望指正:Java 反射机制在程序运行时,对于任意一个类,都能够知道这个类的所有属性和方法;对…

寻找性能更优秀的不可变小字典

Dictionary 是一个很常用的键值对管理数据结构。但是在性能要求严苛的情况下,字典的查找速度并不高。所以,我们需要更快的方案。需求说明 这里,我们需要一个 PropertyInfo 和委托对应的映射关系,这样我们就可以存储《寻找性能更优…

一款基于.NET Core的认证授权解决方案-葫芦藤1.0开源啦

背景18年公司准备在技术上进行转型,而公司技术团队是互相独立的,新技术的推动阻力很大。我们需要找到一个切入点。公司的项目很多,而各个系统之间又不互通,导致每套系统都有一套登录体系,给员工和客户都带来极大的不便…

.NET架构小技巧(8)——优待异常

天有不测风云,人有旦夕祸福,程序呢——会有异常错误。C#中用try,catch,finally来捕捉处理异常,捕捉谁的异常呢?一般都是系统类库或三方类库中抛出的异常,那如果我自己架构程序,异常也…

跟我一起学.NetCore之EF Core 实战入门,一看就会

前言还记得当初学习数据库操作时,用ADO.NET一步一步地进行数据操作及查询,对于查询到的数据还得对其进行解析,然后封装返回给应用层;遇到这种重复而繁琐的工作,总有一些大神或团队对其进行封装,从而出现了很…

java 声明变量构成_Java—变量

1.1 按数据类型分类1.1.1 基本数据类型(四类八种)☛ 引用数据类型的特点存的是地址值,可以为null值☛ 基本数据类型的特点存的是具体的值,不可以是null值☛ 整型整型取值范围字节数byte(字节)-128 ~ 1271byteshort(短整型)-2byteint(默认整型)-4bytelong(长整型)12345678L8byte…

寻找性能更优秀的动态 Getter 和 Setter 方案

反射获取 PropertyInfo 可以对对象的属性值进行读取或者写入&#xff0c;但是这样性能不好。所以&#xff0c;我们需要更快的方案。方案说明 就是用表达式编译一个Action<TObj,TValue>作为 Setter&#xff0c;编译一个Func<TObj,TValue>作为 Getter。然后把这些编译…

Newbe.ObjectVisitor 0.2.10 发布,更花里胡哨

更新内容 现在&#xff0c;你可以通过上下文修改属性的值了&#xff1a;//✔️ from 0.2 // 可以修改属性 o.V().ForEach((context) > ModifyData(context)).Run();public static void ModifyData(IObjectVisitorContext<Yueluo,string> context) {context.Value con…

.NET 5 和 C#9 /F#5 一起到来, 向实现 .NET 统一迈出了一大步

经过一年多的开发&#xff0c;Microsoft 于北京时间 11 月 11 日&#xff08;星期三&#xff09;发布了其 .NET 5软件开发平台&#xff0c;强调平台的统一&#xff0c;并引入了 C# 9 和 F# 5 编程语言&#xff0c;新平台朝着桌面、Web、移动、云和 IoT 目标统一 .NET 开发体验的…

.NetCore HttpClient发送请求的时候为什么自动带上了一个RequestId头部?

奇怪的问题最近在公司有个系统需要调用第三方的一个webservice。本来调用一个下很简单的事情&#xff0c;使用HttpClient构造一个SOAP请求发送出去拿到XML解析就是了。可奇怪的是我们的请求在运行一段时间后就会被服务器504给拒绝掉了。导致系统无法使用&#xff0c;用户叫苦连…

ASP.NETCore小技巧:使用测试用户中间件

哈喽大家好&#xff0c;这篇文章其实很早就想写了&#xff0c;因为一直会有小伙伴问到&#xff0c;但是我却始终拿不到好的方案&#xff0c;最近在录制《eShopOnContainer微服务架构》的视频&#xff0c;碰巧就看到了微软官方的代码中也有这方面的需求&#xff0c;而且和我的需…

【招聘(深圳)】华强方特文化科技集团 .NET工程师

.NET高级开发工程师&#xff08;18-25K&#xff09;岗位职责&#xff1a;负责系统需求分析与设计&#xff1b;根据业务确定实现方案&#xff1b;对现有系统缺陷提出优化方案&#xff1b;负责系统关键功能开发及维护&#xff0c;保障系统的正常运行&#xff1b;带领指导团队开发…

11座城市,58个.NET最新岗位速览,内推直通面试官!

十一月风雪客&#xff0c;十二月乘衣归&#xff01;各个大厂秋招进行时&#xff0c;你行动了吗&#xff1f;借着这阵风&#xff0c;今天为大家提供一批.NET开发岗位内推&#xff01;58个优质的.NET开发岗位年薪过万到百万不等&#xff0c;总有一个适合你&#xff01;包含全国各…

pdo mysql_PDO MySQL

PDO MySQL如果文章有成千上万篇&#xff0c;该怎样保存&#xff1f;数据保存有多种方式&#xff0c;比如单机文件、单机数据库(SQLite)、网络数据库(MySQL、MariaDB)等等。根据项目来选择&#xff0c;做Web一般采用MySQL&#xff0c;本书也以MySQL为例。自学&#xff1a;1天。假…

C# 8: 可变结构体中的只读实例成员

在之前的文章中我们介绍了 C# 中的 只读结构体&#xff08;readonly struct&#xff09;[1] 和与其紧密相关的 in 参数[2]。今天我们来讨论一下从 C# 8 开始引入的一个特性&#xff1a;可变结构体中的只读实例成员&#xff08;当结构体可变时&#xff0c;将不会改变结构体状态的…