NET Core微服务之路:简单谈谈对ELK,Splunk,Exceptionless统一日志收集中心的心得体会...

前言

日志,一直以来都是开发人员和运维人员最关心的问题。开发人员可通过日志记录来协助问题定位,运维人员可通过日志发现系统隐患,故障等定位问题。如果你的系统中没有日志,就像一个断了线的风筝,你永远不知道它会的落脚点(故障点)在什么地方。当然,你说你不用日志,非要用调试模式来一个一个的排查和验证问题,那这将是非常疯狂的。

微服务架构日渐火热,在享受微服务带来的种种好处的同事,也要承担她所带来的各种困扰。因为系统不再是一个独立的个体,而是分部到不同地方、不同宿主、不同区段单独的服务个体(节点),他散落,不统一,那么,当某个节点出现问题,如何快速定位,将是一个挑战。你总不可能说我把每个节点的日志都查一遍吧。那么,这个问题可以这样描述:

  • 如何及时采集每个节点的日志?

  • 如何将日志进行及时汇总?

  • 如何将汇总的日志进行有利(快速)的分析(检索)?

日志的重要性和复杂性

说道日志的重要性,我相信没有任何开发人员和运维人员认为他不重要,正如“前言”所提,这个世界没有这样疯狂的人。

再论日志的复杂性,日志保存了当前系统中各种功能的记录,正如你去一家医院的体检单,上面清晰的记录了你各项生命特征信息、以及不同的指标。日志文件在应用系统中的作用就如同体检单,它反应了系统的健康状态、系统的操作事件、系统的变更状况。

日志种类繁杂,一个健壮的系统可能会有着各种各样的日志信息。

640?wx_fmt=png


单单上面一张图片,可以显示出六种日志类型,那还有我们开发的日志呢,比如调试,运行,错误,一般信息等等等。如此多种多样的日志,哪些是我们所需要的,都是在架构中需要考虑的问题。

微服务的日志中心架设流程

我们先了解一下微服务中的体系(结构):

  • 域:一个域是一套注册中心、配置中心、监控中心、网关等等组成的结构体系,一个域中可以有多个系统。

  • 系统:一个系统相当于一个容器集群,这个容器系统内可以部署多个应用节点。

  • 节点:实现了微服务的轻耦合节点(应用)。

当然,理解这些是不够的架构设计的,我们还需要了解整个日志收集中的每个流程:

  • 日志选择:确定哪些日志类型需要进行收集分析,比如调试,网络等等类型。

  • 日志采集:使用哪种日志组件来作为采集,.NET上常用有Nlog和Log4net。

  • 日志缓冲:使用Kafka或RabbitMQ来缓冲日志收集的大量请求。

  • 日志筛选:筛选(过滤)哪些日志类型将要被存储,提前埋点。

  • 日志存储:日志的统一存储,例如ES(Elasticsearch)。

  • 日志检索:日志的快速检索功能,例如ES(Elasticsearch)。

  • 日志展现:日志的UI展现,例如KI(Kibana),或自定义WEB站点。

日志中心

在日志中心的方案上,由于日志收集没有语言依赖性,我们可以通过混合使用不同语言的组件来收集日志。

ELK

(Elasticsearch + Logstash + Kibana),java开源日志收集平台,名声赫赫,我们只需要配置采集组件的远程对接即可进行存储。如你更倾向于日后微服务的其他所有组件都是Java(比如Spring Boot)的,可使用

steeltoe

来完成你的梦想。(笔者并未深入研究ELK,只是实现了日志的提交和展现)

特点:开源,免费

640?wx_fmt=png

Splunk:使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备生成的快速移动型计算机数据。使用Splunking处理计算机数据,可让您在几分钟内解决问题和调查安全事件--| 这解释太官方,公司目前用的就是Splunk

特点:企业版收费,上手困难。

640?wx_fmt=png

Exceptionless:原生.Net平台上开发的一套开源日志收集中心,支持托管或自行部署,并且新版里面还有一些非常简单的APM,比如死链、耗时。

特点:托管收费,界面清晰易懂,最重要的是.Net且开源

640?wx_fmt=png

总结

本篇简单的介绍了日志收集的重要性,和设计流程,并简单的展示了三个常见平台的主界面,下一篇我们重点介绍Exceptionless。

原文地址:https://www.cnblogs.com/SteveLee/p/MicroService_Logs.html

.NET社区新闻,深度好文,欢迎访问公众号文章汇总 http://www.csharpkit.com
640?wx_fmt=jpeg


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/316891.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【无码专区2】序列划分(数学)

有std,但是没有自我实现,所以是无码专区 description 完全由数字组成的字符串 sss,划分成若干段,每一段看成一个十进制的数(允许前导零)求有多少种划分方法使得相邻两个数至少一个是 DDD 的倍数。对 1097…

Rinne Loves Edges

Rinne Loves Edges 题意: 有n给点,m个边,每个边有边权,给你一个点S,问最少花多少代价,可以让叶子节点无法与S点连通 题解: dp[u]:表示u到叶子节点的最短费用的和 dp[u]min(dp[v],w); 代码&…

.NET Core 中的 Generic Host快速使用指南

本文以自己在工作中学习和使用.net core generic-host 作一个总结。前言在创建的ASPNETCORE项目中,我们可以在Main()中看见,我们通过IWebHostBuild创建了一个IWebHost,而微软提供了WebHost.CreateDefaultBuilder(args)来帮助我们更轻松得创建…

CF1580B Mathematics Curriculum(笛卡尔树、树形dp)

解析 比较巧妙的一道题。 难点在于对题意的转化。 关键性质:符合要求的点等价于与笛卡尔树上深度为 mmm 的点。 原因也较为显然,考虑一个特定的点 xxx,当枚举全局最大值时,其会对 xxx 产生贡献,且最大值另一侧就和 xx…

CF1368G Shifting Dominoes(扫描线求矩阵的并集)

CF1368G Shifting Dominoesproblemsolutioncodeproblem 题目链接 solution 求的是最后棋盘本质不同的个数,而本质不同等价于两个空格位置不同。 如果想要移动一个多米诺骨牌,要求长边上下方有空位。 移动可以看成空位的移动。 所以我们考虑把一个 …

吉吉王国(二分+树形dp)

吉吉王国 题意: n个点,m个边,有边权,现在要求叶子节点无法与1号点连通,要求切断的总长度不能超过m,且切断的最长的长度尽可能断 题解: 题意的前半部分可以确定是树形dp,后半部分…

P3239 [HNOI2015]亚瑟王(期望)

解析 显然可以利用期望的线性性对每张牌单独计算贡献。 现在的关键就是如何求出每张牌被使用的概率。 考虑第 iii 张牌,如果它的前面 [1,i−1][1,i-1][1,i−1] 中有 jjj 张牌被使用,那么它被使用的概率就是 1−(1−pi)r−j1-(1-p_i)^{r-j}1−(1−pi​)…

微软一顿操作猛如虎,PowerShell 排名直线上升

近日,TIOBE 发布了 2019 年 3 月编程语言排行榜,PowerShell 首次进入到了榜单的 Top 50 中,排在第 45 位。PowerShell 是运行在 Windows 操作系统上实现对系统以及应用程序进行管理自动化的命令行脚本环境。(PowerShell 排在了 TI…

CF1237F Balanced Domino Placements(dp+组合计数)

CF1237F Balanced Domino Placementsproblemsolutioncodeproblem 题目链接 solution 骨牌横着放会占用一行两列,骨牌竖着放会占用两行一列。 问题可以抽象为:每次可以选择连续的两行放 AAA,或选一行放 BBB;每次可以选一列放 B…

AcWing 201. 可见的点

AcWing 201. 可见的点 题意: 题解: 我们先说结论:坐标(i,j),如果i和j互质,说明该坐标为可见 为什么? 我们想想什么样的坐标可见,什么样的会被挡住。光线是一个直线,在同一个直线上的点会被第一…

模板:LGV引理(线性代数)

所谓LGV引理,就是解决LGV问题的引理。 (逃) 前言 上联:古有学完SAM学PAM; 下联:今有学完Polya学LGV; 横批:小清新。 常被用于有向图不交路径计数问题。(废话&#xff…

ocelot 自定义认证和授权

Intro最近又重新启动了网关项目,服务越来越多,每个服务都有一个地址,这无论是对于前端还是后端开发调试都是比较麻烦的,前端需要定义很多 baseUrl,而后端需要没有代码调试的时候需要对每个服务的地址都收藏着或者记在哪…

CF765F Souvenirs(势能线段树)

CF765F Souvenirsproblemsolutioncodeproblem 题目链接 solution 这个势能线段树简直是太巧妙了!!!( ఠൠఠ )ノ 将询问按右端点升序离线下来。 对于每一个右端点 rrr,维护 ansimin⁡{∣ai−aj∣,j∈[i,r]}ans_i\m…

P4849 寻找宝藏(模板:四维偏序)

stable_sort 保平安。 解析 dp方程显而易见,关键就是如何进行这个四维偏序的转移。 考虑三维偏序(比如拦截导弹)我们是如何做的? 先按照第一维排序,然后分治解决前一半,接下来把前一半的第一维看成0&…

AcWing 220. 最大公约数

AcWing 220. 最大公约数 题意&#xff1a; 题解&#xff1a; 题目就变成了AcWing 201. 可见的点 当然有微调&#xff0c;因为可见的点里面是从0开始&#xff0c;本题从1开始&#xff0c;所以本题中phi[1]认为是0 AcWing 201. 可见的点的题解 代码&#xff1a; #include<b…

2021 CSP-S 游记

2021CSP-S游记 从国庆过后就开始停课&#xff0c;确实面对的压力和挑战很大。 这段时间真的就是完全没有去想文化课那边的事。 越接近考试时间&#xff0c;模拟赛就越密集&#xff0c;最近大家都在互测。 蛮清楚自己的水平的&#xff0c;而且偶尔还是能考得不错&#xff0c…

欧拉函数(简单介绍+例题)

Acwing视频讲解 欧拉函数&#xff1a;正整数n&#xff0c;欧拉函数是小于n的正整数中与n互质的数的数目 Np1a1 * p1a2 * p1a3 * …* p1ak 如果pj是i的最小质因子 红色区域一样 经推导得&#xff1a;phi[i * pj] phi[i] * pj 如果pj不是i的最小质因子 经推导&#xff1a;phi[…

P5303 [GXOI/GZOI2019]逼死强迫症(斐波拉契、矩阵乘法)

解析 非常妙的一个题&#xff0c;感受到了斐波拉契优美的归纳性质。 首先&#xff0c;不难发现只要两个1*1的位置固定&#xff0c;中间的摆法就固定了&#xff0c;而两边的方案都是经典的斐波拉契数列&#xff08;设为 fif_ifi​&#xff09;。 那么枚举中间的间隔再枚举左边…

程序员过关斩将--你的面向接口编程一定对吗?

菜菜哥&#xff0c;出大事啦怎么了&#xff0c;你和男票分手了&#xff1f;很正常&#xff0c;谁让你男票是产经经理呢不是啦&#xff0c;是我做的一个小游戏&#xff0c;需求又变了&#xff0c;程序我快改不动了说来让我欢乐一下&#xff1f;菜菜哥&#xff0c;咱两还能不能好…

[2021 CSP-S提高组] 题解(廊桥分配+括号序列+回文+交通规划)

2021 CSP-S 题解廊桥分配括号序列回文交通规划配合&#x1f449;CSP-S游记 食用更佳哦~ 【雷】&#xff1a;只是在民间数据过了&#xff0c;不保证一定正确。仅供参考&#xff01;&#xff01;&#xff01; 【雷】&#xff1a;只是在民间数据过了&#xff0c;不保证一定正确。…