NET Core微服务之路:简单谈谈对ELK,Splunk,Exceptionless统一日志收集中心的心得体会...

前言

日志,一直以来都是开发人员和运维人员最关心的问题。开发人员可通过日志记录来协助问题定位,运维人员可通过日志发现系统隐患,故障等定位问题。如果你的系统中没有日志,就像一个断了线的风筝,你永远不知道它会的落脚点(故障点)在什么地方。当然,你说你不用日志,非要用调试模式来一个一个的排查和验证问题,那这将是非常疯狂的。

微服务架构日渐火热,在享受微服务带来的种种好处的同事,也要承担她所带来的各种困扰。因为系统不再是一个独立的个体,而是分部到不同地方、不同宿主、不同区段单独的服务个体(节点),他散落,不统一,那么,当某个节点出现问题,如何快速定位,将是一个挑战。你总不可能说我把每个节点的日志都查一遍吧。那么,这个问题可以这样描述:

  • 如何及时采集每个节点的日志?

  • 如何将日志进行及时汇总?

  • 如何将汇总的日志进行有利(快速)的分析(检索)?

日志的重要性和复杂性

说道日志的重要性,我相信没有任何开发人员和运维人员认为他不重要,正如“前言”所提,这个世界没有这样疯狂的人。

再论日志的复杂性,日志保存了当前系统中各种功能的记录,正如你去一家医院的体检单,上面清晰的记录了你各项生命特征信息、以及不同的指标。日志文件在应用系统中的作用就如同体检单,它反应了系统的健康状态、系统的操作事件、系统的变更状况。

日志种类繁杂,一个健壮的系统可能会有着各种各样的日志信息。

640?wx_fmt=png


单单上面一张图片,可以显示出六种日志类型,那还有我们开发的日志呢,比如调试,运行,错误,一般信息等等等。如此多种多样的日志,哪些是我们所需要的,都是在架构中需要考虑的问题。

微服务的日志中心架设流程

我们先了解一下微服务中的体系(结构):

  • 域:一个域是一套注册中心、配置中心、监控中心、网关等等组成的结构体系,一个域中可以有多个系统。

  • 系统:一个系统相当于一个容器集群,这个容器系统内可以部署多个应用节点。

  • 节点:实现了微服务的轻耦合节点(应用)。

当然,理解这些是不够的架构设计的,我们还需要了解整个日志收集中的每个流程:

  • 日志选择:确定哪些日志类型需要进行收集分析,比如调试,网络等等类型。

  • 日志采集:使用哪种日志组件来作为采集,.NET上常用有Nlog和Log4net。

  • 日志缓冲:使用Kafka或RabbitMQ来缓冲日志收集的大量请求。

  • 日志筛选:筛选(过滤)哪些日志类型将要被存储,提前埋点。

  • 日志存储:日志的统一存储,例如ES(Elasticsearch)。

  • 日志检索:日志的快速检索功能,例如ES(Elasticsearch)。

  • 日志展现:日志的UI展现,例如KI(Kibana),或自定义WEB站点。

日志中心

在日志中心的方案上,由于日志收集没有语言依赖性,我们可以通过混合使用不同语言的组件来收集日志。

ELK

(Elasticsearch + Logstash + Kibana),java开源日志收集平台,名声赫赫,我们只需要配置采集组件的远程对接即可进行存储。如你更倾向于日后微服务的其他所有组件都是Java(比如Spring Boot)的,可使用

steeltoe

来完成你的梦想。(笔者并未深入研究ELK,只是实现了日志的提交和展现)

特点:开源,免费

640?wx_fmt=png

Splunk:使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备生成的快速移动型计算机数据。使用Splunking处理计算机数据,可让您在几分钟内解决问题和调查安全事件--| 这解释太官方,公司目前用的就是Splunk

特点:企业版收费,上手困难。

640?wx_fmt=png

Exceptionless:原生.Net平台上开发的一套开源日志收集中心,支持托管或自行部署,并且新版里面还有一些非常简单的APM,比如死链、耗时。

特点:托管收费,界面清晰易懂,最重要的是.Net且开源

640?wx_fmt=png

总结

本篇简单的介绍了日志收集的重要性,和设计流程,并简单的展示了三个常见平台的主界面,下一篇我们重点介绍Exceptionless。

原文地址:https://www.cnblogs.com/SteveLee/p/MicroService_Logs.html

.NET社区新闻,深度好文,欢迎访问公众号文章汇总 http://www.csharpkit.com
640?wx_fmt=jpeg


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/316891.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

.NET Core 中的 Generic Host快速使用指南

本文以自己在工作中学习和使用.net core generic-host 作一个总结。前言在创建的ASPNETCORE项目中,我们可以在Main()中看见,我们通过IWebHostBuild创建了一个IWebHost,而微软提供了WebHost.CreateDefaultBuilder(args)来帮助我们更轻松得创建…

微软一顿操作猛如虎,PowerShell 排名直线上升

近日,TIOBE 发布了 2019 年 3 月编程语言排行榜,PowerShell 首次进入到了榜单的 Top 50 中,排在第 45 位。PowerShell 是运行在 Windows 操作系统上实现对系统以及应用程序进行管理自动化的命令行脚本环境。(PowerShell 排在了 TI…

AcWing 201. 可见的点

AcWing 201. 可见的点 题意: 题解: 我们先说结论:坐标(i,j),如果i和j互质,说明该坐标为可见 为什么? 我们想想什么样的坐标可见,什么样的会被挡住。光线是一个直线,在同一个直线上的点会被第一…

ocelot 自定义认证和授权

Intro最近又重新启动了网关项目,服务越来越多,每个服务都有一个地址,这无论是对于前端还是后端开发调试都是比较麻烦的,前端需要定义很多 baseUrl,而后端需要没有代码调试的时候需要对每个服务的地址都收藏着或者记在哪…

CF765F Souvenirs(势能线段树)

CF765F Souvenirsproblemsolutioncodeproblem 题目链接 solution 这个势能线段树简直是太巧妙了!!!( ఠൠఠ )ノ 将询问按右端点升序离线下来。 对于每一个右端点 rrr,维护 ansimin⁡{∣ai−aj∣,j∈[i,r]}ans_i\m…

AcWing 220. 最大公约数

AcWing 220. 最大公约数 题意&#xff1a; 题解&#xff1a; 题目就变成了AcWing 201. 可见的点 当然有微调&#xff0c;因为可见的点里面是从0开始&#xff0c;本题从1开始&#xff0c;所以本题中phi[1]认为是0 AcWing 201. 可见的点的题解 代码&#xff1a; #include<b…

欧拉函数(简单介绍+例题)

Acwing视频讲解 欧拉函数&#xff1a;正整数n&#xff0c;欧拉函数是小于n的正整数中与n互质的数的数目 Np1a1 * p1a2 * p1a3 * …* p1ak 如果pj是i的最小质因子 红色区域一样 经推导得&#xff1a;phi[i * pj] phi[i] * pj 如果pj不是i的最小质因子 经推导&#xff1a;phi[…

程序员过关斩将--你的面向接口编程一定对吗?

菜菜哥&#xff0c;出大事啦怎么了&#xff0c;你和男票分手了&#xff1f;很正常&#xff0c;谁让你男票是产经经理呢不是啦&#xff0c;是我做的一个小游戏&#xff0c;需求又变了&#xff0c;程序我快改不动了说来让我欢乐一下&#xff1f;菜菜哥&#xff0c;咱两还能不能好…

Codeforces:779(div2)

前言 solve 4 rnk247 占了罚时的便宜。 CF不占罚时便宜就会被罚时占便宜 感觉这场似乎都是性质题&#xff0c;一眼看出性质就秒了&#xff0c;看不出就很难做出来了。 C似乎卡了很多人。但我做起来还好。 D2做不出来有些懊恼。 E是妙题。 题目 A 水题&#xff0c;保证male…

我们为什么要搞长沙.NET技术社区(4)

我们为什么要搞长沙.NET技术社区&#xff08;4&#xff09;邹溪源&#xff0c;2019年3月7日Ps:文中的.NET 包括且不限定于传统.NET Framework技术和.NET Core技术。1. 楔子昨天&#xff08;2019年3月6日&#xff09;晚餐时间&#xff0c;有幸得到长沙技术圈资深.NET开发者出生…

P1290 欧几里德的游戏

P1290 欧几里德的游戏 题意&#xff1a; 给定两个正整数 M 和 N&#xff0c;从 Stan 开始&#xff0c;从其中较大的一个数&#xff0c;减去较小的数的正整数倍&#xff0c;当然&#xff0c;得到的数不能小于 0。然后是 Ollie进行同样的操作&#xff0c;直到一个人得到0&#…

C#机器学习之判断日报是否合格

原文作者&#xff1a;心莱科技肖鑫简单来说机器学习的核心步骤在于“获取学习数据&#xff1b;选择机器算法&#xff1b;定型模型&#xff1b;评估模型&#xff0c;预测模型结果”&#xff0c;下面本人就以判断日报内容是否合格为例为大家简单的阐述一下C#的机器学习。第一步&a…

SignalR2结合ujtopo实现拓扑图动态变化

上一篇文章基于jTopo的拓扑图设计工具库ujtopo&#xff0c;介绍了拓扑设计工具&#xff0c;这一篇我们使用SignalR2结合ujtopo实现拓扑图的动态变化。仅仅作为演示&#xff0c;之前的文章SignalR2简易数据看板演示&#xff0c;用一个小的示例演示了SignalR作为数据看板的用法&a…

Ocelot 入门Demo系列(01-Ocelot极简单Demo及负载均衡的配置)

来源&#xff1a;https://www.cnblogs.com/7tiny/p/10493805.html【前言】Ocelot是一个用.NET Core实现并且开源的API网关&#xff0c;它功能强大&#xff0c;包括了&#xff1a;路由、请求聚合、服务发现、认证、鉴权、限流熔断、并内置了负载均衡器与Service Fabric、Butterf…

博弈论(基础概念+例题)

博弈论(b站视频) 文章目录一些概念以Nim游戏为例Nim游戏介绍定义 必败/必胜局面必败/必胜局面的判定引理Nim游戏判定引理的等价命题有向图游戏对判定引理的数学描述-Sg函数有向图游戏的和题目&#xff1a;[有向图游戏][有向图游戏的和][构造/转化类]一些概念 以Nim游戏为例 Ni…

.NET Core 3.0 linux 部署小贴士

dotnet core 3.0 目前还是测试版&#xff0c;在linux下安装 sdk 需要有一些注意事项1.下载urlhttps://dotnet.microsoft.com/download/thank-you/dotnet-sdk-3.0.100-preview-009812-linux-x64-binaries2.安装指令mkdir -p $HOME/dotnet && tar zxf dotnet-sdk-3.0.100…

PuppeteerSharp: 更友好的 Headless Chrome C# API

前端就有了对 headless 浏览器的需求&#xff0c;最多的应用场景有两个UI 自动化测试&#xff1a;摆脱手工浏览点击页面确认功能模式爬虫&#xff1a;解决页面内容异步加载等问题也就有了很多杰出的实现&#xff0c;前端经常使用的莫过于 PhantomJS 和 selenium-webdriver&…

中国.NET:东莞+长沙.NET俱乐部现场花絮及合肥、苏州、上海等地活动预

《传承有序》与微软技术的发展历程相似&#xff0c;微软俱乐部的发展经历着沉沉浮浮&#xff0c;曾经随着微软走向封闭与固执&#xff0c;.NET社区年轻一代的声音被忽略&#xff0c;.NET社区后继无人。社区的沉默是可怕的&#xff0c;很多社区沉寂消亡。但是在2018年&#xff0…

【AcWing 235. 魔法珠

【AcWing 235. 魔法珠 题意&#xff1a; 有n堆魔法珠&#xff0c;第i堆有ai个&#xff0c;两个人轮流进行以下操作&#xff1a; 当轮到某人操作时&#xff0c;如果每堆中魔法珠的数量均为 1&#xff0c;那么他就输了。 问谁赢谁输 题解&#xff1a; 经典博弈论问题 注意本…

Abp vNext 切换MySql数据库

Abp vNext是Abp的下一代版本&#xff0c;目前还在经一步完善&#xff0c;代码已经全部重写了&#xff0c;好的东西保留了下来&#xff0c;去除了很多笨重的东西&#xff0c;从官宣来看&#xff0c;Abp vNext主要是为了以后微服务架构而诞生的。从源码来看&#xff0c;Abp vNext…