在 ASP.NET Core 中使用 Serilog 使用 Fluentd 将日志写入 Elasticsearch

在 ASP.NET Core 中使用 Serilog 使用 Fluentd 将日志写入 Elasticsearch

原文来自：https://andrewlock.net/writing-logs-to-elasticsearch-with-fluentd-using-serilog-in-asp-net-core/

对于在 Kubernetes 中运行的应用程序，将日志消息存储在一个中心位置尤为重要。我认为这对所有应用程序都很重要，无论您使用的是 Kubernetes 还是 docker，但 pod 和容器的短暂性质使得后一种情况特别重要。

如果您没有集中存储容器中的日志，那么如果容器崩溃并重新启动，日志可能会永远丢失。

有很多方法可以实现这一目标。您可以直接从您的应用程序登录Elasticsearch或Seq，或者登录到Elmah.io等外部服务。一种常见的方法是使用 Fluentd 从容器的控制台输出中收集日志，并将这些日志通过管道传输到 Elasticsearch 集群。

默认情况下，ASP.NET Core 中的控制台日志输出格式为人类可读格式。如果您采用 Fluentd/Elasticsearch 方法，您需要确保您的控制台输出采用 Elasticsearch 可以理解的结构化格式，即 JSON。

在这篇文章中，我描述了如何将 Serilog 添加到 ASP.NET Core 应用程序，以及如何自定义 Serilog 控制台接收器的输出格式，以便您可以使用 Fluentd 将控制台输出通过管道传输到 Elasticsearch。

请注意，也可以将 Serilog 配置为使用Elasticsearch sink直接写入Elasticsearch。如果您没有使用 Fluentd，或者没有将您的应用程序容器化，那么这是一个不错的选择。

将日志写入控制台输出

当您从模板创建新的 ASP.NET Core 应用程序时，您的程序文件将如下所示（至少在 .NET Core 2.1 中）：

public class Program
{public static void Main(string[] args){CreateWebHostBuilder(args).Build().Run();}public static IWebHostBuilder CreateWebHostBuilder(string[] args) =>WebHost.CreateDefaultBuilder(args).UseStartup<Startup>();
}

静态辅助方法WebHost.CreateDefaultBuilder(args)创建一个WebHostBuilder并连接许多标准配置选项[1]。默认情况下，它配置控制台和调试记录器提供程序：

.ConfigureLogging((hostingContext, logging) =>
{logging.AddConfiguration(hostingContext.Configuration.GetSection("Logging"));logging.AddConsole();logging.AddDebug();
})

如果您从命令行使用 运行您的应用程序dotnet run，您将在控制台中看到每个请求的日志。下面显示了来自浏览器的两个请求生成的日志 - 一个用于主页，另一个用于 favicon.ico。

使用默认控制台记录器的控制台输出

不幸的是，控制台记录器在如何写入日志方面没有提供很大的灵活性。您可以选择包含 scopes或禁用颜色，但仅此而已。

ASP.NET Core 中默认Microsoft.Extensions.Logging基础结构的替代方法是使用 Serilog进行日志记录，并将其作为标准 ASP.NET Core 记录器进行连接。

将 Serilog 添加到 ASP.NET Core 应用程序

Serilog是一个成熟的开源项目，早于 ASP.NET Core 中的所有日志记录基础结构。在许多方面，ASP.NET Core 日志记录基础结构似乎以 Serilog 为模型：Serilog 具有类似的配置选项和可插拔的“接收器”来控制写入日志的位置。

开始使用 Serilog 的最简单方法是使用Serilog.AspNetCore NuGet 包。使用以下命令将其添加到您的应用程序中：

dotnet add package Serilog.AspNetCore

您还需要添加一个或多个“sink”包，以控制日志的写入位置。在这种情况下，我将安装控制台接收器，但如果您想一次写入多个目的地，您也可以添加其他接收器。

dotnet add package Serilog.Sinks.Console

Serilog.AspNetCore 包UseSerilog()在WebHostBuilder实例上提供了一个扩展方法。这用ILoggerFactorySerilog 的实现替换了默认值。您可以传入现有Serilog.ILogger实例，也可以内联配置记录器。例如，以下代码配置将写入的最低日志级别 ( info) 并注册控制台接收器：

public static IWebHostBuilder CreateWebHostBuilder(string[] args) =>WebHost.CreateDefaultBuilder(args).UseSerilog((ctx, config) =>{config.MinimumLevel.Information().Enrich.FromLogContext().WriteTo.Console();}).UseStartup<Startup>();
}

当您使用 Serilog 而不是默认记录器时再次运行应用程序会提供以下控制台输出：

使用 Serilog 而不是默认的控制台记录器的控制台输出

输出类似于默认记录器，但重要的是它是非常可配置的。您可以随意更改输出模板。例如，您可以通过包含SourceContext参数来显示生成日志的类的名称。

有关 Serilog.AspNetCore 包的更多详细信息和示例，请参阅 GitHub 存储库[2]。有关控制台格式选项，请参阅Serilog.Sinks.Console 存储库[3]。

除了对输出模板的简单更改外，控制台接收器还允许完全控制消息的呈现方式。我们将使用该功能将日志呈现为 Fluentd 的 JSON，而不是人性化的格式。

自定义Serilog Console Sink的输出格式写入JSON

要更改数据的呈现方式，您可以添加自定义ITextFormatter. Serilog 包含一个JsonFormatter您可以使用的，但建议您考虑使用Serilog.Formatting.Compact包[4]：

“CompactJsonFormatter与 Serilog 的默认值相比，大大减少了小日志事件的字节数JsonFormatter，同时保持人类可读。它通过更短的内置属性名称、更精简的格式以及排除冗余信息来实现这一点。”

我们不会将这个包用于我们的 Fluentd/Elasticsearch 用例，但我将展示如何在任何情况下插入它。使用 添加包dotnet add package Serilog.Formatting.Compact，创建格式化程序的新实例，并将其传递给调用中的WriteTo.Console()方法UseSerilog()：

.UseSerilog((ctx, config) =>
{config.MinimumLevel.Information().Enrich.FromLogContext().WriteTo.Console(new CompactJsonFormatter());
})

现在，如果您运行您的应用程序，您将看到以 JSON 格式写入控制台的日志：

使用 CompactJsonFormatter 以 JSON 格式写入控制台的日志图像

这个格式化程序可能对您有用，但就我而言，我希望编写 JSON 以便 Elasticsearch 能够理解它。您可以看到紧凑的 JSON 格式（在下面打印得很漂亮），正如承诺的那样，为时间戳 ( @t)、消息模板 ( @mt) 和呈现的消息 ( @r)使用了紧凑的名称：

{"@t": "2018-05-17T10:23:47.0727764Z","@mt": "{HostingRequestStartingLog:l}","@r": ["Request starting HTTP\/1.1 GET http:\/\/localhost:5000\/  "],"Protocol": "HTTP\/1.1","Method": "GET","ContentType": null,"ContentLength": null,"Scheme": "http","Host": "localhost:5000","PathBase": "","Path": "\/","QueryString": "","HostingRequestStartingLog": "Request starting HTTP\/1.1 GET http:\/\/localhost:5000\/  ","EventId": {"Id": 1},"SourceContext": "Microsoft.AspNetCore.Hosting.Internal.WebHost","RequestId": "0HLDRS135F8A6:00000001","RequestPath": "\/","CorrelationId": null,"ConnectionId": "0HLDRS135F8A6"
}

对于最简单的 Fluentd/Elasticsearch 集成，我希望使用标准 Elasticsearch 名称（例如@timestamp时间戳）输出 JSON 。幸运的是，所需要的只是更换格式化程序。

使用与 Elasticsearch 兼容的 JSON 格式化程序

该

Serilog.Sinks.Elasticsearch

包包含正是我们所需要的格式ElasticsearchJsonFormatter。这使用标准 Elasticsearch 字段（如@timestamp和 ）呈现数据fields。

不幸的是，目前除了复制和粘贴源代码首先检查许可证之外，将格式化程序添加到您的项目的唯一方法是安装整个Serilog.Sinks.Elasticsearch包，它有很多依赖项。

理想情况下，我希望将格式化程序视为它自己的独立包，就像Serilog.Formatting.Compac

一我提出了一个问题[5]如果这对您来说不是问题（这对我来说不是问题，因为我已经依赖Elasticsearch.Net，那么添加 Elasticsearch Sink 来访问格式化程序是最简单的解决方案。使用添加接收器dotnet add package Serilog.Sinks.ElasticSearch，并更新您的 Serilog 配置使用ElasticsearchJsonFormatter：

.UseSerilog((ctx, config) =>
{config.MinimumLevel.Information().Enrich.FromLogContext().WriteTo.Console(new ElasticsearchJsonFormatter();
})

连接此格式化程序后，控制台输出将包含常见的 Elasticsearch 字段，如@timestamp，如下面（漂亮打印）输出所示：

{  "@timestamp": "2018-05-17T22:31:43.9143984+12:00",  "level": "Information",  "messageTemplate": "{HostingRequestStartingLog:l}",  "message": "Request starting HTTP\/1.1 GET http:\/\/localhost:5000\/  ",  "fields": {    "Protocol": "HTTP\/1.1",    "Method": "GET",    "ContentType": null,    "ContentLength": null,    "Scheme": "http",    "Host": "localhost:5000",    "PathBase": "",    "Path": "\/",    "QueryString": "",    "HostingRequestStartingLog": "Request starting HTTP\/1.1 GET http:\/\/localhost:5000\/  ",    "EventId": {      "Id": 1    },    "SourceContext": "Microsoft.AspNetCore.Hosting.Internal.WebHost",    "RequestId": "0HLDRS5H8TSM4:00000001",    "RequestPath": "\/",    "CorrelationId": null,    "ConnectionId": "0HLDRS5H8TSM4"  },  "renderings": {    "HostingRequestStartingLog": [      {        "Format": "l",        "Rendering": "Request starting HTTP\/1.1 GET http:\/\/localhost:5000\/  "      }    ]  }}

现在日志以一种可以直接从 Fluentd 传输到 Elasticsearch 的格式呈现。我们可以只写到控制台。

根据托管环境在输出格式化程序之间切换

最后的提示。如果您想在本地开发时获得人类可读的控制台输出，并且只在 Staging 或 Production 中使用 JSON 格式化程序怎么办？

这很容易实现，因为UseSerilog扩展提供了IHostingEnvironment通过WebHostBuilderContext. 例如，在以下代码段中，我将应用程序配置为在开发中使用人类可读的控制台，并在其他环境中使用 JSON 格式化程序。

.UseSerilog((ctx, config) =>
{config.MinimumLevel.Information().Enrich.FromLogContext();if (ctx.HostingEnvironment.IsDevelopment()){config.WriteTo.Console();}else{config.WriteTo.Console(new ElasticsearchJsonFormatter());}
})

除了环境之外，您还可以根据通过IConfiguration对象 at提供的配置值进行切换ctx.Configuration。

概括

将日志存储在一个中心位置很重要，尤其是在您构建容器化应用程序时。一种可能的解决方案是将日志输出到控制台，让 Fluentd 监控控制台，并将输出通过管道传输到 Elasticsearch 集群。在这篇文章中，我描述了如何将 Serilog 日志记录添加到您的 ASP.NET Core 应用程序并将其配置为以 Elasticsearch 期望的 JSON 格式将日志写入控制台。

References

[1] 连接许多标准配置选项: https://github.com/aspnet/MetaPackages/blob/2.1.0-rc1-final/src/Microsoft.AspNetCore/WebHost.cs#L150
[2] 请参阅 GitHub 存储库: https://github.com/serilog/serilog-aspnetcore
[3] Serilog.Sinks.Console 存储库: https://github.com/serilog/serilog-sinks-console
[4] 考虑使用Serilog.Formatting.Compact包: https://github.com/serilog/serilog-formatting-compact

[5] 我提出了一个问题: https://github.com/serilog/serilog-sinks-elasticsearch/issues/176

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/299685.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

2021年度最全面JVM虚拟机，类加载过程与类加载器

2021年度最全面JVM虚拟机，类加载过程与类加载器

前言 类装载器子系统是JVM中非常重要的部分&#xff0c;是学习JVM绕不开的一关。 一般来说&#xff0c;Java 类的虚拟机使用 Java 方式如下&#xff1a; Java 源程序&#xff08;.java 文件&#xff09;在经过 Java 编译器编译之后就被转换成 Java 字节代码&#xff08;.class …
阅读更多...
做生意最重要的诚信呢？？？ | 今日最佳

做生意最重要的诚信呢？？？ | 今日最佳

全世界只有3.14 % 的人关注了青少年数学之旅&#xff08;图源网络&#xff0c;侵权删&#xff09;
阅读更多...
从笑话中看到产品创意

从笑话中看到产品创意

西贝在公司的洗手间中看到了2则笑话&#xff0c;体会出来笑话的另一个含义&#xff0c;其实它和产品有很多相似之处的。第一则&#xff1a;某学校的小师妹看上了校中的师兄帅哥&#xff0c;决定主动追求。小师妹遇上之后主动搭讪“师兄&#xff0c;有女朋友吗&#xff1f;”帅哥…
阅读更多...
快速配置Ehcache

快速配置Ehcache

1. 编写ehcache.xml文件&#xff0c;将该文件放置于classpath路径下。代码如下&#xff1a; <?xml version"1.0" encoding"UTF-8"?><ehcache> <!-- 缓存文件生成之后所放置的路径 --> <diskStore path"D:/Develop/tomcat-6…
阅读更多...
.NET 6 预览版 7 发布--(最后一个预览版)

.NET 6 预览版 7 发布--(最后一个预览版)

原文&#xff1a;bit.ly/2VJxjxQ作者&#xff1a;Richard翻译&#xff1a;精致码农-王亮说明&#xff1a;文中有大量的超链接&#xff0c;这些链接在公众号文章中被自动剔除&#xff0c;一部分包含超链接列表的小段落被我删减了&#xff0c;如果你对此感兴趣&#xff0c;请参考…
阅读更多...
面试避坑手册之 Java字节流和字符流总结IO流！

面试避坑手册之 Java字节流和字符流总结IO流！

从接收输入值说起 在日常的开发应用中&#xff0c;有时候需要直接接收外部设备如键盘等的输入值&#xff0c;而对于这种数据的接收方式&#xff0c;我们一般有三种方法&#xff1a;字节流读取&#xff0c;字符流读取&#xff0c;Scanner 工具类读取。 字节流读取 直接看一个…
阅读更多...
这家AI公司用面具破解中国人脸识别系统！微信、支付宝、火车站无一幸免

这家AI公司用面具破解中国人脸识别系统！微信、支付宝、火车站无一幸免

全世界只有3.14 % 的人关注了青少年数学之旅据外媒报道&#xff0c;一家人工智能公司Kneron用一个特制的3D面具&#xff0c;成功欺骗了包括支付宝和微信在内的诸多人脸识别支付系统&#xff0c;完成了购物支付程序。他们用同样的方式甚至进入了中国的火车站。现如今&#xff0c…
阅读更多...
coolite TreeNode NodeClick传id到后台的方法

coolite TreeNode NodeClick传id到后台的方法

重点如下&#xff1a; 1 <AjaxEvents>2 <Click OnEvent"PanelTree_Click" >3 <EventMask ShowMask"true" Msg"正在执行,请稍后" />4 <E…
阅读更多...
使silverlight适应IE窗口大小的方法

使silverlight适应IE窗口大小的方法

Pete Brown在它的BLOG中提到了一个按自定义比例使用silverlight适应IE窗口大小的方法 原文如下&#xff1a;How to Resize a Silverlight 2 App and Keep the Same Aspect Ratio 其核心代码如下&#xff08;Xaml&#xff09;&#xff1a; <UserCon…
阅读更多...
使用JavaScript实现页面选项自动添加行以及删除行 javaweb

使用JavaScript实现页面选项自动添加行以及删除行 javaweb

2019独角兽企业重金招聘Python工程师标准>>> <% page language"java" import"java.util.*" pageEncoding"UTF-8"%> <% String path request.getContextPath(); String basePath request.getScheme()"://"reques…
阅读更多...
C#基础知识之base、this、new、override、abstract梳理

C#基础知识之base、this、new、override、abstract梳理

一、Base关键词的几种用法base重要用于OOP的多态上&#xff0c;base 关键字用于在派生类中实现对基类公有或者受保护成员的访问&#xff0c;但是只局限在构造函数、实例方法和实例属性访问器中1、base调用基类构造函数using System;namespace BaseDemo {class Program{static v…
阅读更多...
班主任老师推荐这些优质的教育号，建议家长们多阅读！

班主任老师推荐这些优质的教育号，建议家长们多阅读！

全世界只有3.14 % 的人关注了青少年数学之旅推荐几个教育类学习号让孩子少走弯路&#xff0c;为孩子成长保驾护航&#xff01;长按二维码&#xff0c;选择【识别图中二维码】关注理想父母 lixiangfumu&#xff08;长按二维码识别关注&#xff09;关注理由&#xff1a;面向家长…
阅读更多...
【转】ArcGIS.Server.9.2.DotNet的ADF的Toolbar工作过程分析

【转】ArcGIS.Server.9.2.DotNet的ADF的Toolbar工作过程分析

目的&#xff1a;1.ArcGIS.Server.9.2.DotNet的ADF的Toolbar工作过程原理。开始&#xff1a;Toolbar工作过程&#xff1a;一.初始化过程&#xff08;在页面生成的时候Toolbar控件会生成和它相关的html代码和javascript代码&#xff09;&#xff1a; 1.根据每一个子Tool生成…
阅读更多...
学妹问我Java枚举类与注解，我直接用这个搞定她！

学妹问我Java枚举类与注解，我直接用这个搞定她！

很多人问我学妹长什么样&#xff0c;不多说 上图吧&#xff01; 学妹问我Java枚举类与注解&#xff0c;我直接一篇文章搞定&#xff01;一、枚举类① 自定义枚举类② enum关键字定义枚举类③ enum 枚举类的方法④ enum 枚举类实现接口二、注解① 生成文档相关注解②注解在编译…
阅读更多...
[转]张孟苏考上的不是大学

[转]张孟苏考上的不是大学

原文&#xff1a;http://blog.sina.com.cn/s/blog_4910bb430100a5gy.html 张孟苏考因为助人为乐得到来新加坡读书的机会&#xff0c;作为一个在新加坡生活了十年的人&#xff0c;我向她表示祝贺。但为了对社会负责&#xff0c;对读者负责&#xff0c;我决定写这篇文章。 许多人…
阅读更多...
bitmapdata的知识点

bitmapdata的知识点

flashplayer的cpu渲染 bitmapData占用的内存分两块&#xff0c;一块是原始数据区&#xff0c;另一块是解压后的内存区10秒内如果没有使用这个bitmapdata&#xff0c;解压后的内存区会被释放&#xff0c;当10秒后重新使用&#xff0c;这个bitmapdata会再次解压&#xff0c;所以就…
阅读更多...
设计模式之代理

设计模式之代理

代理模式介绍啥是代理模式&#xff1f;代理模式 是一种结构型设计模式&#xff0c;让你能够提供对象的替代品或其占位符。代理控制着对于原对象的访问&#xff0c;并允许在将请求提交给对象前后进行一些处理。其实说通俗点&#xff0c;就好比我们平时生活中的购买机票&#xff…
阅读更多...
PHP 的历史

PHP 的历史

PHP/FI PHP 继承自一个老的工程&#xff0c;名叫 PHP/FI。PHP/FI 在 1995 年由 Rasmus Lerdorf 创建&#xff0c;最初只是一套简单的 Perl 脚本&#xff0c;用来跟踪访问他主页的人们的信息。它给这一套脚本取名为“Personal Home Page Tools”。随着更多功能需求的增加&#x…
阅读更多...
linux主要系统服务介绍

linux主要系统服务介绍

linux主要系统服务介绍 apmd&#xff0d;&#xff0d;apmd用来监视系统用电状态&#xff0c;并将相关信息通过syslogd写入日志。也可以用来在电源不足时关机arpwatch&#xff0d;&#xff0d;用来维护以太网物理地址和ip地址的对应关系atd&#xff0d;&#xff0d;运行用户用at…
阅读更多...
轮子，辛苦你了。 | 今日最佳

轮子，辛苦你了。 | 今日最佳

全世界只有3.14 % 的人关注了青少年数学之旅&#xff08;图源帅哥李坏的朋友圈&#xff0c;侵权删&#xff09;
阅读更多...
最新文章

Copyright @ 2022~2023