释放.NET Big Memory和内存映射文件的能量

要点:

  • 通常Web服务器具有的内存远远超过了.NET GC在正常情况下可以有效处理的量。

  • 缓存服务器的性能优势通常会因增加了网络成本而下降。

  • 内存映射文件通常是在系统重新启动后填充缓存的最快方式。

  • 服务器端调优的目的是出站网络连接达到饱和的程度。 通过最小化CPU、磁盘和内部网络的使用来达到网络连接饱和的程度。

  • 通过在内存中保存对象图,可以获得图形数据库的性能优势,而且不会提高复杂性。

延续关于.NET平台(part1,part2)的Big Memory主题,本文介绍了使用Agincore’s Big Memory Pile在受管CLR服务器环境中使用大型数据集的优势。

综述

现今RAM已经非常快速和实惠,但是生命周期较短。 每次重新启动进程,内存将被清除,一切都必须重新加载。为了解决这个问题,我们最近添加了内存映射文件来支持我们的解决方案,即NFX堆。 使用内存映射文件,可以在重新启动后从磁盘快速获取数据。

相关厂商内容

华为使用Docker支持系统容器的优化实践苏宁大数据平台运维实践风控系统在容器化时代的实践eBay如何进行基于Kubernetes的互联网Ingress实践?有了 Spring Boot,内部框架还缺什么?

相关赞助商

CNUTCon全球运维技术大会,9月10日-9月11日,上海·光大会展中心大酒店,精彩内容抢先看

总的来说,Big Memory方法对于开发人员和企业来说是有益的,因为它改变了.NET平台上的高性能计算模式。 传统的Big Memory系统是以C/C ++风格的语言构建的,主要处理字符串和字节数组。 但是当专注于底层数据结构时,就很难解决实际的业务问题了,所以我们要专注于CLR对象。 内存堆允许开发人员根据对象实例进行思考,并与具有属性编码继承和其他CLR原生功能的数亿个实例配合工作

与语言无关的对象模型不同,就像一些软件供应商(如支持Java和.NET的供应商)所提出的那些,它们引入额外的变换以及需要额外流量/上下文切换/序列化的所有进程外解决方案。相反,我们将讨论进程内的本地堆或类“堆”对象,或者是在托管代码中的大型字节数组中的对象。这些对象对于GC来说是不可见的。

用例

为什么有人会使用几十或几百GB的RAM呢?以下是Big Memory Pile技术的一些已验证过的用例。

首先是缓存。在电子商务后端,存储着数十万种用来显示为详细目录列表的产品。每种产品可能有数十种变体。当在单个屏幕上构建一个展示30多个产品的目录视图时,即使是单个用户使用渐进式加载滚动页面,也需要很快速地获取到这些对象。为什么不使用Redis或Memcached?因为在同一个进程中做相同的事情,可以节省网络流量和序列化开销。将网络数据包转换成对象可能是非常昂贵的操作过程。如果要持有数十万种产品及其变体,您是否会使用字典<id,Product>(或IMemoryCache)?单单缓存数据便提供了足够的动机来使用RAM,但其实还有更多的方面...

另一个缓存用例是REST API服务器,可以将约5000万个很少更改的JSON向量序列化为UTF8编码的字节数组。大约1024字节的数组可以直接发送到Http流中,使得网络瓶颈处在80,000 req / sec左右。

使用复杂对象图是Pile的另一个完美案例。在社交应用中,需要遍历Twitter上的对话线程。当追踪谁在社区媒体网站上什么时候说了什么时,在内存中持有数亿个小向量的价值是无法估量的。也可以选择使用graph DB,而在这个案例中,在同一个进程中(它是由Web MVC应用程序托管的组件),正是使用了graph DB。我们现在正在处理每秒100K以上的REST API调用,这受限于我们的网络连接数,并且我们将CPU使用率保持在较低的水平。

在这个和其他用例中,后台工作人员随着变化而异步地更新社交图表。在许多情况下,如前面提到的产品目录,它可被优先完成。但是你不应该使用只持有数据子集的普通缓存来完成更新。

工作原理

Big Memory Pile通过在大型字符数组中使用CLR对象图的透明序列化来解决GC问题,有效地“隐藏”了GC可获取范围内的对象。然而并不是所有的对象类型都需要完全序列化, 字符串和字节数组对象会被写入堆中,因为缓冲区会绕过所有的序列化机制,在6核主机上每秒可完成超过6百万次64字的字符串插入。

这种方法的主要优点是其实用性。现实生活中的案例,在使用原生CLR对象模型时已显示出惊人的整体性能,因为不需要创建专用DTO,这样可以节省开发时间,而且因为不需要创建中间过程所需的额外副本,运行速度也会更快

总的来说,Pile将大部分I/O绑定代码转换成CPU限制代码。通常情况下,异步(具有I/O绑定)实现的典型案例是100%的同步线性代码,这种代码更加简单,并且在单个服务器上执行多个100K操作/秒时性能更好,因为Task和其他异步/等待的实现有隐藏开销(参见这里和这里)。

Big Memory 映射文件

内存中的处理过程是快速和容易实现的,但是当进程重新启动时,数据集会丢失,这个数据集通常(几十到几百GB)是很大的。从原始数据源拉出所有数据可能是非常耗时的,那是在重新启动后无法承受的时间开销。

为了解决这个问题,我们添加了内存映射文件(MMF)来支持使用标准的.NET类:MemoryMappedFile和MemoryMappedViewAccessor。现在,我们使用MemoryMappedViewAccessor实例和一些低级技巧来直接使用指针访问数据,而不是使用字节数组作为内存段的后备存储,所有这些操作都使用标准的C#来完成,不需要C ++参与,以保持一切简单,特别是构建链。

通过MemoryMappedViewAccessor(MMFMemory类)写入内存直接修改OS层中的虚拟内存页面。如果操作系统不能将这些页面交换到磁盘中,便会尝试将这些页面放在物理RAM中。将Pile写入MMF的一个很好的功能是,进程在关闭后马上重启则不需要从磁盘重新读取所有内容。即使在进程终止之后,操作系统仍将映射到进程地址空间的页面保留。启动时,MMFPile可以以比从磁盘重新读取更快的方式访问RAM中的页面。

请注意,由于在MMFMemory类中完成了非托管代码的上下文切换,MMFPile的性能会比DefaultPile慢(基于字节数组)。

以下是一些测试结果:

基准测试插入200,000,000字符串[32] 12个线程:

(机器:Intel Core I7 3.2 Ghz,6 Core,Win 7 64bit,VS2017,.NET 4.5)

DefaultPile

24秒@ 8.3百万次插入/秒= 8.5 Gb内存;全GC <8 ms

MMFPile

  • 41秒@ 4.9百万次插入/秒= 8.5 GB内存+磁盘;全GC <10 ms

  • 在Stop()上清除所有数据到磁盘:10秒

  • 读取所有数据到ram:48秒=〜177 mbyte /秒

正如你所看到的,MMF解决方案确实有额外的开销。由于非托管的MMF转换,吞吐量较低,并且一旦从磁盘安装Pile,则耗时与使用磁盘数据预先分配给RAM的内存量成比例。然而,你不需要等待加载整个工作集,因为MMFPile在Pile.Start()之后立即可用于写入和读取,数据的全部负载将需要时间开销,在上面的示例中8.5 GB数据集需要48秒的时间才能在中档SSD的RAM中预热。

基准测试插入200,000,000 个Person对象(具有7个字段) 12个线程:

DefaultPile

85秒@ 2.4百万次插入/秒= 14.5 Gb内存;全GC <10ms

MMFPile

  • 101秒@ 1.9百万次插入/秒= 14.5 GB内存+磁盘;全GC <10ms

  • 在Stop()上清除所有数据到磁盘:30秒

  • 读取所有数据到ram:50秒=〜290万字节/秒

其他改进

从上一次在InfoQ上发表文章以来,我们对NFX.Pile做了很多改进:

原始分配器/分层设计

Pile的实现可以更好地分层,从而可以将字符串和字节数组直接从RAM的较大的连续块中直接写入/读取。整个序列化机制完全绕过字节数组,从而可以使用Pile作为一个原始的字节数组分配器。

var ptr = pile.Put(“abcdef”); //这将绕过所有序列化程序//并使用UTF8Encoding代替
var original = pile.Get(ptr)as string;

性能提升

由于引入了试图避免多线程竞争的滑动窗口优化实现,段分配逻辑已经被修改,并且在多线程插入期间提高了50%以上的性能。此外,在大多数情况下字符串和字节数组完全绕过串行器会提高速度近5百万次插入/秒(200%以上的改进)。

枚举

利用IEnumerable <PileEntry>接口实现,可以获得整个堆的内容。 PileEntry结构体如下:

foreach(var entry in pile){   
Console.WriteLine(“{0} points to 
{1} bytes”.Args(                          entry.Pointer,                           
entry.Size));   
var data = pile.Get(entry.Pointer);   
… 
}

缓存持久化

出于性能原因,缓存的默认模式是“推测的”。在这种模式下,即使存在足够的内存,散列码冲突也可能导致较低的优先级项从高速缓存中弹出。

缓存服务器可以以“持久”模式存储数据,工作方式更像普通的字典。因为持久化模式需要在bucket中进行重新排列,所以相比推测模式会慢5-10%。对于大多数应用程序来说是难以察觉的。但是需要根据特定的情况进行测试从而确定最佳实现方式。

//为所有表指定TableOptions,将表持久化
cache.DefaultTableOptions = new TableOptions(“*”){CollisionMode = CollisionMode.Durable};

地对象突变和预分配

可以在现有PilePointer地址改变对象。新的API Put(PilePointer ...)允许在现有位置放置不同的有效载荷。如果新的有效载荷不适合现有的块,那么Pile将创建一个内部链接到新位置(* nix系统中的一个文件系统链接),有效地使原始指针指向新的位置。删除原始指针将删除链接及其所指向的内容。别名是完全透明的,并在读取时产生目标有效载荷。

还可以通过在调用Put()时指定preallocateBlockSize,为有效负载预分配更多的RAM。

//堆中存储链表的实现
public class ListNode{public PilePointer Previous;public PilePointer Next;public PilePointer Value;}...private IPile m_Pile;//big memory pile private PilePointer m_First;//list headprivate PilePointer m_Last;//list tail...
//将Person实例追加到堆中存储的人员链接列表
//返回最后一个节点
public PilePointer Append(Person person){var newLast = new ListNode{ Previous = m_Last, Next = PilePointer.Invalid, Value = m_Pile.Put(person)};var existingLast = m_Pile.Get(m_Last);existingLast.Next = node;m_Pile.Put(m_Last,existingLast); //在现有的ptr m_Last中进行编辑m_Last = m_Pile.Put(newLast); //向尾部添加新节点return m_Last;
}

更多信息,请参阅我们的视频:.NET Big Memory Object Pile - 在RAM中使用数百万个对象

链接

  • 源代码(GitHub Apache 2.0):

    • NFX对象桩

    • 应用模型/桩/ MMFPile

    • 应用模型/堆/默认桩

  • NFX文档

  • NFX桩在一个24 CPU 150Gb RAM云实例上的1.5亿C#/ NET对象

  • 关于Big Memory .NET的InfoQ文章系列:

    • .NET第1部分 - 处理10亿驻地业务对象的挑战

    • Big Memory .NET第2部分 - 堆,我们的大内存解决方案.NET

  • 关于Agnicore

关于作者

Dmitriy Khmaladze在美国的有超过20年的IT从业经验,主要工作在创业公司和财富500强客户。1998年Galaxy在医疗行业主创了SaaS。在语言与编译设计、分布式架构、系统编程和架构、C / C ++、.NET、Java、Android、IOS、Web设计、HTML5、CSS、JavaScript、RDBMS和NoSQL / NewSQL等领域有15年以上的研究。

原文地址:http://www.infoq.com/cn/articles/Big-Memory-Part-3


.NET社区新闻,深度好文,微信中搜索dotNET跨平台或扫描二维码关注

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/324211.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

3班的第二次模拟面试

大家好&#xff0c;我是雄雄&#xff0c;欢迎关注公众号【雄雄的小课堂】。今天&#xff0c;三班进行了第二次模拟面试&#xff0c;还是和第一次一样&#xff0c;分为技术面试和人事面试&#xff0c;不过这次不一样的一点就是我亲自面的大部分开发学生。通过这次模拟面试&#…

JavaFX图表(四)之面积图

翻译自 JavaFX - 面积图 面积图用于绘制基于区域的图表。它绘制给定系列点与轴之间的区域。通常&#xff0c;此图表用于比较两个数量。 以下是一张区域图表&#xff0c;描绘了一个星期内两个人消耗的水果数量。 在JavaFX中&#xff0c;Area图表由名为AreaChart的类表示。该类…

深入聊聊微服务架构的身份认证问题

从单体应用架构到分布式应用架构再到微服务架构&#xff0c;应用的安全访问在不断的经受考验。为了适应架构的变化、需求的变化&#xff0c;身份认证与鉴权方案也在不断的变革。面对数十个甚至上百个微服务之间的调用&#xff0c;如何保证高效安全的身份认证&#xff1f;面对外…

今晚在学校值班……

大家好&#xff0c;我是雄雄&#xff0c;欢迎关注公众号【雄雄的小课堂】。今晚在学校值班。每次进班巡查的时候&#xff0c;不管是哪个班级&#xff0c;同学们个个都是精神抖擞&#xff0c;双眼紧盯屏幕&#xff0c;双手放在键盘上&#xff0c;看起来貌似正在打代码或思考似的…

JavaFX图表(五)之气泡图

翻译自 JavaFX - 气泡图 气泡图用于种植三维数据; 第三个维度将由气泡的大小&#xff08;半径&#xff09;表示。 以下是描绘完成工作的气泡图。 在JavaFX中&#xff0c;气泡图由名为BubbleChart的类表示。该类属于包javafx.scene.chart。通过实例化此类&#xff0c;您可以…

IdentityServer4 实现自定义 GrantType 授权模式

OAuth 2.0 默认四种授权模式&#xff08;GrantType&#xff09;&#xff1a; 授权码模式&#xff08;authorization_code&#xff09;简化模式&#xff08;implicit&#xff09;密码模式&#xff08;password&#xff09;客户端模式&#xff08;client_credentials&#xff09…

分享几个上机案例题

1.从控制台中输入一个数&#xff0c;如果是1&#xff0c;输出壹&#xff1b;如果是2&#xff0c;输出贰&#xff0c;如果是三&#xff0c;输出叁&#xff0c;否则输出没有static void Main(string [] args) {Console.WriteLine("请输入一个数");int aint.Parse(Conso…

Java自动化邮件中发送图表(四)之javafx Chart

一、Javafx Chart JavaFX支持各种饼图和XY图表。在XY平面上表示的图表包括AreaChart&#xff0c;BarChart&#xff0c;BubbleChart&#xff0c;LineChart&#xff0c;ScatterChart&#xff0c;StackedAreaChart&#xff0c;StackedBarChart等。 注意&#xff1a;在Server JRE…

springboot项目不加端口号也可以访问项目的方法

大家好&#xff0c;我是雄雄&#xff0c;欢迎关注公众号&#xff1a;雄雄的小课堂。今天给大家分享的是&#xff0c;在nginx中配置域名以及端口号。前言&#xff1a;实际开发中&#xff0c;我们可能经常会有这样的情况&#xff0c;在本地的springboot项目中&#xff0c;会设置项…

NET中解决KafKa多线程发送多主题的问题

一般在KafKa消费程序中消费可以设置多个主题&#xff0c;那在同一程序中需要向KafKa发送不同主题的消息&#xff0c;如异常需要发到异常主题&#xff0c;正常的发送到正常的主题&#xff0c;这时候就需要实例化多个主题&#xff0c;然后逐个发送。 在NET中用RdKafka组件来做消息…

JavaFX图表(六)之条形图

翻译自 JavaFX - 条形图 条形图用于表示使用矩形条的分组数据。这些条的长度描绘了这些值。条形图中的条形可以垂直或水平绘制。 以下是条形图&#xff0c;比较各种汽车品牌。 在JavaFX中&#xff0c;条形图由名为BarChart的类表示。该类属于包javafx.scene.chart。通过实例…

孩子大了真是不好管了

大家好&#xff0c;我是雄雄&#xff0c;欢迎关注公众号&#xff1a;雄雄的小课堂。今天的这篇文章完全是有感而发。我有两个弟弟&#xff0c;老二目前工作较稳定&#xff0c;暂且不表&#xff0c;主要想说一下老三。

IdentityServer4 配置负载均衡

如果使用 IdentityServer4 做授权服务的负载均衡&#xff0c;默认情况下是不可以的&#xff0c;比如有两个授权服务站点&#xff0c;一个资源服务绑定其中一个授权服务&#xff08;Authority配置&#xff09;&#xff0c;如果通过另外一个授权服务获取access_token&#xff0c;…

JavaFX图表(七)之散点图

翻译自 JavaFX - 散点图 散点图是一种图形&#xff0c;它使用在笛卡尔平面中绘制的两个变量的值。它通常用于找出两个变量之间的关系。 以下是在面积和重量之间绘制的散点图。 在JavaFX中&#xff0c;Scatter图表由名为ScatterChart的类表示。该类属于包javafx.scene.chart。…

来自一位家长的电话

【文本不推荐看&#xff0c;只当做个人反思记录】大家好&#xff0c;我是雄雄&#xff0c;欢迎关注本公众号【雄雄的小课堂】。最近&#xff0c;本人的个人站上线&#xff0c;点击文末左下角的“阅读原文&#xff08;http://muxiongxiong.cn&#xff09;”即可浏览&#xff0c;…

Visual Studio 2017 15.3 预览版发布,接近最终版

从Visual Studio 2017 15.3预览版的发布时间表中可以看出&#xff0c;Microsoft似乎马上要发布这一版本的正式版。过去几周对VS2017 15.3的改动主要集中在问题修复上&#xff0c;开发人员可以注意到&#xff0c;最近的VS2017 15.3 Preview版本提供了对C# 7.1的支持&#xff0c;…

JavaFX图表(八)之堆积条形图

翻译自 JavaFX - 堆积条形图 StackedBarChart是BarChart的变体&#xff0c;它绘制了指示类别数据值的条形图。条形可以是垂直的或水平的&#xff0c;这取决于哪个轴是类别轴。每个系列的栏位于上一系列的顶部。 以下是堆积条形图&#xff0c;描绘了人口增长。 在JavaFX中&a…

P2698-花盆Flowerpot【单调队列】

正题 链接 https://www.luogu.org/record/show?rid7934370 大意 有n滴水&#xff0c;给出坐标&#xff0c;水每一个时间单位会往下掉一格&#xff0c;花盆可以随意摆放&#xff0c;要求在宽度最小的情况下接住的第一滴水和最后一滴水时间差超过D 解题思路 横坐标排序&am…

Redis(案例二:高并发商品首页热点数据开发实战)

热点数据 经常会被查询&#xff0c;但是不经常被修改或者删除的数据 ⾸⻚-详情⻚ 链路逻辑 检查缓存是否有 缓存不存在则查询数据库 查询结果放到缓存&#xff0c;设置过期时间 下次访问则命中缓存 代码实现 pojo —热点视频 Data NoArgsConstructor AllArgsConstructor pub…

VS2012找不到EF框架实体模型的解决方法

大家好&#xff0c;我是雄雄&#xff0c;欢迎关注本公众号【雄雄的小课堂】。最近&#xff0c;本人的个人站上线&#xff0c;点击文末左下角的“阅读原文”即可浏览&#xff0c;欢迎浏览、点赞与留言呦~网址&#xff1a;http://www.muxiongxiong.cn前天&#xff0c;在上课时&am…