arraylist内存溢出
介绍
内存中的计算由于负担得起的硬件而开始兴起,大多数数据保留在RAM中以满足延迟和吞吐量的目标,但是将数据保留在RAM中会增加垃圾收集器的开销,尤其是在您不预先分配内存的情况下。 因此,有效地我们需要一种无垃圾/无垃圾的方法来避免GC打ic
无垃圾/无垃圾数据结构
有几种选择可以实现它
对象池
对象池模式是一个很好的解决方案,我在Lock Less Object Pool博客中写道
堆外对象
JVM对创建脱机对象具有很好的支持。 如果您走这条高速公路,并且高速公路有其自身的风险,您可以摆脱GC暂停!
就像世界上最好的一样,这是堆与堆的混合。
内存映射文件将允许映射内存中的部分数据,并且该内存将由OS管理,因此它将在正在映射文件的JVM进程中创建非常少的内存开销。 这可以帮助以无垃圾方式管理数据,并且您可以让JVM管理大型数据。 内存映射文件可用于开发IPC,我在Power-of-java-memorymapped-file博客中写道。 在此博客中,我将创建由MemoryMapped File备份的ArrayList,此阵列列表可以存储数百万个对象,几乎没有GC开销。 听起来很疯狂,但有可能。
让我们行动起来
在此测试中,我使用具有以下属性的Instrument对象
–整数ID
–双倍价格
因此,每个对象都是12个字节。 这个新的数组列表包含1000万个对象,我将尝试评估写入器/读取器的性能
作家表现
X轴 –没有读数
Y轴 –以毫秒为单位增加一千万的时间
添加1000万个元素大约需要70毫秒,这非常快。
作家吞吐量
让我们看一下性能的另一个方面,即吞吐量:
X轴 –没有读数
Y轴 –吞吐量/秒,百万
作家吞吐量令人印象深刻,我的范围介于1.38亿到1.42亿之间
读者表现
X轴 –没有读数
Y轴 –读取1000万以毫秒为单位的时间
读取1000万条记录大约需要44毫秒,非常快。 凭借这种性能,您肯定会挑战数据库。
读者吞吐量
X轴 –没有读数
Y轴 –吞吐量/秒,百万
哇吞吐量很棒,每秒220+百万
以1.38亿/秒的写入器吞吐率和2.2亿/秒的读取器吞吐率看似非常有前途。
与数组列表比较
让我们比较BigArrayList和ArrayList的性能,
作家吞吐量– BigArrayList与ArrayList
BigArrayList的吞吐量几乎恒定在1.38亿/秒左右, ArrayList以5000万 /秒开始,跌落到500万以下。
ArrayList有很多问题,这是由于
–阵列分配
–阵列复制
–垃圾收集开销
在这种情况下, BigArrayList是赢家,它比arraylist快7倍 。
读取器吞吐量– BigArrayList与ArrayList
ArrayList的性能比BigArrayList更好,大约快1倍。
在这种情况下,BigArrayList速度较慢,因为
–随着请求更多数据,它必须将映射文件保留在内存中
–取消封送的成本
BigArrayList的读取器吞吐量为220+百万/秒,仍然非常快,只有很少的应用程序想要比这更快的处理消息。
因此,对于大多数用例来说,这应该可行。
使用以下技术可以提高阅读器性能
–从映射的流中批量读取消息
–通过使用索引来预取消息,就像CPU一样
通过进行上述更改,我们可以将性能提高几百万美元,但是我认为,在大多数情况下,当前的性能还是不错的
结论
内存映射文件是值得研究的领域,它可以解决许多性能问题。 Java现在正被用于开发交易应用程序,GC从一开始就是您必须回答的一个问题,您需要找到一种使GC保持快乐的方法,而MemoryMapped是GC会喜欢的一件事。
该博客使用的代码可在@GitHub上获得 ,我使用2gb内存进行了测试。 代码不能处理某些极端情况,但足以证明MemoryMapped文件在许多情况下都能胜出。
翻译自: https://www.javacodegeeks.com/2013/07/arraylist-using-memory-mapped-file.html
arraylist内存溢出