扩展Guava缓存溢出到磁盘

缓存使您可以轻松地显着加速应用程序。 Java平台的两种出色的缓存实现是Guava缓存和Ehcache 。 尽管Ehcache功能丰富得多(例如其Searchable API ,将缓存持久化到磁盘或溢出到大内存的可能性),但与Guava相比,它也带来了相当大的开销。 在最近的项目中,我发现需要将全面的缓存溢出到磁盘上,但是与此同时,我经常需要使该缓存的特定值无效。 由于Ehcache的Searchable API仅可用于内存中的缓存,因此这使我陷入了两难境地。 但是,扩展Guava缓存以允许以结构化方式溢出到磁盘非常容易。 这使我既溢出到磁盘,又需要必需的失效功能。 在本文中,我想展示如何实现这一目标。

我将以实际Guava Cache实例的包装器形式实现此文件持久性缓存FilePersistingCache 。 当然,这不是最优雅的解决方案(更优雅的方法是使用此行为来实现实际的Guava Cache ),但是在大多数情况下,我都会这样做。

首先,我将定义一个受保护的方法,该方法创建前面提到的后备缓存:

private LoadingCache<K, V> makeCache() {return customCacheBuild().removalListener(new PersistingRemovalListener()).build(new PersistedStateCacheLoader());
}protected CacheBuilder<K, V> customCacheBuild(CacheBuilder<K, V> cacheBuilder) {return CacheBuilder.newBuilder();
}

第一种方法将在内部用于构建必要的缓存。 为了实现对缓存的任何自定义要求(例如,过期策略),应该重写第二种方法。 例如,这可以是条目或软引用的最大值。 此缓存将与其他任何Guava缓存一样使用。 缓存功能的关键是用于此缓存的RemovalListenerCacheLoader 。 我们将这两个实现定义为FilePersistingCache内部类:

private class PersistingRemovalListener implements RemovalListener<K, V> {@Overridepublic void onRemoval(RemovalNotification<K, V> notification) {if (notification.getCause() != RemovalCause.COLLECTED) {try {persistValue(notification.getKey(), notification.getValue());} catch (IOException e) {LOGGER.error(String.format("Could not persist key-value: %s, %s",notification.getKey(), notification.getValue()), e);}}}
}public class PersistedStateCacheLoader extends CacheLoader<K, V> {@Overridepublic V load(K key) {V value = null;try {value = findValueOnDisk(key);} catch (Exception e) {LOGGER.error(String.format("Error on finding disk value to key: %s",key), e);}if (value != null) {return value;} else {return makeValue(key);}}
}

从代码中可以明显FilePersistingCache ,这些内部类调用了我们尚未定义的FilePersistingCache方法。 这使我们可以通过重写此类来定义自定义序列化行为。 删除侦听器将检查清除缓存条目的原因。 如果RemovalCauseCOLLECTED ,缓存条目没有由用户手动删除,但它已被删除作为高速缓存的驱逐策略的结果。 因此,如果用户不希望删除缓存条目,我们将仅尝试保留该条目。 CacheLoader将首先尝试从磁盘还原现有值并仅在无法还原该值时创建一个新值。

缺少的方法定义如下:

private V findValueOnDisk(K key) throws IOException {if (!isPersist(key)) return null;File persistenceFile = makePathToFile(persistenceDirectory, directoryFor(key));(!persistenceFile.exists()) return null;FileInputStream fileInputStream = new FileInputStream(persistenceFile);try {FileLock fileLock = fileInputStream.getChannel().lock();try {return readPersisted(key, fileInputStream);} finally {fileLock.release();}} finally {fileInputStream.close();}
}private void persistValue(K key, V value) throws IOException {if (!isPersist(key)) return;File persistenceFile = makePathToFile(persistenceDirectory, directoryFor(key));persistenceFile.createNewFile();FileOutputStream fileOutputStream = new FileOutputStream(persistenceFile);try {FileLock fileLock = fileOutputStream.getChannel().lock();try {persist(key, value, fileOutputStream);} finally {fileLock.release();}} finally {fileOutputStream.close();}
}private File makePathToFile(@Nonnull File rootDir, List<String> pathSegments) {File persistenceFile = rootDir;for (String pathSegment : pathSegments) {persistenceFile = new File(persistenceFile, pathSegment);}if (rootDir.equals(persistenceFile) || persistenceFile.isDirectory()) {throw new IllegalArgumentException();}return persistenceFile;
}protected abstract List<String> directoryFor(K key);protected abstract void persist(K key, V value, OutputStream outputStream)throws IOException;protected abstract V readPersisted(K key, InputStream inputStream)throws IOException;protected abstract boolean isPersist(K key);

所实现的方法在同步文件访问并确保流被适当关闭的同时,还要注意对值进行序列化和反序列化。 最后四种方法仍然是抽象的,由缓存的用户来实现。 directoryFor(K)方法应为每个密钥标识一个唯一的文件名。 在最简单的情况下,密钥的K类的toString方法是以这种方式实现的。 另外,我还对persistreadPersistedisPersist方法进行了抽象化处理,以实现自定义序列化策略,例如使用Kryo 。 在最简单的情况下,您将使用内置的Java功能,该功能使用ObjectInputStreamObjectOutputStream 。 对于isPersist ,假设仅在需要序列化时才使用此实现,则将返回true 。 我添加了此功能以支持混合缓存,在混合缓存中,您只能将值序列化为某些键。 确保不关闭persistreadPersisted方法中的流,因为文件系统锁依赖于要打开的流。 上面的实现将为您关闭流。

最后,我添加了一些服务方法来访问缓存。 当然,实现Guava的Cache接口将是一个更优雅的解决方案:

public V get(K key) {return underlyingCache.getUnchecked(key);
}public void put(K key, V value) {underlyingCache.put(key, value);
}public void remove(K key) {underlyingCache.invalidate(key);
}protected Cache<K, V> getUnderlyingCache() {return underlyingCache;
}

当然,可以进一步改善该解决方案。 如果您在并发场景中使用缓存,请注意, RemovalListener是除大多数Guava缓存方法以外的异步执行的。 从代码显而易见,我添加了文件锁,以避免在文件系统上发生读/写冲突。 但是,这种异步性确实意味着即使内存中仍然有一个值,也很少有机会重新创建值条目。 如果需要避免这种情况,请确保在包装器的get方法中调用基础缓存的cleanUp方法。 最后,切记在缓存过期时清理文件系统。 最佳地,您将使用系统的临时文件夹存储高速缓存条目,从而完全避免此问题。 在示例代码中,目录由名为persistenceDirectory的实例字段表示,该实例字段可以例如在构造函数中初始化。

更新 :我对上面描述的内容进行了干净的实现,您可以在Git Hub页面和Maven Central上找到这些实现。 如果需要将缓存对象存储在磁盘上,请随时使用它。

参考: My Java博客上的JCG合作伙伴 Rafael Winterhalter 扩展了Guava缓存以溢出到磁盘 。

翻译自: https://www.javacodegeeks.com/2013/12/extending-guava-caches-to-overflow-to-disk.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/365387.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

磁盘

我们现在计算机的瓶颈在磁盘上 CPU运算速率已达到5.0GHz 1GHz10亿次每秒&#xff08;计算速度&#xff09; 硬盘 MB 软盘——>碟片&#xff08;100MB&#xff09;——>芯片ssd&#xff08;500MB~2000MB&#xff09; 存储程序的方式&#xff1a; 磁盘与内存想比较 能够用…

java gson fromjson,Gson的fromJson()方法

Gson提供了fromJson()方法来实现从Json相关对象到java实体的方法。在日常应用中&#xff0c;我们一般都会碰到两种情况&#xff0c;转成单一实体对象和转换成对象列表或者其他结构。先来看第一种&#xff1a;比如json字符串为&#xff1a;[{“name”:”name0”,”age”:0}]Pers…

python文件的读取与写入_python中文件的读取与写入以及os模块

1.文件读取的三部曲&#xff1a;打开 ---> 操作 ----> 关闭r(默认参数)&#xff1a;-只能读&#xff0c;不能写-读取文件不存在 会报错FileNotFoundError: [Errno 2] No such file or directory: /tmp/westosw(д)-write only-文件不存在的时候&#xff0c;会自动创建新的…

vue2.0 element-ui中的el-select选择器无法显示选中的内容

我使用的是element-ui V2.2.3。代码如下&#xff0c;当我选择值得时候&#xff0c;el-select选择器无法显示选中的内容&#xff0c;但是能触发change方法&#xff0c;并且能输出选择的值。 select.vue文件 <template><div><div class"row" v-for&quo…

Gradle接口:Gradle构建元数据

正如我之前在“ 识别Gradle约定 ”和“ 从Ant Build演变Gradle构建&#xff1a;导入Ant构建文件 ”之类的文章中所显示的那样&#xff0c;可以通过Groovy访问Gradle的API来收集有关Gradle构建的重要信息。 在本文中&#xff0c;我演示了如何通过Gradle接口访问基本的Gradle构建…

字符串(string)的常用语法和常用函数

在python中&#xff0c;加了引号&#xff08;单引号、双引号、三引号&#xff09;的字符就是字符串类型&#xff0c;python并没有字符类型。 字符串也是很常用的数据类型&#xff0c;这里介绍一些用的较多的语法和方法&#xff0c;直接以代码示例展示。 1 str helloworld2 str…

os 模块 和 os模块下的path模块

import os # os 主要用于与操作系统进行交互 #获取当前的工作目录 print&#xff08;os.getcwd&#xff08;&#xff09;&#xff09; #切换工作目录 os .chdir("D:\上海python全栈4期\day20\pack") #print(os.getcwd()) #当前目录 是一个点 #print&#xff08;os.cu…

php 工资 2018,佛山市2018年平均工资(社平工资)

2018年佛山市城镇非私营单位就业人员年平均工资为79824元(折合月平均工资6652)。2018年佛山市在岗职工年平均工资为80288元(折合月平均工资6691&#xff0c;四舍五入)。2018年佛山市城镇私营单位就业人员年平均工资为57297元(折合月平均工资4775)。广东地区2019年7月1日起市平均…

oj运行时错误如何查找原因_VLOOKUP又失灵?避免这四种错误类型

说起函数&#xff0c;你第一个想到什么&#xff1f;那绝对是表界曝光率最高的函数——VLOOKUP 了&#xff01;什么&#xff0c;你还不知道 VLOOKUP&#xff1f;那今天这篇文章&#xff0c;你可千万不能错过&#xff01;&#xff01;根据编号匹配姓名&#xff1b;根据评分匹配等…

Table Dragger - 简单的 JS 拖放排序表格插件

Table Dragger 是一个极简的实现拖放排序的表格插件&#xff0c;纯 JavaScript 库&#xff0c;不依赖 jQuery。用于构建操作方便的拖放排序功能&#xff0c;超级容易设置&#xff0c;有平滑的动画&#xff0c;支持触摸事件。 在线演示 免费下载 您可能感兴趣的相关文章网…

使用正则表达式在Java中悬挂缩进段落

这篇文章显示了如何使用正则表达式将缩进的长段落挂起。 该方法将考虑单词边界&#xff0c;这意味着它将不会破坏缩进单词。 为了说明此问题&#xff0c;请考虑以下示例&#xff1a; 近年来&#xff0c;人们越来越努力从自然语言文本中提取实体之间的关系。 在这篇论文中&…

在linux上cuda9.0 cudnn7.* 安装python3.6 tensorflow 1.5.1

链接&#xff1a;https://www.jianshu.com/p/bcf37d0e4e9b 为了入门机器学习的小伙伴能安装好工具&#xff0c;特制作此教程 按照 Anaconda 下载网站上的说明下载并安装 Anaconda。 调用以下命令创建名为 tensorflow 的 conda 环境&#xff1a; conda create -n tensorflow pi…

[Swift]遍历集合类型(数组、集合和字典)

★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★➤微信公众号&#xff1a;山青咏芝&#xff08;shanqingyongzhi&#xff09;➤博客园地址&#xff1a;山青咏芝&#xff08;https://www.cnblogs.com/strengthen/ &#xff09;➤GitHub地址&…

config.cfg.php,PHP:使用给定的结构获取变量形式的config.cfg

对于专业人士来说这可能是一个愚蠢的问题&#xff0c;但即使经过几个小时的谷歌搜索&#xff0c;我也找不到解决方案&#xff1a;我有一个共享config.cfg与以下结构(所以我不能做任何关于结构)&#xff1a;[config]fileExtensions"JPEG|JPG|jpg|jpeg|png|gif"content…

沣东新城镐京遗址规划_沣东新城房价为啥这么高?

沣东房价为啥2万&#xff0c;为啥超越曲江浐灞&#xff0c;为啥和高新差不多&#xff1f;很多论坛 账号 抖音 喋喋不休&#xff0c;那么说说到底为啥这么贵1、从2018年开始&#xff0c;沣东新城商品房住宅用地&#xff0c;几乎容积率都在2.8以上&#xff0c;90%以上容积率在2.5…

前端工程师和设计师必读文章推荐【系列三十六】

《Web 前端开发精华文章推荐》自2011年6月20号发布第一期以来&#xff0c;历经五年半&#xff0c;总共发布了30多期。今天这篇是2017年第2期&#xff08;总第36期&#xff09;&#xff0c;希望你能在这里发现有用的资料。 梦想天空专注前端开发技术&#xff0c;分享提升网站用户…

在一台机器上运行多个ActiveMQ实例

几周前&#xff0c;我通过Mule ESB解决方案再次开始使用Apache ActiveMQ作为JMS提供程序。 由于我使用ActiveMQ已经有几年了&#xff0c;所以我认为最好检查一些&#xff08;新&#xff09;功能&#xff0c;例如故障转移传输和其他群集功能 。 为了能够测试这些最后的东西&…

Cannot send session cache limiter - headers already sent问题

在php.ini中将“always_populate_raw_post_data ”设置为“-1”&#xff0c;并重启 转载于:https://www.cnblogs.com/Ares0023/p/10510794.html

P3138 [USACO16FEB]负载平衡Load Balancing_Silver

https://www.luogu.org/problemnew/show/P3138 题目描述 农民约翰的N只牛分别站在他的二维农场的不同位置&#xff08;x1,y1&#xff09;…(xn,yn)&#xff08;1<N<100000,xi和yi是正整奇数&#xff09;。他想建一排无限长度的南北方向的满足等式xa的围栏来把他的农场分成…

saas物资管理界面设计_大型物流企业都在用的SaaS系统,看大规模运配网络如何实现精细化管理?...

企业发展到一定阶段&#xff0c;货品销售网络会不断扩大&#xff0c;就必须有大型高效的物流体系作为支撑&#xff0c;就需要大规模运配网络实现订单履约&#xff0c;物流企业的更大更多的商机也因此产生。由此可见&#xff0c;拥有大规模运配网络的主体有两类&#xff1a;第一…