缓存使您可以轻松地显着加速应用程序。 Java平台的两种出色的缓存实现是Guava缓存和Ehcache 。 尽管Ehcache功能丰富得多(例如其Searchable API ,将缓存持久化到磁盘或溢出到大内存的可能性),但与Guava相比,它也带来了相当大的开销。 在最近的项目中,我发现需要将全面的缓存溢出到磁盘上,但是与此同时,我经常需要使该缓存的特定值无效。 由于Ehcache的Searchable API仅可用于内存中的缓存,因此这使我陷入了两难境地。 但是,扩展Guava缓存以允许以结构化方式溢出到磁盘非常容易。 这使我既溢出到磁盘,又需要必需的失效功能。 在本文中,我想展示如何实现这一目标。
我将以实际Guava Cache
实例的包装器形式实现此文件持久性缓存FilePersistingCache
。 当然,这不是最优雅的解决方案(更优雅的方法是使用此行为来实现实际的Guava Cache
),但是在大多数情况下,我都会这样做。
首先,我将定义一个受保护的方法,该方法创建前面提到的后备缓存:
private LoadingCache<K, V> makeCache() {return customCacheBuild().removalListener(new PersistingRemovalListener()).build(new PersistedStateCacheLoader());
}protected CacheBuilder<K, V> customCacheBuild(CacheBuilder<K, V> cacheBuilder) {return CacheBuilder.newBuilder();
}
第一种方法将在内部用于构建必要的缓存。 为了实现对缓存的任何自定义要求(例如,过期策略),应该重写第二种方法。 例如,这可以是条目或软引用的最大值。 此缓存将与其他任何Guava缓存一样使用。 缓存功能的关键是用于此缓存的RemovalListener
和CacheLoader
。 我们将这两个实现定义为FilePersistingCache
内部类:
private class PersistingRemovalListener implements RemovalListener<K, V> {@Overridepublic void onRemoval(RemovalNotification<K, V> notification) {if (notification.getCause() != RemovalCause.COLLECTED) {try {persistValue(notification.getKey(), notification.getValue());} catch (IOException e) {LOGGER.error(String.format("Could not persist key-value: %s, %s",notification.getKey(), notification.getValue()), e);}}}
}public class PersistedStateCacheLoader extends CacheLoader<K, V> {@Overridepublic V load(K key) {V value = null;try {value = findValueOnDisk(key);} catch (Exception e) {LOGGER.error(String.format("Error on finding disk value to key: %s",key), e);}if (value != null) {return value;} else {return makeValue(key);}}
}
从代码中可以明显FilePersistingCache
,这些内部类调用了我们尚未定义的FilePersistingCache
方法。 这使我们可以通过重写此类来定义自定义序列化行为。 删除侦听器将检查清除缓存条目的原因。 如果RemovalCause
被COLLECTED
,缓存条目没有由用户手动删除,但它已被删除作为高速缓存的驱逐策略的结果。 因此,如果用户不希望删除缓存条目,我们将仅尝试保留该条目。 CacheLoader
将首先尝试从磁盘还原现有值并仅在无法还原该值时创建一个新值。
缺少的方法定义如下:
private V findValueOnDisk(K key) throws IOException {if (!isPersist(key)) return null;File persistenceFile = makePathToFile(persistenceDirectory, directoryFor(key));(!persistenceFile.exists()) return null;FileInputStream fileInputStream = new FileInputStream(persistenceFile);try {FileLock fileLock = fileInputStream.getChannel().lock();try {return readPersisted(key, fileInputStream);} finally {fileLock.release();}} finally {fileInputStream.close();}
}private void persistValue(K key, V value) throws IOException {if (!isPersist(key)) return;File persistenceFile = makePathToFile(persistenceDirectory, directoryFor(key));persistenceFile.createNewFile();FileOutputStream fileOutputStream = new FileOutputStream(persistenceFile);try {FileLock fileLock = fileOutputStream.getChannel().lock();try {persist(key, value, fileOutputStream);} finally {fileLock.release();}} finally {fileOutputStream.close();}
}private File makePathToFile(@Nonnull File rootDir, List<String> pathSegments) {File persistenceFile = rootDir;for (String pathSegment : pathSegments) {persistenceFile = new File(persistenceFile, pathSegment);}if (rootDir.equals(persistenceFile) || persistenceFile.isDirectory()) {throw new IllegalArgumentException();}return persistenceFile;
}protected abstract List<String> directoryFor(K key);protected abstract void persist(K key, V value, OutputStream outputStream)throws IOException;protected abstract V readPersisted(K key, InputStream inputStream)throws IOException;protected abstract boolean isPersist(K key);
所实现的方法在同步文件访问并确保流被适当关闭的同时,还要注意对值进行序列化和反序列化。 最后四种方法仍然是抽象的,由缓存的用户来实现。 directoryFor(K)
方法应为每个密钥标识一个唯一的文件名。 在最简单的情况下,密钥的K
类的toString
方法是以这种方式实现的。 另外,我还对persist
, readPersisted
和isPersist
方法进行了抽象化处理,以实现自定义序列化策略,例如使用Kryo 。 在最简单的情况下,您将使用内置的Java功能,该功能使用ObjectInputStream
和ObjectOutputStream
。 对于isPersist
,假设仅在需要序列化时才使用此实现,则将返回true
。 我添加了此功能以支持混合缓存,在混合缓存中,您只能将值序列化为某些键。 确保不关闭persist
和readPersisted
方法中的流,因为文件系统锁依赖于要打开的流。 上面的实现将为您关闭流。
最后,我添加了一些服务方法来访问缓存。 当然,实现Guava的Cache
接口将是一个更优雅的解决方案:
public V get(K key) {return underlyingCache.getUnchecked(key);
}public void put(K key, V value) {underlyingCache.put(key, value);
}public void remove(K key) {underlyingCache.invalidate(key);
}protected Cache<K, V> getUnderlyingCache() {return underlyingCache;
}
当然,可以进一步改善该解决方案。 如果您在并发场景中使用缓存,请注意, RemovalListener
是除大多数Guava缓存方法以外的异步执行的。 从代码显而易见,我添加了文件锁,以避免在文件系统上发生读/写冲突。 但是,这种异步性确实意味着即使内存中仍然有一个值,也很少有机会重新创建值条目。 如果需要避免这种情况,请确保在包装器的get方法中调用基础缓存的cleanUp
方法。 最后,切记在缓存过期时清理文件系统。 最佳地,您将使用系统的临时文件夹存储高速缓存条目,从而完全避免此问题。 在示例代码中,目录由名为persistenceDirectory
的实例字段表示,该实例字段可以例如在构造函数中初始化。
更新 :我对上面描述的内容进行了干净的实现,您可以在Git Hub页面和Maven Central上找到这些实现。 如果需要将缓存对象存储在磁盘上,请随时使用它。
翻译自: https://www.javacodegeeks.com/2013/12/extending-guava-caches-to-overflow-to-disk.html