剖析Jive的缓存机制

剖析Jive的缓存机制- -

                                      

作者:张磊 本文选自:开放系统世界 2003年06月06日

  Jive是一个广受欢迎的开放源码的论坛项目,虽然推出了很多年,但至今很多Java程序员还对它津津乐道。从框架结构上看,它采用了很多设计模式,如Factory模式、Proxy模式、Decorator模式、Iterator模式,使得程序易于扩展和移植。从设计细节上看,它采用了很多先进的设计思想和方法,如XML读写配置文件、数据库的缓存和连接池、帖子的过滤和TreeWalk遍历等,使得程序更加强健和高效。本文主要谈的是Jive缓存机制的实现。

  大家知道,在两个存取速度差距很大的对象(比如数据库和内存)之间,通常要加一个缓存来匹配二者的速度。因此,缓存机制在实际项目中还是经常遇到的。同样Jive也使用缓存来加快贴子的显示。如果试图编写一个类似的程序,不妨研究一下Jive源码,可能对你大有帮助。

  在Jive 2.1.2中,涉及Jive缓存机制的Java类大致可以分为以下四个部分(为了简化起见,本文只讨论帖子缓存机制的实现。用户名和权限的存取虽然也用到了缓存,但其实现机制与前者类似,因此不再赘述):

  第一部分,提供HashMap、LinkedListedlist等数据结构,以便实现缓存机制,其中HashMap是JDK提供的,其Key类型为Object。可以在com.jivesoftware.util包中找到这些数据结构。此部分包括Cache类、 LinkedList类、LinkedListNode类、Casheable接口、CacheObject类、CacheableBoolean类、CacheableInt类、CacheableLong类、CacheableLongArray类、CacheableString类、CacheSizes类、CacheTimer类。

  第二部分,提供LongHashMap、LongLinkedListedlist等数据结构以实现缓存机制。与第一部分不同的是,它的HashMap是自己编写的,其Key为Long型,因此被冠以LongHashMap的名称。同样可以在com.jivesoftware.util包中找到它们。该部分包括LongHashMap类、LongCache类、 LongCacheObject类、LongLinkedList类和LongLinkedListNode类。还有第一部分中的Casheable接口,它的各种数据类型的实现、CacheSizes类和CacheTimer类,也可归于这部分。它们可看作是第一部分和第二部分的交集。

  第三部分,调用底层数据结构以提供论坛对象的缓存。可以在com.jivesoftware.forum.database包中找到这些底层数据结构。该部分包括的类主要有DatabaseCacheManager类、DbForumFactory类、DbForum类、DbForumThread类、DbForumMessage 类、DatabaseCache类、ForumCache类、 ForumThreadCache类和ForumMessageCache类;

  第四部分,向Jsp页面提供访问接口,同样可以在com.jivesoftware.forum.database包中找到这些接口。该部分包括的类有ForumThreadBlockIterator类和ForumMessageBlockIterator类,第三部分的DbForum类、DbForumThread类和DbForumMessage 类也可以包括进来。实际上,这三个类是第三部分和第四部分联系的纽带。在com.jivesoftware.util包中还有一个LongList类,它用来将ForumThreadBlockIterator类和ForumMessageBlockIterator类转化成Long型数组,因此也应算在这部分。

  从上面介绍可看出,缓存机制也可以划分为三层,即第一和第二部分的底层数据结构,第三部分的中间层和第四部分的上层访问接口,下面分别讨论它们。

底层数据结构

  Jive缓存机制的原理其实很简单,就是把所要缓存的对象加到HashMap哈希映射表中,用两个LinkedListedlist双向链表分别维持着缓存对象和每个缓存对象的生命周期。如果一个缓存对象被访问到,那么就把它放到链表的最前面,然后不定时地把要缓存的对象加入链表中,把过期对象删除,如此反复。实际上比较第一和第二部分就可以发现,它们的代码几乎完全相同。差别就在第二部分的哈希映射表没有采用JDK提供的类,而是采用了作者自己编写的一个类,将原来哈希映射表的Key类型由Object改为Long。这样做虽然在一定程度上加快了缓存的速度,并减小了缓存的大小,但无形之中也减低了程序的稳定姓和可读姓,因此不推荐仿效。值得一提的是,在Jive 1.0.2版中,所有Forum、Thread、Message的ID和它们内容的缓存都是用第一部分的Java类实现的。它在升级到后面的版本时,其内容采用了第二部分的Java类实现,但其ID仍用第一部分的Java类实现,这是Jive中值得注意的一个地方。下面先来看第一部分的Java类实现。LinkedListNode类的源码为:



public class LinkedListNode {

public LinkedListNode previous;

public LinkedListNode next;

public Object object;

public long timestamp;

public LinkedListNode(Object object,

  LinkedListNode next,LinkedListNode previous){

this.object = object;

this.next = next;

this.previous = previous;

}

public void remove() {

previous.next = next;

next.previous = previous;

}

public String toString() {

return object.toString();

}

}



  很明显,这是一个双向链表的节点类,previous、next分别记录前后节点的指针,object用于记录所需缓存的对象,timestamp用于记录当前节点被创建时的时间戳。当该时间戳超过该节点的生存周期时,它就会被remove()方法删除掉。该类主要完成的功能就是由LinkedListNode构成LinkedList链表,而由LinkedList类实现getFirst()、getLast()、addFirst()、addLast()、clear()等链表的基本方法。

  再来看Cacheable接口和它的一个实现类CacheableInt的源码:



public interface Cacheable {

public int getSize();

}

public class CacheableInt implements Cacheable {

private int intValue;

public CacheableInt(int intValue) {

this.intValue = intValue;

}

public int getInt() {

return intValue;

}

public int getSize() {

return CacheSizes.sizeOfObject() + CacheSizes.sizeOfInt();

}

}



  从上面的代码可以看到,Cacheable接口只有一个方法getSize()。它要求所有继承类实现该方法,并输出占用缓存的大小,以便实施管理。那么为什么CacheableInt. getSize()得到的是sizeOfObject()+sizeOfInt()呢?因为任何类都继承自Object,计算空间时当然也要把它算上了。

  还有一个CacheObject类,它是缓存的基本元素,来看一下它的代码:



public final class CacheObject {

public Cacheable object;

public int size;

public LinkedListNode lastAccessedListNode;

public LinkedListNode ageListNode;

public CacheObject(Cacheable object, int size) {

this.object = object;

this.size = size;

}

}



  lastAccessedListNode记录着一个缓存节点的Key值,是构成lastAccessedList链表的基本元素,在lastAccessedList链表中,经常被访问到的节点总是在最前面。ageListNode记录着缓存节点的加入时间,是构成ageList链表的基本元素。而ageList链表是按时间先后排序,先加入的节点总是在最后面。lastAccessedListNode和ageListNode本来可以分写成两个类,毕竟lastAccessedListNode并不需要ageListNode的成员变量timestamp,但是为了简化程序,Jive把它们写成了一个类。这也是值得注意的一个地方。

  现在来看缓存机制中最关键的一个类Cache的部分代码,其中主要是add()和get()方法。有关这两个方法的介绍请参考代码中的注释。



public class Cache implements Cacheable {

protected static long currentTime = CacheTimer. currentTime;

protected HashMap cachedObjectsHash;

protected LinkedList lastAccessedList;

protected LinkedList ageList;

//缓存元素的最大尺寸128KB,可修改

protected int maxSize = 128 * 1024;

//整个缓存的大小

protected int size = 0;

//缓存元素的最大保存时间,用Cache(long maxLifetime)初始化

protected long maxLifetime = -1;

//记录cache的命中次数和未命中次数

protected long cacheHits, cacheMisses = 0L;

......

//向哈希表中添加一个关键字为Key的缓存对象object

public synchronized void add(Object key, Cacheable object) {

//先把原来的对象remove掉

remove(key);

int objectSize = object.getSize();

//如果对象太大,则不加入缓存

if (objectSize > maxSize * .90) {

return;

}

size += objectSize;

//新建一个缓存对象,并放入哈希表中

CacheObject cacheObject = new CacheObject(object, objectSize);

cachedObjectsHash.put(key, cacheObject);

// 把缓存元素的Key放到lastAccessed List链表的最前面

LinkedListNode lastAccessedNode = lastAccessedList.addFirst(key);

cacheObject.lastAccessedListNode = lastAccessedNode;

//把缓存元素的Key放到ageList链表的最前面,并记下当前时间

LinkedListNode ageNode = ageList.addFirst(key);

ageNode.timestamp = System.currentTimeMillis();

cacheObject.ageListNode = ageNode;

// 在cullCache()中,先调用deleteExpiredEntries()把过期对象删掉,

如果缓存还是太满,则调用 remove(lastAccessedList.getLast().object)把

lastAccessedList中不常访问的对象删掉

cullCache();

}

//在哈希表中得到一个关键字为Key的缓存对象object

public synchronized Cacheable get(Object key) {

// 清理过期对象

deleteExpiredEntries();

CacheObject cacheObject = (CacheObject)cachedObjectsHash.get(key);

if (cacheObject == null) {

//没找到则未命中次数加一

cacheMisses++;

return null;

}

//找到则命中次数加一

cacheHits++;

//将该缓存对象从lastAccessedList链表中取下并插入到链表头部

cacheObject.lastAccessedListNode.remove();

lastAccessedList.addFirst(cacheObject.lastAccessedListNode);

return cacheObject.object;

}

}201282.gif

201283.gif

    图二、Jive缓存机制的中间层

  图2中Forum表示论坛,Thread表示论坛贴子的线索,Message表示论坛贴子,它们的关系是:Forum包括数条Thread,Thread包括数条Message。

  由图2可见,DbForum类、DbForumThread类和DbForumMessage类的实例对象都包含一个 DbForumFactory类的实例对象factory。DbForum类、DbForumThread类和DbForumMessage类被DbForumFactory生产出来,同时它们也通过DbForumFactory来访问缓存。而在DbForumFactory中则包含一个DatabaseCacheManager类的实例对象cacheManager。它负责管理所有的缓存对象,这些缓存对象就是ForumCache类、ForumThreadCache类和ForumMessageCache类的实例。ForumCache类、 ForumThreadCache类和ForumMessageCache类继承自同一个抽象类DatabaseCache,而在DatabaseCache类中,有一个LongCache型的成员变量cache。这样中间层就和低层的数据结构结合起来了。

  现在以thread线索对象的获得为例,说明中间层是如何运作的。请看代码摘要:

[color=#336600]

DbForum.java

public class DbForum implements Forum, Cacheable

{

......

public ForumThread getThread(long threadID)throws

  ForumThreadNotFoundException{

return factory.getThread(threadID, this);

}

......

}

DbForumFactory.java

public class DbForumFactory extends ForumFactory {

......

protected DbForumThread getThread(long threadID, DbForum forum)throws

    ForumThreadNotFoundException{

DbForumThread thread = cacheManager.threadCache.get(threadID);

return thread;

}

......

}

ForumThreadCache.java

public class ForumThreadCache extends DatabaseCache {

......

public DbForumThread get(long threadID)throws

  ForumThreadNotFoundException{ 

//缓存中寻找以threadID为编号的DbForumThread对象

DbForumThread thread = (DbForumThread)cache.get(threadID);

if (thread == null) {

  //如果在缓存中找不到该对象

//新建一个以threadID为编号的DbForumThread对象

thread = new DbForumThread(threadID, factory);

//将新建对象加入缓存

cache.add(threadID, thread);

}

return thread;

}

......

}

DbForumThread.java

public class DbForumThread implements ForumThread, Cacheable {

......

protected DbForumThread(long id, DbForumFactory factory)throws

    ForumThreadNotFoundException{

this.id = id;

this.factory = factory;

//读取数据库,其中id对应数据库中的jiveThreadProp表中的threadID字段

loadFromDb();

isReadyToSave = true;

}

......

}



  从上面的代码可以看到,当调用DbForum类 的getThread(long threadID)方法获得一个编号为threadID的线索对象时,实际上调用的是DbForumFactory类中的getThread(long threadID, DbForum forum)方法,而GetThread方法则是调用ForumThreadCache类的get方法来完成任务的。ForumThreadCache类里get(long threadID)方法则根据threadID到缓存中找相应的线索对象,如果缓存中有该对象就直接得到,没有则新建一个DbForumThread对象,再把该对象放入缓存中。看到这里也许有人会奇怪,好像程序中根本没有连接数据库的语句。我们可以从DbForumThread类的代码中找到答案。原来Jive在新建一个DbForumThread对象时,就已经用loadFromDb()方法把数据读出来了。另一方面,如果在缓存中找到了DbForumThread对象,程序根本就不会新建DbForumThread对象,因而就好象没有数据库的操作,这实际上就是通过缓存机制所要达到的目的。

  Message帖子对象的获得与Thread对象的获得类似,因此就不再重复了。从上面介绍可以看出,只要得到论坛线索的编号threadID,就可以得到对应的线索对象,不管它是从缓存中来,还是从数据库中来。那么threadID是如何从Jsp页面传到中间层的呢?让我们来看上层访问接口的运行机制吧。

上层访问接口

  上层访问接口的主要功能是连接JSP页面和中间层。换句话说,就是把JSP页面中要调用的Thread、Message对象的ID传递到中间层。下面给出访问Thread相关类的类图(访问Message机制图类似,故省略),见图3。其中的forum.jsp是显示论坛内容的页面。在这里,我们把forum.jsp看成是一个特殊的类,它里面有一个ForumThreadIterator类的实例变量threads和DbForum类的实例变量forum,故它和ForumThreadIterator类及DbForum类的关系应是关联关系。

201284.gif

  图三、Jive缓存机制的上层访问接口

  先来看forum.jsp和DbForum 类的部分代码:



forum.jsp

DbForum.java

public class DbForum implements Forum, Cacheable {

......

public ForumThreadIterator threads(ResultFilter resultFilter) {

//生成SQL语句

String query = getThreadListSQL(resultFilter, false);

//得到threadID块

long [] threadBlock = getThreadBlock(query.toString(),

resultFilter.getStartIndex());

......

//返回ForumThreadBlockIterator对象

return new ForumThreadBlockIterator(threadBlock, query.toString(),

startIndex, endIndex, this.id, factory);

}

protected long[] getThreadBlock(String query, int startIndex) {

int blockID = startIndex / THREAD_BLOCK_SIZE;

int blockStart = blockID * THREAD_BLOCK_SIZE;

String key = query + blockID;

//根据Key的值到缓存中取得ThreadID的数组

CacheableLongArray longArray =(CacheableLongArray)threadListCache.get(key);

//在缓存中则返回

if (longArray != null) {

long [] threads = longArray.getLongArray();

return threads;

}

// 否则到数据库中取ThreadID的块,以数组形式返回

else {

LongList threadsList = new LongList(THREAD_BLOCK_SIZE);

Connection con = null;

Statement stmt = null;

...数据库操作 ...

}

long [] threads = threadsList.toArray();

//将 ThreadID的块加入缓存

threadListCache.add(key, new CacheableLongArray(threads));

return threads;

}

......

}



  在forum.jsp中有一个ResultFilter类的实例resultFilter。它给出页面显示Thread的起始位置和数量,并作为参数传入forum.threads()中,用于构造相关的SQL语句。当调用forum.threads(filter)时,程序将生成的SQL语句传入到getThreadBlock()方法中得到一个threadID的块,也就是一组threadID。之所以要读threadID块,是因为显示论坛时并不是显示一条线索就行了,而是一下显示十几条。这样做可以避免反复读数据库,而且threadID不是thread对象,并不占太大空间。

  应该说使用了块以后,减轻了数据库的访问量,因而论坛的效率有了很大的提高。不仅如此,Jive又把块放入了缓存中。在getThreadBlock()方法里,Jive用Cache类的实例对象threadListCache来缓存threadID块,而关键字就是SQL语句加上blockID。也就是说,只要SQL语句和blockID相同,就可以在缓存中取出相同的threadID块。当然,缓存中找不到,还是要到数据库中读出来加入缓存的,这样论坛的效率又得到了进一步的提升。

  ForumThreadBlockIterator类继承自ForumThreadIterator抽象类,而ForumThreadIterator类又实现了Iterator接口,因此得到ForumThreadBlockIterator的实例对象threads后,就可以在用threads.next()方法对它进行编历了。ForumThreadBlockIterator类的功能就是逐个读取ThreadID,然后根据ThreadID返回Thread对象,由此上层访问接口就和中间层衔接起来了。

  Jive的缓存机制值得学习的地方有很多,比如读取线索时不是读一条而是读一个block;显示线索的起始位置和数量用专门的一个类来管理,并且动态生成SQL语句;用一个专门的类来负责管理缓存;把论坛缓存对象的功能抽象出来形成一个缓存的抽象类DatabaseCache,让它去跟低层数据结构联系起来等。这些都体现了面向对象的设计原则,即提高软件的可维护姓和可复用姓。

  同时,Jive也告诉我们,要想编好程序,只懂条件语句和循环语句可不行,还要必须选择好的数据结构,掌握好的面向对象的设计原则,熟悉设计模式思想方法,这样才能编写出强壮、高效的代码。

转载于:https://www.cnblogs.com/sunsonbaby/archive/2004/09/17/44072.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/436694.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php统计在线时长,js统计网站运行时长

js统计网站运行时长第一种:网站function siteTime(){window.setTimeout("siteTime()", 1000);var seconds 1000var minutes seconds * 60var hours minutes * 60var days hours * 24var years days * 365var today new Date()var todayYear today.…

【转】细说.NET中的多线程 (四 使用锁进行同步)

通过锁来实现同步 排它锁主要用来保证,在一段时间内,只有一个线程可以访问某一段代码。两种主要类型的排它锁是lock和Mutex。Lock和Mutex相比构造起来更方便,运行的也更快。但是Mutex可以在同一个机器上的不同进程使用。 Monitor.Enter和Mo…

发现很多人的基础都不好

加了一些C#的qq群,有一次提了一个很简单的问题,关于abstract class的(具体问题忘记了),很多人都搞不清楚。还有一些所谓在做项目的,只是拖些控件,做个界面(界面还挺漂亮的&#xff0…

oracle ora-22288,向oracle的blob字段导入文件

在数据库主机上创建测试目录及文件$mkdir /test$cd /test$echo "Test Subject" >> subject.html$echo "test ok !" >> mail.html定义文件路径(都是数据库主机上的),并授权$sqlplus user/passwdinstanceSQL>create or replace di…

【转】细说.NET中的多线程 (五 使用信号量进行同步)

上一节主要介绍了使用锁进行同步,本节主要介绍使用信号量进行同步 使用EventWaitHandle信号量进行同步 EventWaitHandle主要用于实现信号灯机制。信号灯主要用于通知等待的线程。主要有两种实现:AutoResetEvent和ManualResetEvent。 AutoResetEvent …

做自己喜欢的人

1)首先做一个快乐的人 什么是成功? 有钱是不是成功?地位是不是成功? 成功就是实现自己有意义的既定的目标 为自己设定阶段性的目标,如果达成这些阶段性的目标就是成功 1)工作2)学习3)家庭生活 三个方面的目…

oracle只匹配中文,Oracle 实现 一个关键字 匹配多个 字段

有这么一个需求,满足只有一个输入框的条件下,支持不同数据列的搜索结果。说白了,就是这个 输入框 既可以用来 搜索姓名,也可以搜索 年龄,地址等。分析:一般情况下,我们的一个输入框对应 数据库…

【转】细说.NET中的多线程 (六 使用MemoryBarrier,Volatile进行同步)

上一节介绍了使用信号量进行同步,本节主要介绍一些非阻塞同步的方法。本节主要介绍MemoryBarrier,volatile,Interlocked。 MemoryBarriers 本文简单的介绍一下这两个概念,假设下面的代码: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 …

主题:的中间层框架 第一节

主题:<插件式>的中间层框架 时间:2004-12-31 15:00 主讲:D10.天地弦 2004-12-31 14:56:15 /:>D10.天地弦(185511468) 开始吧&#xff0c;我们 2004-12-31 14:57:22 /:>D10.天地弦(185511468) 请大家先看图 http://www.jqk.net.cn/dkFrameworkWeb/dkFramework_fi…

qt5.11 linux oracle,Qt5.11.1 + VS2017环境搭建(Qt5.11在windows上的安装)

安装视频&#xff1a;《Qt5.11在windows‘上的编译安装》安装VisualStudio2017VS2017安装包 提取码&#xff1a;7db11&#xff0c;安装vs2017请确保勾选了“通用Windows平台开发”组件&#xff0c;否则VS2017将无法用来进行开发右侧的安装详细信息部分也尽量与上图一致。安装完…

【转】Git Shell 基本命令(官网脱水版)

用户信息 当安装完 Git 应该做的第一件事就是设置你的用户名称与邮件地址。 这样做很重要&#xff0c;因为每一个 Git 的提交都会使用这些信息&#xff0c;并且它会写入到你的每一次提交中&#xff0c;不可更改&#xff1a; $ git config –global user.name “John Doe” $ …

oracle 采购 日历,Oracle日历程序

运行之前要先设置好环境,即定义好年份:DEFINE YEAR&YEAR要查看其它年份,就再执行:def year&year1然后再执行下面的脚本:select casewhen (new_yweek min(new_yweek)over(partition by mon order by new_yweek)) thenmon_nameelsenullend as month,new_yweek as yweek,…

回到家了

经过漫长的旅途&#xff0c;总算从海口回到家里了&#xff0c;今天开通了网络&#xff0c;速度比学校好多了。突然发现文本编辑器变漂亮了&#xff0c;呵呵&#xff0c;DuDu真是努力。家里果然冷多了&#xff0c;想想前几天在海口都可以穿短袖了&#xff0c;现在又穿上了厚厚的…

【转】Dynamics 365中的事件框架与事件执行管道(Event execution pipeline)

本文介绍了Microsoft Dynamics 365&#xff08;以下简称D365&#xff09;中的两个概念&#xff0c;事件框架&#xff08;Event Framework&#xff09;与事件执行管道&#xff08;Event execution pipeline&#xff09;。 本文适用于&#xff1a;Applies To: Dynamics 365 (onl…

oracle临时表空间组,证明临时表空间组在并发session时的作用

本帖最后由 zcs0237 于 2013-7-16 20:26 编辑a.感谢对本帖补充、建议、错误更正b.为节省篇幅&#xff0c;部分输出结果做了精简c.可按本文先后顺序复制文中代码进程调试d.测试环境:Ora10.2.0.1.0(Ora11.2.0.1.0暂时还没测)****************************证明不同session会调用临…

家乡的楼房正在往高层发展

几年前家乡的楼房都是一马平川&#xff0c;偶尔有些鹤立鸡群的楼房就能一览众山小&#xff0c;到了上海看到随处可见的摩天大厦&#xff0c;感叹家乡何时才能拥有如此的繁华。 今年回到家乡发现有多座大楼正拨地而起&#xff0c;虽然有特色的没有几座&#xff0c;但高大耸立的楼…

【转】ABP源码分析二十:ApplicationService

IApplicationService : 空接口&#xff0c;起标识作用。所有实现了IApplicationService 的类都会被自动注入到容器中。同时所有IApplicationService对象都会被注入一些拦截器&#xff08;例如&#xff1a;auditing, UnitOfWork等&#xff09;以实现AOP AbpServiceBase&#xf…

oracle 600 session,记一次ORA-600[4042]故障的处理

【IT168 技术文档】一套运行在Linux下的Oracle 9.2.0.4的库&#xff0c;出现了大量的ORA-600[4042]错误。ORA-00600: internal error code, arguments: [4042], [31760], [], [], [], [], [], []ORA-00600: internal error code, arguments: [4042], [31760], [], [], [], [], …

权限系统思路

1、角色只与模块&#xff08;功能&#xff09;对应 2、具备“管理选项”的角色可被授予其他角色&#xff08;这是从Oracle得到的启发&#xff09;转载于:https://www.cnblogs.com/xiaotaoliang/archive/2005/02/26/109463.html

【转】ADFS 概念与基本开发介绍

&#xff08;如您转载本文&#xff0c;必须标明本文作者及出处。如有任何疑问请与我联系 menap7.com&#xff09; ADFS 相关开发技术的中文资料相对匮乏&#xff0c;之前在弄这个东西的时候搞的比较辛苦&#xff0c;因此总结此文档&#xff0c;以解后人之忧。 本文会首先介绍…