在这里用户活跃度排行榜,主要是基于redis的zset数据结构来实现的,下面来看一下实例。
方案设计
来看一下业务场景先
1.场景说明
在技术派中,提供了一个用户的活跃排行榜,当然作为一个博客社区,更应该实现的是作者排行榜;但为了更好的活跃用户,让用户有参与感,所以用用户活跃度来设计一个排行榜,区分日/月两个排行榜单
用户活跃度计算方式:
1.用户每访问一个新的页面+1分
2.对于每一篇文章,点赞、收藏+2分;取消点赞、取消收藏,将之前的活跃分收回
3.文章评论+3分
4.发布一篇审核通过的文章+10分
榜单:
展示活跃度最高的前三十名用户
实际的榜单效果如下
2.设计方案
排行榜的业务属性比较去清晰简单,对应的数据结构也可以很容易设计出来,核心的信息如下
存储单元
表示排行榜中每一位上应该持有的所有的信息如下。
数据结构
排行榜,一般而言都是连续的,借此我们可以联想到一个合适的数据结构LinkedList,好处在于排名变动时,不需要数组的拷贝。
上图演示,当一个用户活跃度改变时,需要向前遍历找到合适的位置,插入并获取新的排名,在更新和插入时,相比较与ArrayList要好的多,但依然有以下几个缺陷
- 问题1:用户如何获取自己的排名?
- 使用LinkedList在更新插入和删除的带来优势之外,在随机获取元素的支持上会差一点,最差的情况就是从头到尾进行扫描。
- 问题2:并发支持的问题?
- 当有多个用户同时更新score时,并发的更新排名问题就比较突出了,当然可以使用jdk中类似写时拷贝数组的方案
上面是我们自己来实现这个数据结构时,会遇到的一些问题,当然我们的主题是借助redis来实现排行榜,下面则来看,利用redis可以怎么简单的支持我们的需求场景。
3.redis使用方案
这里主要使用的是redis的ZSET数据结构,带权重的集合,下面分析一下可能性。
- set:集合确保元素的唯一性
- 权重:这个可以看做我们的score,这样每个元素都有一个score;
- zset:根据score进行排序的集合
从zset的特性来看,我们每个用户的积分,丢到zset中,就是一个带权重的元素,而且是已经排好序的了,只需要获取元素对应的index,就是我们预期的排名
排行榜实现
接下来我们看一下技术派中的活跃排行榜是如何实现的
核心包路径:com/github/paicoding/forum/service/rank
核心代码实现:src/main/java/com/github/paicoding/forum/service/rank/service/impl/UserActivityRankServiceImpl.java
1.更新用户活跃积分
我们先实现一个更新用户活跃的方法,首先定义一个涵盖上面业务场景的参数传递实体ActivityScoreBo
接下来我们先思考一下,这个具体的应该怎么实现,先梳理实现的业务流程
1.根据业务实体,计算需要增加/减少的活跃度
2.对于增加活跃度时:
2.1做一个幂等,防止重复添加,因此需要判断下之前有没有重复添加过相关的活跃度
2.2 若幂等了,则直接返回;否则,执行更新,并做好幂等保存。
3.对于减少活跃度时:
3.1 判断之前有没有加过活跃度,防止减扣为负数
3.2 之前没有减扣过,则直接返回;否则;执行箭扣,并移除幂等判断
上面的业务逻辑清晰之后,再看一下我们实现的关键因素
- 1.怎样做幂等?
- 2.如何更新榜单的评分?
1.1幂等策略
为了防止重复添加活跃度,怎么做幂等呢?一个简单的方案就是将用户的每个加分项,都直接记录下来,在执行具体加分时,基于此来做幂等判定
基于上面这个思路,很容易想到的一个方案就是,每个用户维护一个活跃更新操作历史记录表,我们设计得尽量轻量级点
直接将用户的历史日志,保存在redis的hash数据结构中,每天一个记录
key: activity_rank_{user_id}_{年月日}
field:活跃度更新key
value:添加的活跃度
1.2 榜单评分更新
这个就相对而言比较容易,直接基于zset的incr即可
我们同样是扩展一下RedisClient的工具类,增加上了zset的相关操作。
/*** 分数更新** @param key* @param value* @param score* @return*/public static Double zIncrBy(String key, String value, Integer score) {return template.execute(new RedisCallback<Double>() {@Overridepublic Double doInRedis(RedisConnection connection) throws DataAccessException {return connection.zIncrBy(keyBytes(key), score, valBytes(value));}});}
1.3 具体实现
接下来我们看一下具体的实现代码
/*** 添加活跃分** @param userId* @param activityScore*/@Overridepublic void addActivityScore(Long userId, ActivityScoreBo activityScore) {if (userId == null) {return;}// 1. 计算活跃度(正为加活跃,负为减活跃)String field;int score = 0;if (activityScore.getPath() != null) {field = "path_" + activityScore.getPath();score = 1;} else if (activityScore.getArticleId() != null) {field = activityScore.getArticleId() + "_";if (activityScore.getPraise() != null) {field += "praise";score = BooleanUtils.isTrue(activityScore.getPraise()) ? 2 : -2;} else if (activityScore.getCollect() != null) {field += "collect";score = BooleanUtils.isTrue(activityScore.getCollect()) ? 2 : -2;} else if (activityScore.getRate() != null) {// 评论回复field += "rate";score = BooleanUtils.isTrue(activityScore.getRate()) ? 3 : -3;} else if (BooleanUtils.isTrue(activityScore.getPublishArticle())) {// 发布文章field += "publish";score += 10;}} else if (activityScore.getFollowedUserId() != null) {field = activityScore.getFollowedUserId() + "_follow";score = BooleanUtils.isTrue(activityScore.getFollow()) ? 2 : -2;} else {return;}final String todayRankKey = todayRankKey();final String monthRankKey = monthRankKey();// 2. 幂等:判断之前是否有更新过相关的活跃度信息final String userActionKey = ACTIVITY_SCORE_KEY + userId + DateUtil.format(DateTimeFormatter.ofPattern("yyyyMMdd"), System.currentTimeMillis());Integer ans = RedisClient.hGet(userActionKey, field, Integer.class);if (ans == null) {// 2.1 之前没有加分记录,执行具体的加分if (score > 0) {// 记录加分记录RedisClient.hSet(userActionKey, field, score);// 个人用户的操作记录,保存一个月的有效期,方便用户查询自己最近31天的活跃情况RedisClient.expire(userActionKey, 31 * DateUtil.ONE_DAY_SECONDS);// 更新当天和当月的活跃度排行榜Double newAns = RedisClient.zIncrBy(todayRankKey, String.valueOf(userId), score);RedisClient.zIncrBy(monthRankKey, String.valueOf(userId), score);if (log.isDebugEnabled()) {log.info("活跃度更新加分! key#field = {}#{}, add = {}, newScore = {}", todayRankKey, userId, score, newAns);}if (newAns <= score) {// 日活跃榜单,保存31天;月活跃榜单,保存1年RedisClient.expire(todayRankKey, 31 * DateUtil.ONE_DAY_SECONDS);RedisClient.expire(monthRankKey, 12 * DateUtil.ONE_MONTH_SECONDS);}}} else if (ans > 0) {// 2.2 之前已经加过分,因此这次减分可以执行if (score < 0) {Boolean oldHave = RedisClient.hDel(userActionKey, field);if (BooleanUtils.isTrue(oldHave)) {Double newAns = RedisClient.zIncrBy(todayRankKey, String.valueOf(userId), score);RedisClient.zIncrBy(monthRankKey, String.valueOf(userId), score);if (log.isDebugEnabled()) {log.info("活跃度更新减分! key#field = {}#{}, add = {}, newScore = {}", todayRankKey, userId, score, newAns);}}}}}
基本上,前面的业务逻辑清楚之后,再看上面的实现,应该没有什么太大的难度,还有点问题?
1.事务问题:多次的redis操作,存在事务问题
2.并发问题:没有做并发,幂等无法100%生效,依然可能存在重复添加/减扣活跃度的情况
上面抛出了两个问题,是在做真实的排行榜时,需要重点考虑的,这里先不进行扩散,提几个关键知识点(并发通过加锁,事务通过最终一致性来保障)
1.4触发活跃度更新
前面只是提供了一个增加活跃度的方法,但啥时候调用它?这里我们借助值之前实现的Event/Listenter方式来处理活跃度更新
文章/用户的相关操作事件监听,并更新对应的活跃度
/*** 用户操作行为,增加对应的积分** @param msgEvent*/@EventListener(classes = NotifyMsgEvent.class)@Asyncpublic void notifyMsgListener(NotifyMsgEvent msgEvent) {switch (msgEvent.getNotifyType()) {case COMMENT:case REPLY:CommentDO comment = (CommentDO) msgEvent.getContent();userActivityRankService.addActivityScore(ReqInfoContext.getReqInfo().getUserId(), new ActivityScoreBo().setRate(true).setArticleId(comment.getArticleId()));break;case COLLECT:UserFootDO foot = (UserFootDO) msgEvent.getContent();userActivityRankService.addActivityScore(ReqInfoContext.getReqInfo().getUserId(), new ActivityScoreBo().setCollect(true).setArticleId(foot.getDocumentId()));break;case CANCEL_COLLECT:foot = (UserFootDO) msgEvent.getContent();userActivityRankService.addActivityScore(ReqInfoContext.getReqInfo().getUserId(), new ActivityScoreBo().setCollect(false).setArticleId(foot.getDocumentId()));break;case PRAISE:foot = (UserFootDO) msgEvent.getContent();userActivityRankService.addActivityScore(ReqInfoContext.getReqInfo().getUserId(), new ActivityScoreBo().setPraise(true).setArticleId(foot.getDocumentId()));break;case CANCEL_PRAISE:foot = (UserFootDO) msgEvent.getContent();userActivityRankService.addActivityScore(ReqInfoContext.getReqInfo().getUserId(), new ActivityScoreBo().setPraise(false).setArticleId(foot.getDocumentId()));break;case FOLLOW:UserRelationDO relation = (UserRelationDO) msgEvent.getContent();userActivityRankService.addActivityScore(ReqInfoContext.getReqInfo().getUserId(), new ActivityScoreBo().setFollow(true).setArticleId(relation.getUserId()));break;case CANCEL_FOLLOW:relation = (UserRelationDO) msgEvent.getContent();userActivityRankService.addActivityScore(ReqInfoContext.getReqInfo().getUserId(), new ActivityScoreBo().setFollow(false).setArticleId(relation.getUserId()));break;default:}}
发布文章事件
/*** 发布文章,更新对应的积分** @param event*/@Async@EventListener(ArticleMsgEvent.class)public void publishArticleListener(ArticleMsgEvent<ArticleDO> event) {ArticleEventEnum type = event.getType();if (type == ArticleEventEnum.ONLINE) {userActivityRankService.addActivityScore(ReqInfoContext.getReqInfo().getUserId(), new ActivityScoreBo().setPublishArticle(true).setArticleId(event.getContent().getId()));}}
然后就是基于用户浏览行为的活跃度更新,这个就可以在Filter/inteceptor层来实现了
2.排行榜查询
前面的实现,我们的数据层,一个完整的排行榜就已经存储下来了,接下来就是将这个榜单展示给用户看
基本流程如下:
- 1.从redis中获取topN的用用户+评分
- 2.查询用户信息
- 3.根据用户评分进行排序,并更新每个用户的排名
核心的redis实现如下,直接基于zRangeWithScores获取指定排名的用户+对应分数,其中topN的写法如下
3.小结:
基于此,后端的排行榜单的功能就全部实现了;至于前后端交互细节不展开了,这里提供了一个基础、简单可用的排行榜设计及实现的全流程。至于复杂的,要考虑的问题如数据量大,存储的用户操作记录导致存储压力的问题等等不在展开。