Redis核心技术与实战【学习笔记】 - 6.Redis 的统计操作处理

1.前言

在 Web 业务场景中,我们经常保存这样一种信息:一个 key 对应了一个数据集合。比如:

  • 手机 APP 中的每天用户登录信息:一天对应一系列用户 ID。
  • 电商网站上商品的用户评论列表:一个商品对应了一些列的评论。
  • 用户在手机 APP 上的签到打卡信息:一天对应一系列用户的签到记录。
  • 应用网站上的网页访问信息:一个网页对应一些列的访问点击。

Redis 集合类型的特点就是一个键对应一系列数据,所以非常适合用来存取这类数据。但是,实际的使用场景中,除了记录信息,还需要对集合中的数据进行统计,例如:

  • 在移动应用中,需要统计每天的新增用户数和第二天的留存用户数;
  • 在电商网站中,需要统计评论列表中的最新评论;
  • 在签到打开中,需要统计一个月内连续打开的用户数;
  • 在页面访问记录中,需要统计网络独立访客(UV)量。

通常情况下,我们面临的用户数量以及访问量是巨大的。所以,我们必须要选择能够非常高效地统计大量数据(比如亿级)的集合类型。要选选择合适的集合,就得了解常用的集合统计模式。集合类型常见的统计模式有四种,包括聚合统计、排序统计、二值状态统计和基数统计,下面分别分析下这些统计类型。


2.聚合统计

聚合统计就是指多个集合元素聚合结果,包括:

  • 统计多个集合的共有元素(交集统计);
  • 把两个集合相比,统计其中一个集合独有的元素(差异统计);
  • 统计多个集合的所有元素(并集统计);

在前言提到的场景中,统计手机 APP 每天的用户新增数和第二天的用户留存数,正好对应的聚合统计。

要完成这个统计任务,我们可以用一个集合记录所有登录过 APP 的用户 ID,同时,用另一个集合记录每天登录过 APP 的用户 ID。然后,再对这两个集合做聚合统计。

  • 记录所有登录过 APP 的用户 ID比较简单,可以直接使用 Set 类型,把 key 设置为 user:id,表示记录的是用户 ID,value 是一个 Set 集合,里面是所有登录过 APP 的用户 ID,如下图所示
    在这里插入图片描述
  • 把每天登录的用户 ID 记录到一个新集合中,这个集合叫做每日用户 Set:key 是 user:id:当天日期,例如 user:id:20240129;value 是 Set 集合,记录当天登录的用户 ID。
    在这里插入图片描述

假设 APP 是 2024 年 1 月 20 日上线,那么 1 月 20 日前是没有用户的。

  1. 此时,累计用户 Set 是空的。
  2. 当天登录的用户 ID 会被记录到 user:id:20240120 的 Set 中。
  3. 所以,user:id:20240120 这个 Set 中的用户就是当天的新增用户。
  4. 然后,我们计算累计用户 Set 和 user:id:20240120 Set 的并集结果,结果保存在 user:id 这个累计用户 Set 中,如下所示:
SUNIONSTORE user:id user:id user:id:20240120
  1. 此时, user:id 这个累计用户 Set 中就有了 1 月 20 日的用户 ID。
  2. 等到 1 月 21 日再统计时,我们把 1 月 21 日登录的用户 ID 记录到 user:id:20240121 的 Set 中。
  3. 接下来执行 SDIFFSTORE 命令计算 user:id:20240121 的 Set 和 累计用户 Set 的差集,将结果保存在 key 为 user:new 的 Set 中,如下所示:
SDIFFSTORE user:new user:id:20240121 user:id
  1. 这个差集的用户 ID 在 user:id:20240121 的 Set 中存在,但是不在累计用户 Set 中。所以,user:new 这个 Set 中记录的就是 1 月 21 日的新增用户。
  2. 当要计算 1 月 21 日的留存用户时,我们只需要再计算 user:id:20240120user:id:20240121 这个两个 Set 的交集,就可以得到同时在这两个集合中的用户 ID 了,这些就是在 1 月 20 日登录且在 1 月 21 日留存的用户。执行的命令如下:
SINTERSTORE user:id:rem user:id:20240120 user:id:20240121

当你要对多个集合进行聚合计算时,Set 类型会是一个一个非常不错的选择。不过,这里有个潜在的风险:Set 的差集、并集和交集的计算复杂度较高,在数据量较大的情况下,如果直接执行这些计算,会导致 Redis 实例阻塞。所以,可以从主从集群中选择一个从库,让它专门负责聚合计算,或者是把数据读取到客户端,在客户端来完成聚合统计,这样就可以规避阻塞主库实例和其他从库实例的风险了。

3.排序统计

排序统计,我们以商品的最新评论列表的场景为例,进行讲解。

最新评论列表包含了所有评论中的最新留言,这就要求集合类型能对元素保序,也就是说集合中的元素可以按序排列,这种对元素保序的集合类型叫做有序集合。

Redis 常用的 4 个集合类型中(List、Set、Hash、Sorted Set),List 和 Sorted Set 就属于有序集合。

List 是按照元素进入 List 的顺序进行排序的,而 Sorted Set 可以根据元素的权重来排序。比如说,我们可以根据元素插入 Sorted Set 的时间确定权重值,先插入的元素权重小,后插入的元素权重大。

我们该如何选择呢?

3.1 List 排序

每个商品对应一个 List,这个 List 包含了对这个商品的所有评论,而且会按照评论时间来保存这些评论,每当有一个新评论,就用 LPUSH 命令把它插入 List 的队头。

在只有一页面评论的时候,逻辑非常简单,但是在实际应用中,一般都会分页显示,一旦涉及到分页,List 就可能会出现问题。

假设 当前的评论 List 是 {a, b, c, d, e, f},其中 1 是最新评论,5 是最早评论。在展示第一页的 3 个评论时,可以用下面的命令,得到最新的三条评论 a、b、c :

LRANGE comments 0 2
1) "a"
2) "b"
3) "c"

然后在获取第二页的3个评论 d、e、f:

LRANGE comments 3 5
1) "d"
2) "e"
3) "f"

但是如果此时又产生了一条新评论 g,评论 G 就会被插入到评论 List 的队头,评论 List 就变成了 {g, a, b, c, d, e, f}。此时,再用刚才的命令获取第二页评论时,就会发现,评论 c 又被展示出来了, 也就是 c、d、e

LRANGE comments 3 5
1) "c"
2) "d"
3) "e"

这是因为新元素插入前后,List 相同位置上的元素就会发生变化,用 LRANGE 读取时,就会读到旧元素。

3.2 Sorted Set 排序

和 List 相比,Sorted Set 就不存在这个问题,因为它是根据元素的实际权重来排序和获取数据的。我们可以按照评论时间的先后给每条评论设置一个权重值,然后再把评论保存到 Sorted Set 中。Sorted Set 也能通过 ZRANGBYSCORE 命令准备地获取到按排序的数据。

假设越新的评论权重越大,目前最新评论的权重是 N,我们执行下面的命令时,就可以获得最新的 10 条评论:

ZRANGEBYSCORE comments N-9 N

所以,在面对需要展示最新列表、排行榜等场景时,如果数据更新频繁或者需要分页显示,建议优先考虑 Sorted Set。

4.二值状态统计

这里的二值状态就是指集合元素的取值就只有 0 和 1 两种。在签到打卡的场景中,我们只用记录签到(1)或未签到(0),所以它就是典型的二值状态。

签到统计时,每个用户每天的签到用 1 个 bit 位就能表示,一个月(假设是 31 天)的签到情况 31 个 bit 位就可以,而一年的签到也只需要用 365 个 bit 位,根本不用太复杂的集合类型。这个时候,我们就可以选择 Bitmap。这个是 Redis 提供的扩展数据类型。

Bitmap 本身是用 String 类型作为底层数据结构实现的一种统计二值状态的数据类型。String 类型是会保存二进制的字节数组,所以,Redis 就把字节数组的每个 bit 位利用起来,用来表示一个元素的二值状态。你可以把 Bitmap 看作是一个 bit 数组。

Bitmap 提供了 GETBIT/SETBIT 操作,使用一个偏移值 offset 对 bit 数组的某一个 bit 位进行读和写。不过,需要注意的是,Bitmap 的偏移量是从 0 开始算的,也就是说 offset 的最小值是 0。当使用 SETBIT 对一个 bit 位进行写操作时,这个 bit 位会被设置为 1。Bitmap 还提供了 BITCOUNT 操作,用来统计这个 bit 数组中所有 “1” 的个数。

假设我们要统计 ID 3000 的用户在 2024 年 1 月份的签到情况,就可以按照下面的步骤进行操作。

  1. 执行下面的命令,记录该用户在 1 月 20 号已签到。
SETBIT uid:sign:3000:202401 19 1
  1. 检查该用户在 1 月 20 号是否签到
GETBIT uid:sign:3000:202401 19
  1. 统计该用户在 8 月份的签到次数
BITCOUNT uid:sign:3000:202401

这样,我们就知道该用户在 8 月份的签到情况了。

你可以再考虑下:如果记录了 1 亿个用户 10 天的签到情况,有没有办法统计出 这 10 天连续签到用户的总数吗?

分析之前,我们要先知道,Bitmap 支持用 BITOP 命令对多个 Bitmap 按位做异或的操作,操作的结果会保存到一个新的 Bitmap 中。

我们以按位操作为例。下图中,可以看到三个 Bitmap,bm1、bm2、bm3,对应 bit 位做操作,结果保存到一个新的 Bitmap 中(BITOP AND resmap bm1 bm2 bm3)。
在这里插入图片描述
回到刚刚的问题,在统计 1 亿个用户连续 10 天的签到情况时,可以把日期作为 key,每个 key 对应一个 1 亿位的 Bitmap,每个 bit 对应一个用户当天的签到情况。

接下来,我们对 10 个 Bitmap 做操作,得到的结果也是一个 Bitmap。在这个 Bitmap 中,只有 10 天都签到的用户对应的 bit 位上的值才会是 1。最后,我们可以用 BITCOUNT 统计下 Bitmap 中 1 的个数,这就是 1 亿用户中连续签到 10 天的用户总数了。

现在统计下内存开销。每天使用 1 个 1 亿位的 Bitmap,大约占 12M 的内存(10^8/8/1024/1024),10 天的 Bitmap 的内存开销为 120M,内存压力你不算大。不过实际应用时,最好对 Bitmap 设置过期时间,让 Redis 自动删除不再需要的签到记录,以节省内存开销。

所以,在统计海里数据的时候,Bitmap 能够有效地节省内存空间。

5.基数统计

基数统计就是指统计一个集合中不重复的元素个数。对应的就是统计网页的 UV。

网页 UV 有个独特的地方,就是需要去重, 一个用户一天内的多次访问智能算作一次。 在 Redis 集合中 Set 类型默认支持去重,所以,看到有去重需求时,第一个想到的就是 Set 类型。

我们来看一个例子,有一个用户 user1 访问 page1 时,你把这个信息添加到 Set 中:

SADD page1:uv user1

用户 1 再来访问时,Set 去重功能就能保证不会重复记录用户 1 的访问次数。当你需要统计 UV 时,可以直接用 SCARD 命令,这个命令会返回一个集合中的元素个数。

但是如果 page1 非常火爆,UV 达到了千万,这个时候,一个 Set 就要记录千万个用户 ID,而在搞促销活动时,这样的页面可能有成千上万个,如果每个页面都用这样的 Set ,就会消耗很大的空间。

当然,也可以使用 Hash 类型记录 UV。例如,可以把用户 ID 作为集合的 key,当用户访问页面时,就用 HSET 命令,对这个用户 ID 记录一个值 “1” ,表示一个独立访客:

HSET page1:uv user1 1

即使用户多次访问,重复执行这个命令,user1 的值仍为 1。当要统计 UV 时,我们可以用 HLEN 命令统计 Hash 集合中的所有元素个数即可。但是,和 Set 类型一样,当页面很多时,Hash 类型也会消耗很大的内存空间。

有没有什么办法既能完成统计,又能节省空间呢?

它就是 Redis 的 HyperLogLog 了。它是一种用于统计基数的数据集合类型,它最大的优势是当集合元素非常多时,它计算基数所需的空间总是固定的,而且还非常小。

在 Redis 中,每个 HyperLogLog 只需 12 KB 的内存,就可以计算接近 2 的 64 次方个元素的基数。

在统计 UV 时,你可以用 PFADD 命令把访问页面的每个用户都添加到 HyperLogLog 中。

PFADD page1:uv user1 user2 user3 user4

接下来,就可以用 PFCOUNT 命令直接获得 page1 的 UV 值了,这个命令的作用就是返回 HyperLogLog 的统计结果。

PFCOUNT page:uv

需要注意下,HyperLogLog 的统计规则是基于概率完成的,所以它给出的统计结果会有一定的误差,标准误算率是 0.81%。也就是使用 HyperLogLog 统计 UV 是 100 万,但实际的 UV 可能是 101 万。虽然误差不大,但是,如果需要精确统计结果的话,最好还是利益 Set 或 Hash 类型

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/661944.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【云原生之kubernetes系列】--污点与容忍

污点与容忍 污点(taints):用于node节点排斥Pod调度,与亲和效果相反,即taint的node排斥Pod的创建容忍(toleration):用于Pod容忍Node节点的污点信息,即node节点有污点,也将新的pod创建…

Ubuntu远程连接登录信息解读(ubuntu登录信息、远程登录信息)

文章目录 1. Welcome to Ubuntu 20.04.4 LTS (GNU/Linux 5.4.0-100-generic aarch64)2. 三个链接是官方提供的文档、管理工具和技术支持3. System information as of Thu 01 Feb 2024 03:30:45 PM HKT4. System load: 1.16:系统负载指数5. Processes: 1096系统正在运…

【AI视野·今日Robot 机器人论文速览 第七十七期】Mon, 15 Jan 2024

AI视野今日CS.Robotics 机器人学论文速览 Mon, 15 Jan 2024 Totally 14 papers 👉上期速览✈更多精彩请移步主页 Daily Robotics Papers Learning Joint Space Reference Manifold for Reliable Physical Assistance Authors Amirreza Razmjoo, Tilen Brecelj, Kri…

【智能家居入门4】(FreeRTOS、MQTT服务器、MQTT协议、微信小程序)

前面已经发了智能家居入门的1、2、3了,在实际开发中一般都会使用到实时操作系统,这里就以FreeRTOS为例子,使用标准库。记录由裸机转到实时操作系统所遇到的问题以及总体流程。相较于裸机,系统实时性强了很多,小程序下发…

Cache Lab:Part B(52.6/53分)【矩阵转置的分块算法】

目录 任务描述 32 32 baseline try1:给对角线上的块再次细分块 try2:对角块依次错位 成功:对角块两两交换 成功:其他方法 64 64 baseline 对角线优化普通块转置顺序调整(7.6/8分) 61 67 成…

Vue3+vite搭建基础架构(3)--- 使用dayjs

Vue3vite搭建基础架构(3)--- 使用dayjs 说明官方文档vite.config.js别名配置安装dayjs安装命令 使用dayjs将dayjs封装为自己的日期工具类使用dataUtil.js日期工具类示例 说明 这里记录下自己在Vue3vite的项目使用dayjs的过程,不使用ts语法&a…

最新XC主题 支持六种主题样式 去除域名授权全解密源码 一款多样式主题

Typecho 最新XC主题 去除域名授权全解密源码 这是一款多样式主题,首页支持六种主题样式,支持Pjax优化访问速度,多种单页,如友链、说说等。评论支持表情,自定义编辑器,支持其他样式功能。该主题功能性挺高&…

音视频数字化(音频数字化)

在音视频领域,人们始终追求无限还原现场效果,因此音频越逼真越好,视频越清晰越好。之所以我们需要将音视频信号由模拟转为数字,目的是在录制、存储、编辑、复制、回放等环节的不失真,尽量保持原有细节,不因以上操作,导致音画的质量下降。 为此,视频系统分辨率越来越高,…

【Java程序设计】【C00207】基于(JavaWeb+SSM)的宠物领养管理系统(论文+PPT)

基于(JavaWebSSM)的宠物领养管理系统(论文PPT) 项目简介项目获取开发环境项目技术运行截图 项目简介 这是一个基于ssm的宠物领养系统 本系统分为前台系统、管理员、收养者和寄养者4个功能模块。 前台系统:游客打开系统…

k8s-HPA

前提条件 安装有**Metrics Server**,HPA的运行监控指标需要由Metrics Server 提供 文档:https://github.com/kubernetes-sigs/metrics-server?tabreadme-ov-file#readme 快速自动缩放,每15秒收集一次指标(可配置)。 资源效率,为集群中的每…

网络防御安全:2-6天笔记

第二章:防火墙 一、什么是防火墙 防火墙的主要职责在于:控制和防护。 防火墙可以根据安全策略来抓取流量之后做出对应的动作。 二、防火墙的发展 区域: Trust 区域,该区域内网络的受信任程度高,通常用来定义内部…

VSCode 设置代理

Open Visual Studio Code, click the settings icon in the lower left corner, and click Settings.

yii2 mongodb 操作

->where([<>,review,""]) 不等于空 $where [newstypeid>[$in>$categoryIdArr]]; 类似mysql in操作 &#xff08;$categoryIdArr是数组&#xff09; ->where([label>[$regex >赞美诗]]) 模糊搜索操作 $where [status>1,name>[$rege…

C++语法 内存区域 和 引用

代码区 存放函数体的二进制代码 由操作系统进行管理 全局区 存放全局变量和静态变量以及常量 存放全局变量 静态变量 常量&#xff08;字符串常量 全局const常量&#xff09; 栈区 由编译器自动分配释放&#xff0c;存放函数的参数值&#xff0c;局部变量等。不要返回局部…

【论文笔记】Multi-Chain Reasoning:对多思维链进行元推理

目录 写在前面1. 摘要2. 相关知识3. MCR方法3.1 生成推理链3.2 基于推理链的推理 4. 实验4.1 实验设置4.2 实验结果 5. 提及文献 写在前面 文章标题&#xff1a;Answering Questions by Meta-Reasoning over Multiple Chains of Thought论文链接&#xff1a;【1】代码链接&…

【数据分享】1929-2023年全球站点的逐日最高气温数据(Shp\Excel\免费获取)

气象数据是在各项研究中都经常使用的数据&#xff0c;气象指标包括气温、风速、降水、湿度等指标&#xff0c;其中又以气温指标最为常用&#xff01;说到气温数据&#xff0c;最详细的气温数据是具体到气象监测站点的气温数据&#xff01; 之前我们分享过1929-2023年全球气象站…

Git 怎么设置用户的权限

在团队协作的软件开发中&#xff0c;对于版本控制系统Git来说&#xff0c;确保代码与数据的安全性至关重要。为了实现这一目标&#xff0c;Git提供了灵活且可定制的用户权限管理机制。下面将简单的探讨一下Git如何设置用户的权限&#xff0c;以及如何保护代码和数据。 用户身份…

Nginx 多项目部署,vue刷新404 解决方案

网上找的资料大多都解决不了&#xff0c;废话不多说直接告诉你解决方法。 环境是 TP6 VUE前端官网 VUE 后台管理 部署 两个项目 刷新 404 解决方案 Nginx 配置 直接贴图 如果解决了&#xff0c;给我顶起来&#xff0c;让更多人 快速的解决。

南京观海微电子---如何减少时序报告中的逻辑延迟

1. 引言 在FPGA逻辑电路设计中&#xff0c;FPGA设计能达到的最高性能往往由以下因素决定&#xff1a; ▪ 工作时钟偏移和时钟不确定性&#xff1b; ▪ 逻辑延迟&#xff1a;在一个时钟周期内信号经过的逻辑量&#xff1b; ▪ 网络或路径延迟&#xff1a;Vivado布局布线后引…

element-ui button 组件源码分享

element-ui button 源码分享&#xff0c;基于对源码的理解&#xff0c;编写一个简单的 demo&#xff0c;主要分三个模块来分享&#xff1a; 一、button 组件的方法。 1.1 在方法这块&#xff0c;button 组件内部通过暴露 click 方法实现&#xff0c;具体如下&#xff1a; 二、…