68. redis计数与限流中incr+expire的坑以及解决办法(Lua+TTL)

文章目录

  • 一、简介
  • 二、代码演进
    • 第一版代码（存在bug隐患）
    • 第二版代码（几乎无隐患）
    • 第三版代码(完美无瑕）

一、简介

在日常工作中，经常会遇到对某种操作进行频次控制或者统计次数的需求，此时常用的做法是采用redis的incr来递增,记录访问次数, 以及 expire 来设置失效时间。本文将以一个实际的例子来说明incr存在的一个"坑"，以及给出解决方案。

如：
26.redis实现日限流、周限流（含黑名单、白名单）
27.Go实现一月（30天）内不发送重复内容的站内信给用户

有这么一个场景，用户需要进行ocr识别，为了防止接口被刷，这里面做了一个限制(每分钟调用次数不能超过xx次)。 经过调研后，决定使用redis的incr和expire来实现这个功能
在这里插入图片描述

二、代码演进

第一版代码（存在bug隐患）

// 执行ocr调用
func (o *ocrSvc)doOcr(ctx context.Context,uid int)(interface,err){// 如果调用次数超过了指定限制，就直接拒绝此次请求ok,err := o.checkMinute(uid)if err != nil {return nil,err}if !ok {return nil,errors.News("frequently called")}// 执行第三方ocr调用(伪代码：模拟一个rpc接口)ocrRes,err := doOcrByThird()if err != nil {return nil,err}// 调用成功则执行 incr操作if err := o.redis.Incr(ctx,buildUserOcrCountKey(uid));err!=nil{return nil,err}return ocrRes,nil
}// 校验每分钟调用次数是否超过限制
func (o *ocrSvc)checkMinute (ctx context.Context,uid int) (bool, error) {minuteCount, err := o.redis.Get(ctx, buildUserOcrCountKey(uid))if err != nil && !errors.Is(err, eredis.Nil) {log.Error("checkMinute: redis.Get failed", zap.Error(err))return false, constx.ErrServer}if errors.Is(err, eredis.Nil) {// 过期了，或者没有该用户的调用次数记录(设置初始值为0，过期时间为1分钟)o.redis.Set(ctx, buildUserOcrCountKey(uid),0,time.Minute)return true, nil}// 已经超过每分钟的调用次数if cast.ToInt(minuteCount) >= config.UserOcrMinuteCount() {log.Warn("checkMinute: user FrequentlyCalled", zap.Int64("uid", uid), zap.String("minuteCount", minuteCount))return false, nil}return true, nil
}

详解
这一版代码存在什么问题呢？问题出在了 开始判断没有超出限制，然后执行第三方rpc接口调用也成功了，接下来直接进行计数加一（incr）操作有问题，如下图所示

在这里插入图片描述

说明：

  1. 假设当前用户在进行ocr识别时，未超过调用次数。但是在redis中的ttl还剩1秒钟
  2. 然后调用第三方ocr进行识别,加入耗时超过了1秒
  3. 识别成功后，调用次数+1。这里就很有可能出问题，比如：在incr的时候刚好该key在1s前过期了，那么redis是怎么做的呢，它会将该key的值设置为1，ttl设置为-1，ttl设置为-1，ttl设置为-1（重要的事情说三遍）,-1表示没有过期时间
  4. 这时候bug就出现了，用户的调用次数一直在涨，并且也不会过期，达到临界值时用户的请求就会被拒掉，相当于该用户之后都不能访问这个接口了，并且这种key变多后，由于没有过期时间，还会一直占用redis的内存。

总结
以上代码说明了一个问题，也就是incr和expire必须具备原子性。而我们第一版代码显然在边界条件下是不满足要求的，极有可能造成bug，影响用户体验，强烈不推荐使用，接下来一步一步引入修正后的代码

第二版代码（几乎无隐患）

从对第一版代码的分析可知，是由于查询次数还没有达到限制后，又进行了一些rpc调用，或者处理了一些其他业务逻辑，这个时间内，可能key过期了，然后我们直接使用incr进行计数加一，导致了永不过期的key产生。那么我们是不是可以在incr前先保证key还没有过期就行呢？答案是可以的，代码如下：

// 执行ocr调用
func (o *ocrSvc)doOcr(ctx context.Context,uid int)(interface,err){// 如果调用次数超过了指定限制，就直接拒绝此次请求ok,err := o.checkMinute(uid)if err != nil {return nil,err}if !ok {return nil,errors.News("frequently called")}// 执行第三方ocr调用(伪代码：模拟一个rpc接口)ocrRes,err := doOcrByThird()if err != nil {return nil,err}// 调用成功则执行 incr操作exists, err := o.redis.Exists(ctx, buildUserOcrCountKey(uid)).Result()if err != nil {log.Error("doOcr: redis.Exists failed", zap.Error(err))return nil, err}if exists == 1 { // key存在，计数加1if err := o.redis.Incr(ctx,buildUserOcrCountKey(uid));err!=nil{return nil,err}} else { // key不存在，设置key与过期时间if err := o.redis.Set(ctx,buildUserOcrCountKey(uid),1,expireTime);err!=nil{return nil,err}}return ocrRes,nil
}// 校验每分钟调用次数是否超过限制
func (o *ocrSvc)checkMinute (ctx context.Context,uid int) (bool, error) {minuteCount, err := o.redis.Get(ctx, buildUserOcrCountKey(uid))if err != nil && !errors.Is(err, eredis.Nil) {log.Error("checkMinute: redis.Get failed", zap.Error(err))return false, constx.ErrServer}if errors.Is(err, eredis.Nil) {// 过期了，或者没有该用户的调用次数记录(设置初始值为0，过期时间为1分钟)o.redis.Set(ctx, buildUserOcrCountKey(uid),0,time.Minute)return true, nil}// 已经超过每分钟的调用次数if cast.ToInt(minuteCount) >= config.UserOcrMinuteCount() {log.Warn("checkMinute: user FrequentlyCalled", zap.Int64("uid", uid), zap.String("minuteCount", minuteCount))return false, nil}return true, nil
}

与第一版的差异主要在于如下代码：

  • 在需要incr操作前，我们先查看key是否存在（且没有过期）
    • 确保存在后，立即incr(这两步间隔几乎可以忽略，所以几乎可以避免第一版中的问题）
    • 如果不存在则设置key并设置过期时间。

注：redis中的incr命令是不会改变key的过期时间的

// 调用成功则执行 incr操作exists, err := o.redis.Exists(ctx, buildUserOcrCountKey(uid)).Result()if err != nil {log.Error("doOcr: redis.Exists failed", zap.Error(err))return nil, err}if exists == 1 { // key存在，计数加1if err := o.redis.Incr(ctx,buildUserOcrCountKey(uid));err!=nil{return nil,err}} else { // key不存在，设置key与过期时间if err := o.redis.Set(ctx,buildUserOcrCountKey(uid),1,expireTime);err!=nil{return nil,err}}

还有一种方式是查看key的过期时间,使用ttl，这样即使在极端情况下通过incr设置出了没有过期时间的key，也会在第二次访问的时候通过Set设置过期时间了。

注：ttl命令返回值是键的剩余时间（单位是秒）。当键不存在时，ttl命令会返回-2。没有为键设置过期时间（即永久存在，这是建立一个键后的默认情况）返回-1。

// 调用成功则执行 incr操作cnt, err := o.redis.Ttl(ctx, buildUserOcrCountKey(uid)).Result()if err != nil {log.Error("doOcr: redis.Ttl failed", zap.Error(err))return nil, err}if cnt >= 1 { // key存在,且还没有过期if err := o.redis.Incr(ctx,buildUserOcrCountKey(uid));err!=nil{return nil,err}} else { // key马上过期0，key没有过期时间-1， key不存在-2if err := o.redis.Set(ctx,buildUserOcrCountKey(uid),1,expireTime);err!=nil{return nil,err}}

第三版代码(完美无瑕）

第二版代码中的两种方式其实已经可以在工作中使用了，但如果追求完美无瑕的话，ttl版本的代码在极端情况下还是有点瑕疵，比如极端情况下，key过期时间还有1s过期，然后我们用incr去累加，但是网络延迟了，导致命令到达redis服务器的时候，key已经过期了，尽管第二次访问会用set重置key并设置过期时间，但是万一该用户再也不来访问了呢？这时候这个key就会永远占据着内存了。

将incr+expire放在lua脚本中执行保证原子性是最完美的。废话不多说了，直接上代码

// 执行ocr调用
func (o *ocrSvc)doOcr(ctx context.Context,uid int)(interface,err){// 如果调用次数超过了指定限制，就直接拒绝此次请求ok,err := o.checkMinute(uid)if err != nil {return nil,err}if !ok {return nil,errors.News("frequently called")}// 执行第三方ocr调用((伪代码：模拟一个rpc接口))ocrRes,err := doOcrByThird()if err != nil {return nil,err}// 调用成功则执行 incr操作if err := o.incrCount(ctx,buildUserOcrCountKey(uid));err!=nil{return nil,err}return ocrRes,nil
}func (o *ocrSvc) incrCount(ctx context.Context, uid int64) error {/*此段lua脚本的作用:第一步，先执行incr操作local current = redis.call('incr',KEYS[1])第二步，看下该key的ttllocal t = redis.call('ttl',KEYS[1]); 第三步，如果ttl为-1(永不过期)if t == -1 then则重新设置过期时间为 「一分钟」redis.call('expire',KEYS[1],ARGV[1])end;*/script := redis.NewScript(`local current = redis.call('incr',KEYS[1]);local t = redis.call('ttl',KEYS[1]); if t == -1 thenredis.call('expire',KEYS[1],ARGV[1])end;return current`)var (expireTime = 60 // 60 秒)_, err := script.Run(ctx, b.redis.Client(), []string{buildUserOcrCountKey(uid)}, expireTime).Result()if err != nil {return err}return nil
}// 校验每分钟调用次数是否超过
func (o *ocrSvc)checkMinute (ctx context.Context,uid int) (bool, error) {minuteCount, err := o.redis.Get(ctx, buildUserOcrCountKey(uid))if err != nil && !errors.Is(err, eredis.Nil) {elog.Error("checkMinute: redis.Get failed", zap.Error(err))return false, constx.ErrServer}if errors.Is(err, eredis.Nil) {// 第二版代码中在check时不进行初始化操作// 过期了，或者没有该用户的调用次数记录(设置初始值为0，过期时间为1分钟)// o.redis.Set(ctx, buildUserOcrCountKey(uid),0,time.Minute)return true, nil}// 已经超过每分钟的调用次数if cast.ToInt(minuteCount) >= config.UserOcrMinuteCount() {elog.Warn("checkMinute: user FrequentlyCalled", zap.Int64("uid", uid), zap.String("minuteCount", minuteCount))return false, nil}return true, nil
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/642055.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

RepLKNet 学习笔记

RepLKNet 学习笔记

目录 原版测试代码： torch版本： RepLKNet 哔哩哔哩 原版测试代码： 1060显卡，224*224，平均时间10ms以内。 import timeimport torchfrom unireplknet import unireplknet_aif __name__ == __main__:net = unireplknet_a()net.cuda()net.eval()for i in range(20):
阅读更多...
1411111111

1411111111

第一张 用户管理表（客户） sys_user user_id 用户ID username 用户名 password 密码 phonenumber 电话 open_id 微信openID session_key 微信key user_type 管理员 维修员 客户 dept_id 部门ID 第五 维修人员表（维修员）sys_mainta…
阅读更多...
深入了解Linux中常见的五种文件类型

深入了解Linux中常见的五种文件类型

了解文件类型对于正确理解和管理文件系统非常重要。希望本文能够帮助您更好地了解Linux中常见的文件类型及其在ls -l命令输出中的表示方式。​ 在Linux操作系统中，文件是操作系统中最基本的概念之一。在Linux中，每个文件都有一个特定的类型，这…
阅读更多...
Elasticsearch分布式一致性原理剖析(一)-节点篇

Elasticsearch分布式一致性原理剖析(一)-节点篇

前言 “Elasticsearch分布式一致性原理剖析”系列将会对Elasticsearch的分布式一致性原理进行详细的剖析，介绍其实现方式、原理以及其存在的问题等(基于6.2版本)。 ES目前是最流行的分布式搜索引擎系统，其使用Lucene作为单机存储引擎并提供强大的搜索查…
阅读更多...
从0开始学习C++ 第二十课：模板与泛型编程

从0开始学习C++ 第二十课：模板与泛型编程

第二十课：模板与泛型编程 学习目标： 掌握模板的基本语法和概念。学会使用函数模板来创建可重用的函数。学习如何定义类模板以实现数据结构的泛型。理解模板在C中提供的灵活性和强大功能。 学习内容： 模板的概念： 模板是C中支持…
阅读更多...
解决Git添加.gitignore文件后不生效的问题

解决Git添加.gitignore文件后不生效的问题

1. 问题描述 如上图所示，在已存在.gitignore文件且已经提交过的Git管理的项目中，其中.class、.jar文件以及.idea目录内的内容全部都还是被Git管理了，可见.gitignore文件并没有生效。 2. 原因发现 .gitignore文件只能作用于 Untracked Files…
阅读更多...
eNSP学习——配置通过FTP进行文件操作

eNSP学习——配置通过FTP进行文件操作

原理概述： FTP（File Transfer Protocol，文件传输协议）是在TCP/IP网络和Internet上最早使用的协议之一，在TCP/IP协议族中属于应用层协议，是文件传输的Internet标准。主要功能是向用户提供本地和远程主机…
阅读更多...
python--pyQt5 对话框使用（QInputDialog） PySide6

python--pyQt5 对话框使用（QInputDialog） PySide6

参考： https://www.cnblogs.com/XJT2018/p/10208710.html https://blog.csdn.net/panrenlong/article/details/79948261 含参数详解： https://blog.csdn.net/zhulove86/article/details/52515460 一、简介 QInputDialog类提供了一个简单的便捷对话框&a…
阅读更多...
开源模型应用落地-业务整合篇（三）

开源模型应用落地-业务整合篇（三）

一、前言 在之前的两篇文章中，我们学习了如何构建基本的即时消息（IM）功能。今天，我们将进一步将IM模块与AI服务进行连接，实现用户提问并由模型进行回答，最后将结果展示在用户界面上。 二、术语 2.1. Spring Boot 是一个用于快速构建基于Spring框架的Java应用程序的开源框…
阅读更多...
python 编写dll给c++调用

python 编写dll给c++调用

Python可以通过ctypes库将Python函数封装为DLL文件，以便C程序调用。下面是一个简单的示例： 创建一个Python脚本，其中包含要封装的函数，例如： def add(x, y): return x y 将该脚本编译为DLL文件。可以使用pyinstalle…
阅读更多...
深入浅出AI落地应用分析：AI音乐生成之「Suno.ai」

深入浅出AI落地应用分析：AI音乐生成之「Suno.ai」

接下来会每周集中体验一些通用或者垂直的AI落地应用，主要以一些全球或者国外国内排行较前的产品为研究对象，「AI 产品榜： aicpb.com」以专题的方式在博客进行分享。 本节主要介绍和体验AI音乐生成应用产品Suno AI，Suno来自目前最…
阅读更多...
HQL,SQL刷题简单查询，基础，尚硅谷

HQL,SQL刷题简单查询，基础，尚硅谷

今天刷SQL简单查询，大家有兴趣可以刷一下 目录 相关表数据： 题目及思路解析： 总结归纳： 知识补充： 关于LIKE操作符/运算符 LIKE其他使用场景包括 LIKE模糊匹配情况 相关表数据： 1、student_info表 2、sc…
阅读更多...
Unity中URP下获取主灯信息

Unity中URP下获取主灯信息

文章目录 前言一、计算BulinnPhone的函数有两个重载1、 目前最新使用的是该方法（这是我们之后主要分析的函数）2、 被淘汰的老方法，需要传入一堆数据 二、GetMainLight1、Light结构体2、GetMainLight具有4个方法重载3、1号重载干了什么&#x…
阅读更多...
主动轮廓——计算机视觉中的图像分割方法

主动轮廓——计算机视觉中的图像分割方法

​ 一、说明 简单来说，计算机视觉就是为计算机提供类似人类的视觉。作为人类，我们很容易识别任何物体。我们可以很容易地识别山丘、树木、土地、动物等，但计算机没有眼睛，也没有大脑，因此它很难识别任何图像。计算机只…
阅读更多...
Linux下软件安装的命令【RPM,YUM】及常用服务安装【JDK，Tomcat，MySQL】

Linux下软件安装的命令【RPM,YUM】及常用服务安装【JDK，Tomcat，MySQL】

Linux下软件安装的命令 源码安装 以源代码安装软件，每次都需要配置操作系统、配置编译参数、实际编译，最后还要依据个人喜好的方式来安装软件。这个过程很麻烦很累人。 RPM软件包管理 RPM安装软件的默认路径: 注意： /etc 配置文件放置目录…
阅读更多...
docker network网络

docker network网络

网络分类 bridge网络 bridge是docker默认网络模式，docker安装后会选择一个私有网段作为bridge的子网，在我们创建容器时默认会将容器网络加入到这个子网中。 原理：Docker Daemon（后台进程） 利用 veth pair 技术&#…
阅读更多...
502. IPO（贪心算法+优先队列/堆）

502. IPO（贪心算法+优先队列/堆）

整体思想：在满足可用资金的情况下，选择其中利润最大的业务，直到选到k个业务为止，注意k可能比n大。 每次选择完一个业务，可用资金都会变动，这是可选择的业务也会变化，因此每次将可选择的业务放在…
阅读更多...
3dmax渲不出模型是什么原因---模大狮模型网

3dmax渲不出模型是什么原因---模大狮模型网

3DMax无法渲染模型可能有多种原因。以下是一些常见的问题和解决方法： 材质设置错误：检查模型的材质设置是否正确，包括纹理贴图的路径、UV映射是否正确等。确保材质的属性设置正确，如颜色、反射率、透明度等。 灯光设置问题&#…
阅读更多...
【JS逆向学习】某壁纸下载（ast混淆）

【JS逆向学习】某壁纸下载（ast混淆）

逆向目标 目标网址：https://bz.zzzmh.cn/index逆向接口一：https://api.zzzmh.cn/bz/v3/getData逆向接口二：https://cdn2.zzzmh.cn/wallpaper/origin/0d7d8d691e644989b72ddda5f695aca2.jpg?response-content-dispositionattachment&aut…
阅读更多...
AnimatedDrawings：让绘图动起来

AnimatedDrawings：让绘图动起来

老样子，先上图片和官网。这个项目是让绘制的动画图片动起来，还能绑定人体的运动进行行为定制。 快速开始 1. 下载代码并进入文件夹，启动一键安装 git clone https://github.com/facebookresearch/AnimatedDrawings.gitcd AnimatedDrawingspip…
阅读更多...
最新文章

Copyright @ 2022~2023