资源限流 + 本地分布式多重锁——高并发性能挡板,隔绝无效流量请求

前言

在高并发分布式下,我们往往采用分布式锁去维护一个同步互斥的业务需求,但是大家细想一下,在一些高TPS的业务场景下,让这些请求全部卡在获取分布式锁,这会造成什么问题?

瞬时高并发压垮系统

众所周知,一个 SpringBoot 应用的同一时间在运行的请求是有限的,因为 SpringBoot 处理请求底层也是个线程池。我截图个 Hippo4j 监控到的 SpringBoot Tomcat 容器线程池举例。

image.png

通过上图得知,SpringBoot Tomcat 容器默认情况下,同一时间最多能处理 200 个请求。如果要应对上千万的 TPS 明显是不可能的。

如果我们直接上分布式锁来维护那么一个同步互斥的业务需求,大量请求会因为分布式锁的申请而发生阻塞,导致请求无法快速处理。这会导致后续请求长时间被阻塞,使系统陷入假死状态。无论请求的数量有多大,系统都无法返回响应。此外,随着请求的积累,还存在内存溢出的风险。更糟糕的是,如果 SpringBoot Tomcat 的线程池被分布式锁占用,查询请求也将无法得到响应。系统直接嘎了....

无效请求浪费资源

假如一趟列车有几十万人抢票,但是真正能购票的用户可能也就几千人。也就意味着哪怕几十万人都去请求这个分布式锁,最终也就几十万人中的几千人是有效的,其它都是无效获取分布式锁的行为。这样子就给 Redis 申请分布式锁带来巨大的开销压力

那么针对上述两个问题,我们该如何优雅解决?且看下文解析

资源限流算法

1. 什么是限流

限流(Rate Limiting)是一种应用程序或系统资源管理的策略,用于控制对某个服务、接口或功能的访问速率。它的主要目的是防止过度的请求或流量超过系统的处理能力,从而保护系统的稳定性、可靠性和安全性。

通过限制访问速率,限流可以防止以下问题的发生:

  1. 过度使用资源:限流可以防止某个用户或客户端过度使用系统资源,从而保护服务器免受过载的影响。
  2. 防止垃圾请求:限流可以过滤掉恶意或无效的请求,例如恶意攻击、爬虫或垃圾邮件发送等。
  3. 维护服务质量:通过限制访问速率,可以确保每个请求都能够得到适当的处理和响应时间,从而提高服务质量和用户体验。
  4. 控制成本:限流可以帮助控制系统资源的使用,避免因为过多的请求而导致不必要的成本增加。

上文也讲到过,一个列车可能就几百上千人能购买成功,但可能会有远超过这个量级的用户进行抢票,在真正执行抢票逻辑前,可以通过限流算法进行限制,只让少量用户操作购票流程。

2. 常见限流算法

限流可以通过多种算法方式实现,比如:

  1. 固定窗口算法(Fixed Window Algorithm):该算法将时间划分为固定大小的窗口,例如每秒、每分钟或每小时。在每个窗口内,限制请求的数量不得超过预设的阈值。这种算法简单直观,但可能存在突发请求超过阈值的问题。
  2. 滑动窗口算法(Sliding Window Algorithm):该算法将时间划分为连续的时间片段,例如每秒划分为多个小的时间片段。每个时间片段都有自己的请求计数器,记录在该时间片段内的请求数量。当请求到达时,会逐渐删除过时的时间片段,并根据当前时间片段内的请求数量判断是否超过阈值。这种算法可以更好地处理突发请求。
  3. 令牌桶算法(Token Bucket Algorithm):该算法模拟了一个令牌桶,桶中以固定速率生成令牌。每个令牌代表一个请求的许可。当请求到达时,需要先从令牌桶中获取令牌,如果桶中没有足够的令牌,则请求被限制。这种算法可以平滑地控制请求的速率。
  4. 漏桶算法(Leaky Bucket Algorithm):该算法类似于一个漏桶,请求以固定速率进入漏桶。如果漏桶已满,则多余的请求将被丢弃或延迟处理。这种算法可以稳定请求的处理速率,防止突发请求对系统造成压力。

这些算法都有不同的特点和适用场景,选择适合的限流算法取决于应用程序的需求和预期的限流效果。在实际应用中,也可以根据具体情况结合多种算法来实现更复杂的限流策略。

这些算法网上介绍的较为完善,大家可以搜索相关文章详细了解,这里不过多赘述。

实际业务学习

假设我们现在需要设计一个架构来满足国庆假期热门列车的车票售卖业务

业务分析

对于五一、国庆以及过年这些节日来说,一些热门列车的 TPS 少说有几十万 TPS。如果仅仅采用所有请求都进行分布式锁竞争去同步互斥进行购座下单的设计,直接就会导致前面提到的瞬时高并发压垮系统问题,那这块的分布式锁逻辑是不是可以优化呢?比如不让所有抢购列车的用户去申请分布式锁,而是让少量用户去请求获取分布式锁。这样优化的话,可以极大情况节省 Redis 申请分布式锁的开销压力。

优化思路

我们可以采用双重判定锁的思路,在竞争分布式锁前判断它有没有资格去竞争先,只要没有资格竞争的就一边凉快儿去,只有剩下那些具备竞争资格的请求才能到达下一步竞争环境,大家想想,对于当前业务场景来说,如果把车票当作一个令牌,在竞争锁前先让他们去抢这些令牌,只有抢到令牌的人才能进行竞争分布式锁同步互斥下单操作,那么你看,几十万的TPS不就变成了几千个TPS了嘛,这样优化的话,可以极大情况节省 Redis 申请分布式锁的开销压力。

伪代码实现

相信大家已经明白了精髓,这里我就不贴多详细的代码了,精华往往一点即通~以下是简要的伪代码:

if(令牌容器在缓存中失效){重新读取令牌资源,并放入缓存中充当令牌容器
}
String token = Lua脚本实现查询余额大于0就返回,并余额减一,确保两操作的原子性
if(token != null){RLock lock = redissonClient.getFairLock(lockKey);lock.lock();try {// 执行购票流程return executePurchaseTickets(requestParam);} finally {// 释放分布式公平锁lock.unlock();}
}

不知道上述讲解大家对于分布式锁的运用设计有没有新的思路呢?但是还没有结束噢,下面我们再来深入一下

本地分布式多重锁

优化思路

类似于这种有加分布式锁逻辑的,大多数都是集群化部署,是否需要考虑封装下加锁逻辑呢?,比如线程先去竞争单个服务的内部锁,竞争成功再去竞争分布式锁,从而减少redis的压力,其实本质上就是一个逐级打怪的过程,我先在蛇窝里当上蛇头了,代表所有蛇去龙穴里去和其他的蛇头竞争龙头,那么经过这么一轮的再度过滤,竞争的分布式锁的TPS是不是就更小了呢?

1. 构建本地分布式多重锁

接口的实现逻辑需要再次重构下,从单分布式锁的获取变为多种锁的组合获取。

private final ConcurrentHashMap<String, ReentrantLock> localLockMap = new ConcurrentHashMap<>();@Override
@Transactional(rollbackFor = Throwable.class)
public TicketPurchaseRespDTO purchaseTicketsV2(PurchaseTicketReqDTO requestParam) {// .....// 构建锁唯一 KeyString lockKey = environment.resolvePlaceholders(String.format(LOCK_PURCHASE_TICKETS, requestParam.getTrainId()));// 根据锁唯一 Key 获取本地锁,通过 ConcurrentHashMap 保证并发读写数据安全ReentrantLock localLock = localLockMap.computeIfAbsent(lockKey, key -> new ReentrantLock(true));// 先获取本地公平锁,因为咱们上面创建锁指定了公平模式 new ReentrantLock(true)localLock.lock();try {// 获取到本地公平锁后,开始获取分布式公平锁RLock lock = redissonClient.getFairLock(lockKey);lock.lock();try {// 执行购票流程return executePurchaseTickets(requestParam);} finally {// 释放分布式公平锁lock.unlock();}} finally {// 释放本地公平锁localLock.unlock();}
}

从实现咱们上述功能来说,这个代码已经没问题了。但是,仔细思考下,是否还有一些潜在逻辑是没考虑到的?

2. 本地锁内存安全思考

上面这个程序安全么?在看到这里时,大家思考下。

结论是不安全的,可能会有内存溢出的风险。问题就出在本地锁存储容器上。

我们通过 ConcurrentHashMap 存储每个列车的本地锁,作为申请分布式锁之前的一层性能挡板,隔绝无效流量请求 Redis。但是大家发现没有,这个 ConcurrentHashMap 是只能存储,但是没有任何过期策略。这样会导致一个问题就是应用长时间不发布,越来越多的列车数据存储在容器中,直到内存溢出为止。

怎么实现一个线程安全以及内存安全的本地锁容器?伪代码如下,大家仅作为参考即可。

通过 Caffeine 创建本地安全锁容器,Caffeine 的 expireAfterWrite 方法代表,放入元素过期的时间是什么。比如咱们以下案例中配置的一天过期,代表一个列车的本地公平锁创建一天后失效。

private final Cache<String, ReentrantLock> localLockMap = Caffeine.newBuilder().expireAfterWrite(1, TimeUnit.DAYS).build();@Override
@Transactional(rollbackFor = Throwable.class)
public TicketPurchaseRespDTO purchaseTicketsV2(PurchaseTicketReqDTO requestParam) {// ......String lockKey = environment.resolvePlaceholders(String.format(LOCK_PURCHASE_TICKETS, requestParam.getTrainId()));// getIfPresent 类似于 HashMap 中 get 方法ReentrantLock localLock = localLockMap.getIfPresent(lockKey);// 不存在的话执行加载流程if (localLock == null) {// Caffeine 不像 ConcurrentHashMap 做了并发读写安全控制,这里需要咱们自己控制synchronized (TicketService.class) {// 双重判定的方式,避免重复创建if ((localLock = localLockMap.getIfPresent(lockKey)) == null) {// 创建本地公平锁并放入本地公平锁容器中localLock = new ReentrantLock(true);localLockMap.put(lockKey, localLock);}}}localLock.lock();try {RLock lock = redissonClient.getFairLock(lockKey);lock.lock();try {return executePurchaseTickets(requestParam);} finally {lock.unlock();}} finally {localLock.unlock();}
}

文末总结

希望通过以上两个优化方向的讲解,能给大家对分布式锁的设计带来新的思路,最后再给大家引用一位大佬的话:

技术设计中不存在“银弹”。选择技术选型往往会有得失,多方面权衡后选择出一个适合项目的使用即可。

一起加油吧!陌生的程序人

image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/128482.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

USB PD v1.0快速充电通信原理

1 原理 本篇文章讲的快速充电是指USB论坛所发布的USB Power Delivery快速充电规范&#xff08;通过VBUS直流电平上耦合FSK信号来请求充电器调整输出电压和电流的过程&#xff09;&#xff0c;不同于本人发布的另一篇文章所讲的高通Quick Charger 2.0规范&#xff0c;因为高通QC…

Servlet 上下文参数

7)Servlet上下文对象&#xff1a;ServletContext生活中的例子&#xff1a;张三和李四在不远处窃窃私语&#xff0c;并且频繁的对着你坏笑。你肯定会跑过去问&#xff1a;你们俩在聊什么&#xff1f;注意&#xff1a;此处的聊什么&#xff0c;其实就是你在咨询他们聊天的上下文&…

【进程控制⑦】:制作简易shell理解shell运行原理

【进程控制⑦】&#xff1a;制作简易shell&&理解shell运行原理 一.交互问题&#xff0c;获取命令行二.字串分割问题&#xff0c;解析命令行三.指令的判断四.普通命令的执行五.shell原理本质 一.交互问题&#xff0c;获取命令行 shell刚启动时就会出现一行命令行&#x…

组件化npm包打包和使用

背景&#xff1a;本地环境对功能组件提取&#xff0c;开发环境下通过本地路径引用&#xff0c;发布模式下走npm包引用 1、项目下新建packages/HelloWorld文件夹&#xff0c;在此文件夹下运行终端 npm init 新建packages/HelloWorld/index.vue文件 新建packages/HelloWorld/ind…

uniapp黑马优购

配置tabbar 使用 npm install escook/request-miniprogram 进行http请求 挂载到 uni.$http 上 uniapp小程序分包 访问的时候 携带分包目录 /subpkg/goods_detail/goods_detail git分支使用 # 创建并使用分支 git checkout -b home git commit # 推送到远程的home分支…

自己动手实现一个深度学习算法——三、神经网络的学习

文章目录 1.从数据中学习1&#xff09;数据驱动2&#xff09;训练数据和测试数据 2.损失函数1)均方误差2)交叉熵误差3)mini-batch学习 3.数值微分1&#xff09;概念2&#xff09;数值微分实现 4.梯度1&#xff09;实现2&#xff09;梯度法3&#xff09;梯度法实现4&#xff09;…

cpu算力DMIPS说明

DMIPS即以dhrystone程式为测量方式标准的mips值&#xff0c;DMIPS即million instruction per second&#xff0c;每秒百万个指令&#xff0c;即处理器每秒能运行多少百万个指令。 D是Dhrystone的缩写&#xff0c;表示的是基于Dhrystone这样一种测试方法下的 MIPSQ。Dhrystone是…

二叉树(9.7)

目录 1.树概念及结构 1.1树的概念 1.2 树的相关概念 1.3 树的表示 2.二叉树概念及结构 2.1概念 2.2 特殊的二叉树 2.4 二叉树的存储结构 3.二叉树顺序结构及实现 3.1 二叉树的顺序结构 3.2 堆的概念及结构 1.树概念及结构 1.1树的概念 前面我们学习的都是组成简…

记一次有趣的免杀探索

文章目录 前记查杀排查源码修改免杀效果测试 前记 evilhiding昨天被提issue不能绕过火绒了&#xff0c;于是今天更新了evilhiding v1.1&#xff0c;已经可以继续免杀了。 期待各位的stars&#xff0c;项目地址如下&#xff1a; https://github.com/coleak2021/evilhiding查杀…

在Win10系统进行MySQL的安装、连接、卸载

在Win10系统进行MySQL的安装、连接、卸载 MySQL的安装 本教程在Win10系统下安装部署MySQL-8.0.32版。 MySQL安装参考地址 MySQL安装包地址 提取码: rnbc。 选择下载mysql-installer-community-8.0.32.0安装包。 连接数据库 方式一&#xff1a; 安装后&#xff0c;可以在开始…

非洲“支付宝”PalmPay搭载OceanBase:成本降低80%

10 月 30 日&#xff0c;非洲支付公司PalmPay 的核心系统搭载国产自研数据库OceanBase&#xff0c;正式投入使用。PalmPay 也是 OceanBase 首个非洲商业用户。 作为一家非洲领先的金融科技公司&#xff0c;PalmPay 于 2019 年在尼日利亚推出电子钱包应用&#xff0c;其功能类似…

中兴再推爆款,双2.5G网口的巡天AX3000Pro+仅需299元

10月30日消息,中兴新款路由器中兴巡天AX3000Pro将于10月31日20:00正式开售,当前可在天猫、京东及红魔商城进行预约,首发价格299元。 据了解,中兴巡天AX3000Pro是中兴智慧家庭推出的巡天系列新品,也是当前市场上唯一一款300元价位内配备双2.5G网口的路由器。 中兴巡天AX3000Pro…

在云栖,一场关于数据洞察的创新实践

云布道师 数据驱动创新创新鉴于未来。做好数据洞察&#xff0c;是鉴往知来的必备条件。阿里云将携手广大开发者&#xff0c;进一步完善相关技术和工具&#xff0c;提供更好的产品和方案&#xff0c;让数据洞察的应用更加广泛和深入。 2023 年 11 月 2 日&#xff0c;是为期三…

Git 删除本地和远程分支

目录 删除本地和远程分支分支删除验证验证本地分支验证远程分支 开源项目微服务商城项目前后端分离项目 删除本地和远程分支 删除 youlai-mall 的 dev 本地和远程分支 # 删除本地 dev 分支&#xff08;注&#xff1a;一定要切换到dev之外的分支才能删除&#xff0c;否则报错&…

数据库连接池大小的调整原则

配置连接池是开发人员经常犯的错误。配置池时需要理解几个原则&#xff08;对于某些人来说可能违反直觉&#xff09;。 想象一下&#xff0c;您有一个网站&#xff0c;虽然可能不是 Facebook 规模的&#xff0c;但仍然经常有 10,000 个用户同时发出数据库请求&#xff0c;每秒…

面试算法51:节点值之和最大的路径

题目 在二叉树中将路径定义为顺着节点之间的连接从任意一个节点开始到达任意一个节点所经过的所有节点。路径中至少包含一个节点&#xff0c;不一定经过二叉树的根节点&#xff0c;也不一定经过叶节点。给定非空的一棵二叉树&#xff0c;请求出二叉树所有路径上节点值之和的最…

9.Vue前端使用iframe集成帆软报表的单点登录

一、背景 需要把帆软报表内嵌到若依里面来。 二、帆软设置 2.1 帆软报表的url 打开帆软后端里面的【目录管理】查看具体报表的url 帆软报表的具体地址为: Frm聚合报表地址: 【帆软的服务http】+【/webroot/decision/view/form?viewlet=demo/demo.frm】 CPT普通报表的地…

查询和下载“省市县乡村“五级行政区划

背景信息 在更新完CTAmap1.12版本之后&#xff0c;我想继续完善这个系列的数据&#xff0c;把时间范围往前更新是基础&#xff0c;但如何展现多年的数据是个值得解决的问题。 如何展现多个年份的行政区划&#xff1f;我的思考是用思维导图的形式&#xff0c;简单明了。既然要…

Github 自动化部署到GitHub Pages

1.准备工作 新建仓库 新建项目 配置 vite.config.ts base: ./,部署应用包时的基本URL&#xff0c;例&#xff1a;vue-cli 5.x 配置 publicPath 推送到远程仓库 2.配置 GitHub Token 点击 Settings -> Actions -> General 找到 Workflow permissions&#xff0c;选中第…

【java学习—十】操作集合的工具类Collections(8)

文章目录 1. 操作集合的工具类&#xff1a; Collections2. 应用3. 查找、替换3.1. max 与 min3.2. 根据Comparator返回max(min) 3.3. frequency 与 replaceAll4. 同步控制 1. 操作集合的工具类&#xff1a; Collections Collections 是一个操作 Set 、List 和 Map 等集合的工具…