vb6 由于超出容量限制 不能创建新事务_分布式限流?你也能轻松玩转(没啥新技术)...

点击蓝色「日拱一兵」关注,持续侦破 Java 技术案件

一、什么是限流?为什么要限流?

不知道大家有没有做过帝都的地铁,就是进地铁站都要排队的那种,为什么要这样摆长龙转圈圈?答案就是为了限流!因为一趟地铁的运力是有限的,一下挤进去太多人会造成站台的拥挤、列车的超载,存在一定的安全隐患。同理,我们的程序也是一样,它处理请求的能力也是有限的,一旦请求多到超出它的处理极限就会崩溃。为了不出现最坏的崩溃情况,只能耽误一下大家进站的时间。

322007273f898ac4fc5189fdc0b7e533.png

限流是保证系统高可用的重要手段!!!

由于互联网公司的流量巨大,系统上线会做一个流量峰值的评估,尤其是像各种秒杀促销活动,为了保证系统不被巨大的流量压垮,会在系统流量到达一定阈值时,拒绝掉一部分流量。

限流会导致用户在短时间内(这个时间段是毫秒级的)系统不可用,一般我们衡量系统处理能力的指标是每秒的QPS或者TPS,假设系统每秒的流量阈值是1000,理论上一秒内有第1001个请求进来时,那么这个请求就会被限流。

二、限流方案

1、计数器

Java内部也可以通过原子类计数器AtomicIntegerSemaphore信号量来做简单的限流。

 1// 限流的个数
2    private int maxCount = 10;
3    // 指定的时间内
4    private long interval = 60;
5    // 原子类计数器
6    private AtomicInteger atomicInteger = new AtomicInteger(0);
7    // 起始时间
8    private long startTime = System.currentTimeMillis();
9
10    public boolean limit(int maxCount, int interval) {
11        atomicInteger.addAndGet(1);
12        if (atomicInteger.get() == 1) {
13            startTime = System.currentTimeMillis();
14            atomicInteger.addAndGet(1);
15            return true;
16        }
17        // 超过了间隔时间,直接重新开始计数
18        if (System.currentTimeMillis() - startTime > interval * 1000) {
19            startTime = System.currentTimeMillis();
20            atomicInteger.set(1);
21            return true;
22        }
23        // 还在间隔时间内,check有没有超过限流的个数
24        if (atomicInteger.get() > maxCount) {
25            return false;
26        }
27        return true;
28    }
2、漏桶算法

漏桶算法思路很简单,我们把水比作是请求,漏桶比作是系统处理能力极限,水先进入到漏桶里,漏桶里的水按一定速率流出,当流出的速率小于流入的速率时,由于漏桶容量有限,后续进入的水直接溢出(拒绝请求),以此实现限流。

843b54d75ba12c2431a831d309e93a65.png
3、令牌桶算法

令牌桶算法的原理也比较简单,我们可以理解成医院的挂号看病,只有拿到号以后才可以进行诊病。

系统会维护一个令牌(token)桶,以一个恒定的速度往桶里放入令牌(token),这时如果有请求进来想要被处理,则需要先从桶里获取一个令牌(token),当桶里没有令牌(token)可取时,则该请求将被拒绝服务。令牌桶算法通过控制桶的容量、发放令牌的速率,来达到对请求的限制。

5e099b51eb6ab07630139c203bbb6284.png
4、Redis + Lua

很多同学不知道Lua是啥?个人理解,Lua脚本和 MySQL数据库的存储过程比较相似,他们执行一组命令,所有命令的执行要么全部成功或者失败,以此达到原子性。也可以把Lua脚本理解为,一段具有业务逻辑的代码块。

Lua本身就是一种编程语言,虽然redis 官方没有直接提供限流相应的API,但却支持了 Lua 脚本的功能,可以使用它实现复杂的令牌桶或漏桶算法,也是分布式系统中实现限流的主要方式之一。

相比Redis事务,Lua脚本的优点:

  • 减少网络开销:使用Lua脚本,无需向Redis 发送多次请求,执行一次即可,减少网络传输

  • 原子操作:Redis 将整个Lua脚本作为一个命令执行,原子,无需担心并发

  • 复用:Lua脚本一旦执行,会永久保存 Redis 中,,其他客户端可复用

Lua脚本大致逻辑如下:

 1-- 获取调用脚本时传入的第一个key值(用作限流的 key)
2local key = KEYS[1]
3-- 获取调用脚本时传入的第一个参数值(限流大小)
4local limit = tonumber(ARGV[1])
5
6-- 获取当前流量大小
7local curentLimit = tonumber(redis.call('get', key) or "0")
8
9-- 是否超出限流
10if curentLimit + 1 > limit then
11    -- 返回(拒绝)
12    return 0
13else
14    -- 没有超出 value + 1
15    redis.call("INCRBY", key, 1)
16    -- 设置过期时间
17    redis.call("EXPIRE", key, 2)
18    -- 返回(放行)
19    return 1
20end
  • 通过KEYS[1] 获取传入的key参数

  • 通过ARGV[1]获取传入的limit参数

  • redis.call方法,从缓存中getkey相关的值,如果为null那么就返回0

  • 接着判断缓存中记录的数值是否会大于限制大小,如果超出表示该被限流,返回0

  • 如果未超过,那么该key的缓存值+1,并设置过期时间为1秒钟以后,并返回缓存值+1

这种方式是本文推荐的方案,具体实现会在后边做细说。

5、网关层限流

限流常在网关这一层做,比如NginxOpenrestykongzuulSpring Cloud Gateway等,而像spring cloud - gateway网关限流底层实现原理,就是基于Redis + Lua,通过内置Lua限流脚本的方式。

353acac206b0da97962b37d77c869197.png

三、Redis + Lua 限流实现

下面我们通过自定义注解aopRedis + Lua 实现限流,步骤会比较详细,为了小白能让快速上手这里啰嗦一点,有经验的老鸟们多担待一下。

1、环境准备

springboot 项目创建地址:https://start.spring.io,很方便实用的一个工具。

c5b4afce4ec5183d5792795d53f76b53.png
2、引入依赖包

pom文件中添加如下依赖包,比较关键的就是 spring-boot-starter-data-redis 和 spring-boot-starter-aop

 1     2        <dependency> 3            <groupId>org.springframework.bootgroupId> 4            <artifactId>spring-boot-starter-webartifactId> 5        dependency> 6         7            <groupId>org.springframework.bootgroupId> 8            spring-boot-starter-data-redis</artifactId> 9        dependency>10        <dependency>11            <groupId>org.springframework.bootgroupId>12            <artifactId>spring-boot-starter-aopartifactId>13        dependency>14        15            <groupId>com.google.guavagroupId>16            guava</artifactId>17            21.0version>18        dependency>19        20            <groupId>org.springframework.bootgroupId>21            spring-boot-starter-test</artifactId>22        dependency>23        <dependency>24            <groupId>org.apache.commonsgroupId>25            <artifactId>commons-lang3artifactId>26        dependency>2728        29            <groupId>org.springframework.bootgroupId>30            spring-boot-starter-test</artifactId>31            testscope>32            <exclusions>33                <exclusion>34                    <groupId>org.junit.vintagegroupId>35                    <artifactId>junit-vintage-engineartifactId>36                exclusion>37            exclusions>38        </dependency>39    dependencies>
3、配置application.properties

在 application.properties 文件中配置提前搭建好的 redis 服务地址和端口。

1spring.redis.host=127.0.0.1
2
3spring.redis.port=6379
4、配置RedisTemplate实例
 1@Configuration
2public class RedisLimiterHelper {
3
4    @Bean
5    public RedisTemplate<String, Serializable> limitRedisTemplate(LettuceConnectionFactory redisConnectionFactory) {
6        RedisTemplate<String, Serializable> template = new RedisTemplate<>();
7        template.setKeySerializer(new StringRedisSerializer());
8        template.setValueSerializer(new GenericJackson2JsonRedisSerializer());
9        template.setConnectionFactory(redisConnectionFactory);
10        return template;
11    }
12}

限流类型枚举类

 1/** 2 * @author fu 3 * @description 限流类型 4 * @date 2020/4/8 13:47 5 */
6public enum LimitType {
7
8    /** 9     * 自定义key10     */
11    CUSTOMER,
12
13    /**14     * 请求者IP15     */
16    IP;
17}
5、自定义注解

我们自定义个@Limit注解,注解类型为ElementType.METHOD即作用于方法上。

period表示请求限制时间段,count表示在period这个时间段内允许放行请求的次数。limitType代表限流的类型,可以根据请求的IP自定义key,如果不传limitType属性则默认用方法名作为默认key。

 1/** 2 * @author fu 3 * @description 自定义限流注解 4 * @date 2020/4/8 13:15 5 */
6@Target({ElementType.METHOD, ElementType.TYPE})
7@Retention(RetentionPolicy.RUNTIME)
8@Inherited
9@Documented
10public @interface Limit {
11
12    /**13     * 名字14     */
15    String name() default "";
16
17    /**18     * key19     */
20    String key() default "";
21
22    /**23     * Key的前缀24     */
25    String prefix() default "";
26
27    /**28     * 给定的时间范围 单位(秒)29     */
30    int period();
31
32    /**33     * 一定时间内最多访问次数34     */
35    int count();
36
37    /**38     * 限流的类型(用户自定义key 或者 请求ip)39     */
40    LimitType limitType() default LimitType.CUSTOMER;
41}
6、切面代码实现
  1/**  2 * @author fu  3 * @description 限流切面实现  4 * @date 2020/4/8 13:04  5 */
6@Aspect
7@Configuration
8public class LimitInterceptor {
9
10    private static final Logger logger = LoggerFactory.getLogger(LimitInterceptor.class);
11
12    private static final String UNKNOWN = "unknown";
13
14    private final RedisTemplate<String, Serializable> limitRedisTemplate;
15
16    @Autowired
17    public LimitInterceptor(RedisTemplate<String, Serializable> limitRedisTemplate) {
18        this.limitRedisTemplate = limitRedisTemplate;
19    }
20
21    /** 22     * @param pjp 23     * @author fu 24     * @description 切面 25     * @date 2020/4/8 13:04 26     */
27    @Around("execution(public * *(..)) && @annotation(com.xiaofu.limit.api.Limit)")
28    public Object interceptor(ProceedingJoinPoint pjp) {
29        MethodSignature signature = (MethodSignature) pjp.getSignature();
30        Method method = signature.getMethod();
31        Limit limitAnnotation = method.getAnnotation(Limit.class);
32        LimitType limitType = limitAnnotation.limitType();
33        String name = limitAnnotation.name();
34        String key;
35        int limitPeriod = limitAnnotation.period();
36        int limitCount = limitAnnotation.count();
37
38        /** 39         * 根据限流类型获取不同的key ,如果不传我们会以方法名作为key 40         */
41        switch (limitType) {
42            case IP:
43                key = getIpAddress();
44                break;
45            case CUSTOMER:
46                key = limitAnnotation.key();
47                break;
48            default:
49                key = StringUtils.upperCase(method.getName());
50        }
51
52        ImmutableList<String> keys = ImmutableList.of(StringUtils.join(limitAnnotation.prefix(), key));
53        try {
54            String luaScript = buildLuaScript();
55            RedisScript<Number> redisScript = new DefaultRedisScript<>(luaScript, Number.class);
56            Number count = limitRedisTemplate.execute(redisScript, keys, limitCount, limitPeriod);
57            logger.info("Access try count is {} for name={} and key = {}", count, name, key);
58            if (count != null && count.intValue() <= limitCount) {
59                return pjp.proceed();
60            } else {
61                throw new RuntimeException("You have been dragged into the blacklist");
62            }
63        } catch (Throwable e) {
64            if (e instanceof RuntimeException) {
65                throw new RuntimeException(e.getLocalizedMessage());
66            }
67            throw new RuntimeException("server exception");
68        }
69    }
70
71    /** 72     * @author fu 73     * @description 编写 redis Lua 限流脚本 74     * @date 2020/4/8 13:24 75     */
76    public String buildLuaScript() {
77        StringBuilder lua = new StringBuilder();
78        lua.append("local c");
79        lua.append("\nc = redis.call('get',KEYS[1])");
80        // 调用不超过最大值,则直接返回
81        lua.append("\nif c and tonumber(c) > tonumber(ARGV[1]) then");
82        lua.append("\nreturn c;");
83        lua.append("\nend");
84        // 执行计算器自加
85        lua.append("\nc = redis.call('incr',KEYS[1])");
86        lua.append("\nif tonumber(c) == 1 then");
87        // 从第一次调用开始限流,设置对应键值的过期
88        lua.append("\nredis.call('expire',KEYS[1],ARGV[2])");
89        lua.append("\nend");
90        lua.append("\nreturn c;");
91        return lua.toString();
92    }
93
94
95    /** 96     * @author fu 97     * @description 获取id地址 98     * @date 2020/4/8 13:24 99     */
100    public String getIpAddress() {
101        HttpServletRequest request = ((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getRequest();
102        String ip = request.getHeader("x-forwarded-for");
103        if (ip == null || ip.length() == 0 || UNKNOWN.equalsIgnoreCase(ip)) {
104            ip = request.getHeader("Proxy-Client-IP");
105        }
106        if (ip == null || ip.length() == 0 || UNKNOWN.equalsIgnoreCase(ip)) {
107            ip = request.getHeader("WL-Proxy-Client-IP");
108        }
109        if (ip == null || ip.length() == 0 || UNKNOWN.equalsIgnoreCase(ip)) {
110            ip = request.getRemoteAddr();
111        }
112        return ip;
113    }
114}
7、控制层实现

我们将@Limit注解作用在需要进行限流的接口方法上,下边我们给方法设置@Limit注解,在10秒内只允许放行3个请求,这里为直观一点用AtomicInteger计数。

 1/** 2 * @Author: fu 3 * @Description: 4 */
5@RestController
6public class LimiterController {
7
8    private static final AtomicInteger ATOMIC_INTEGER_1 = new AtomicInteger();
9    private static final AtomicInteger ATOMIC_INTEGER_2 = new AtomicInteger();
10    private static final AtomicInteger ATOMIC_INTEGER_3 = new AtomicInteger();
11
12    /**13     * @author fu14     * @description15     * @date 2020/4/8 13:4216     */
17    @Limit(key = "limitTest", period = 10, count = 3)
18    @GetMapping("/limitTest1")
19    public int testLimiter1() {
20
21        return ATOMIC_INTEGER_1.incrementAndGet();
22    }
23
24    /**25     * @author fu26     * @description27     * @date 2020/4/8 13:4228     */
29    @Limit(key = "customer_limit_test", period = 10, count = 3, limitType = LimitType.CUSTOMER)
30    @GetMapping("/limitTest2")
31    public int testLimiter2() {
32
33        return ATOMIC_INTEGER_2.incrementAndGet();
34    }
35
36    /**37     * @author fu38     * @description 39     * @date 2020/4/8 13:4240     */
41    @Limit(key = "ip_limit_test", period = 10, count = 3, limitType = LimitType.IP)
42    @GetMapping("/limitTest3")
43    public int testLimiter3() {
44
45        return ATOMIC_INTEGER_3.incrementAndGet();
46    }
47
48}
8、测试

测试预期:连续请求3次均可以成功,第4次请求被拒绝。接下来看一下是不是我们预期的效果,请求地址:http://127.0.0.1:8080/limitTest1,用postman进行测试,有没有postman url直接贴浏览器也是一样。

1905d7b79f4dec704ef8049012c8dd13.png

可以看到第四次请求时,应用直接拒绝了请求,说明我们的 Springboot + aop + lua 限流方案搭建成功。

46e6972bf04519e3071b3d756cc5788e.png

总结

以上 springboot + aop + Lua 限流实现是比较简单的,旨在让大家认识下什么是限流?如何做一个简单的限流功能,面试要知道这是个什么东西。上面虽然说了几种实现限流的方案,但选哪种还要结合具体的业务场景,不能为了用而用

dbeebb970dcd910f7478706687e96a7b.png

面试问我,创建多少个线程合适?我该怎么说

1bd024d690f78f86d0083da862485646.png

读JDK源码,可以边读边加注释的姿势怎么样?

cb08525fbe60d0a6788ab6da4f3d5891.png

Java SPI 机制,你的数据库驱动就是靠它加载的

e9b03f22193e6d62f6c46c077ee8c4c7.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/298258.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Managing Gigabytes--文本压缩

开门见山&#xff0c;文本压缩可以归纳为两大类, 符号方法和字典方法&#xff0c; 下面分别介绍下&#xff1a; 1&#xff09;符号方法&#xff0c;symbolwise method普通编码方式是每个字符都采用相同位数编码&#xff0c; 比如asc码&#xff0c; 每个字符都是8位编码。那么现…

Linux学习笔记 1 环境变量 2 vi命令

1 环境变量篇 1.1 修改 查看 生效 系统环境变量 1 涉及系统环境变量的文件 --> .bash_profile --> /etc/profile 2 该文件位置 /root/.bash_profile 3 文件编辑器打开 vi .bash_profile 4 文件末尾加入 JAVA_HOME /usr/share/jdk 1.6.0 PATH $JAVA_HOME/bin:$PA…

一个简单的存储过程

存储过程实现循环取出以特定字符间隔的字符串的单个字符串比如&#xff1a;ab,cdsfd,efdf,owoief,lows实现存储过程后的结果为&#xff1a;abcdsfdefdfowoieflows 这样就可以对这些数据进行循环执行操作 存储过程&#xff1a;if exists(select * from sysobjects where namepro…

基于事件驱动架构构建微服务第8部分:在应用程序上实现事件溯源

原文链接&#xff1a;https://logcorner.com/building-microservices-through-event-driven-architecture-part8-implementing-eventsourcing-on-application/在本文中&#xff0c;我将讨论应用程序上的事件溯源实现。该层围绕领域并实现用例&#xff08;特定于应用程序的业务规…

我们来聊点成年人的话题!

1 这个话题透漏着成年人都存在的问题&#xff0c;其中心思想行走在道德底线&#xff0c;让人不得不深思&#xff0c;句句入心2 哈哈哈哈哈哈哈哈哈哈哈哈哈画面惊人 图自动漫次元酱3 对不起&#xff0c;我不是你家的鸡&#xff0c;我是一只大鸟&#xff01;&#xff01;&#x…

python3 csv读写_在python3中读取、更新和写入更新的CSV文件

我正在创建一个应用程序来本质上充当一个资产数据库&#xff0c;我试图打开一个CSV文件&#xff0c;读取值并相应地更新它们。我看到很多关于如何读写CSV文件的教程&#xff0c;但是我找不到一个详细介绍如何迭代CSV文件和更新单个值的教程。理想情况下&#xff0c;与列表相比&…

js数字相加

las_number Number(ads) Number(abs),转载于:https://www.cnblogs.com/gengaixue/archive/2011/07/08/2100971.html

js获取int类型长度_js代码比较大小前需要把string转换int

今天在写代码时发现一个容易忽略的问题&#xff0c;写下来以供参考这是做的一个验证&#xff0c;设置的最小值minValue不能小于参数本身的最小值min当输入正数的时候都没有问题&#xff0c;但是输入负数时就出现问题了正确设置参数var minValue -30 ,var min -300 ,console.l…

yum安装最新的 LNMP

2019独角兽企业重金招聘Python工程师标准>>> 先添加几个源&#xff1a; rpm -Uvh http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-1.noarch.rpm rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-7.rpm 1&#xff0c;安装nginx&a…

JavaScript中encodeURI,encodeURIComponent与escape的注意

大家在使用JS提交数据时&#xff0c;尤其是中文的时候&#xff0c;经常会需要将要提交的字符串进行URL编码。在JS中对字符串进行URL编码有好几种方法&#xff0c;encodeURI&#xff0c;encodeURIComponent&#xff0c;还有escape。在我看到的很多代码中escape这个函数用的最多&…

C#新版本风格项目文件(SDK风格项目 SDK-style project)

在VisualStudio中创建NetCore以上版本的项目&#xff0c;使用的都是新版本风格的项目文件。和旧版本.NetFramework版本的项目文件区别&#xff1a;双击项目可直接打开csproj文件进行编辑配置项目文件内容的改变项目属性文件夹图标更改项目引用去除&#xff0c;改成依赖项Nuget包…

史上最丧心病狂的商品定价套路:如何从数学角度,榨干你身上的每一分钱

全世界只有3.14 % 的人关注了爆炸吧知识世上没有精明的买家&#xff0c;只有精明的卖家。的确&#xff0c;卖家的嘴&#xff0c;骗人的鬼。在买与卖的博弈中&#xff0c;没有一个买家可以取胜。别不信&#xff0c;今天就让你见识下“卖家套路终极奥义”。按量定价&#xff0c;是…

python 接口自动化_Python 接口自动化测试

1. 接口基础知识1.1 接口分类接口一般来说有两种&#xff0c;一种是程序内部的接口&#xff0c;一种是系统对外的接口。(1) webservice接口&#xff1a;走soap协议通过http传输&#xff0c;请求报文和返回报文都是xml格式的&#xff0c;我们在测试的时候都要通过工具才能进行调…

工厂模式 Factory

工厂模式 记得一个好友面试的时候&#xff0c;面试官问他&#xff0c;你怎么获得一个类的对象的好友说&#xff0c;new一个啊&#xff0c;的确没错&#xff0c;对象不是new难道还是create... 当然在使用new对象的时候&#xff0c;这段代码也就意味着难以以后的维护和扩展了&…

java定时器写法_java定时器的写法是什么样?

定时器的用法是java核心基础之一&#xff0c;很多特殊功能都需要用到定时器&#xff0c;下面一起来看看定时器是如何编写的吧。示例&#xff1a;一个具备周期性定时(毫秒级);单时刻定时(秒级);多时刻定时(秒级)。后两个时间的设置必须符合“yyyy-MM-ddHH:mm:ss”、“yyyy-MM-dd…

CentOS中vsftp安装、配置、卸载

CentOS中vsftp安装、配置、卸载转载http://www.zjgsq.com/1509.html转载于:https://blog.51cto.com/bbtao/1606816

struts2文件上传

/*** 单文件的上传* author Administrator**/public class FileUploadAction extends ActionSupport {private static final com.opensymphony.xwork2.util.logging.Logger logger LoggerFactory.getLogger(FileUploadAction.class);//上传文件private File upload;//保存路径…

python的所有库_Python 常用库

前言之前重写了视频字符画处理的代码&#xff0c;然后这两天又在研究命令行和网络。读了一点开源工具的代码&#xff0c;越来越觉得有必要针对性地学习一下一些重要的基础库。这里呢就列个小清单&#xff0c;把我认为有必要学习的库写一下。带 [ x ] 的表示已完成时间time&…

401 Palindrome

这道题最初我是没理解清楚题意,我以为那些reverse栏空白的字母是省略了.后来在这个论坛找到了更多的测试数据,发现了自己理解错了,重新读题 ,修改了下代码- -.弄了很久才AC 我的思路和别人有点不同的是,我是通过计算来得到在常量表中的位置 好吧 这道题本来该总结很多的,今天…

东北大姐剪纸被误认为油画,遭人质疑二十多年,只因太过逼真,看完后:真香!不愧是天下第一剪!...

全世界只有3.14 % 的人关注了爆炸吧知识“这是剪纸&#xff1f;太惟妙惟肖了&#xff0c;我还以为是水彩画呢&#xff01;”这是一位网友的留言。茂盛的树木、潺潺的流水……这些栩栩如生的场景&#xff0c;真难想象竟是出自,一双巧手和一把剪刀。这些作品&#xff0c;全部来自…