- 为什么需要限流
限流可以认为服务降级的一种,限流就是限制系统的输入和输出流量已达到保护系统的目的。一般来说系统的吞吐量是可以被测算的,为了保证系统的稳定运行,一旦达到的需要限制的阈值,就需要限制流量并采取一些措施以完成限制流量的目的。比如:延迟处理,拒绝处理,或者部分拒绝处理等等。
限流的对象:
系统自身:保护本系统,防止上游突发流量将本系统击穿。
下游系统:例如第三方系统性能不可控,即使本系统能处理突发流量,下游由于性能限制,也无法处理。
2. 固定窗口算法
计数器法是限流算法里最简单的一种算法。
定义,对于A接口来说,1分钟的访问次数不能超过100个。设置一个计数器counter,效时间为1分钟(即每分钟计数器会被重置为0),每当一个请求过来,counter就加1,如果counter的值大于100,则说明请求数过多,限制后续请求访问;
劣势:临界时间点产生突发流量,统计数量不准确。
假设在 00:01 时发生一个请求,在 00:01-00:58 之间不在发送请求,在 00:59 时发送剩下的所有请求 n-1 (n 为限流请求数量),在下一分钟的 00:01 发送 n 个请求,这样在 2 秒钟内请求到达了 2n - 1 个。
设每分钟请求数量为 60 个,每秒可以处理 1 个请求,用户在 00:59 发送 60 个请求,在 01:00 发送 60 个请求 此时 2 秒钟有 120 个请求(每秒 60 个请求),远远大于了每秒钟处理数量的阈值。
import java.util.concurrent.atomic.AtomicInteger;
public class Counter {
/**
* 最大访问数量
/
private final int limit = 10;
/*
* 访问时间差
/
private final long timeout = 1000;
/*
* 请求时间
/
private long time;
/*
* 当前计数器
*/
private AtomicInteger reqCount = new AtomicInteger(0);
public boolean limit() {long now = System.currentTimeMillis();if (now < time + timeout) {// 单位时间内reqCount.addAndGet(1);return reqCount.get() <= limit;} else {// 超出单位时间time = now;reqCount = new AtomicInteger(0);return true;}
}
}
-
滑动窗口算法
滑动窗口是对计数器方式的改进,增加一个时间粒度的度量单位,把一分钟分成若干等分(6 份,每份 10 秒),在每一份上设置独立计数器,在 00:00-00:09 之间发生请求计数器累加 1。当等分数量越大限流统计就越详细。
/** 队列id和队列的映射关系,队列里面存储的是每一次通过时候的时间戳,这样可以使得程序里有多个限流队列 */
private volatile static Map<String, List> MAP = new ConcurrentHashMap<>();private SlideWindow() {}
public static void main(String[] args) throws InterruptedException {
while (true) {
// 任意10秒内,只允许2次通过
System.out.println(LocalTime.now().toString() + SlideWindow.isGo(“ListId”, 2, 10000L));
// 睡眠0-10秒
Thread.sleep(1000 * new Random().nextInt(10));
}
}/**
-
滑动时间窗口限流算法
-
在指定时间窗口,指定限制次数内,是否允许通过
-
@param listId 队列id
-
@param count 限制次数
-
@param timeWindow 时间窗口大小
-
@return 是否允许通过
*/
public static synchronized boolean isGo(String listId, int count, long timeWindow) {
// 获取当前时间
long nowTime = System.currentTimeMillis();
// 根据队列id,取出对应的限流队列,若没有则创建
List list = MAP.computeIfAbsent(listId, k -> new LinkedList<>());
-