高并发场景下的热点key问题探析与应对策略

目录

一、问题描述

二、发现机制

三、解决策略分析

 （一）解决策略一：多级缓存策略

客户端本地缓存

代理节点本地缓存

 （二）解决策略二：多副本策略

 （三）解决策略三：热点 Key 拆分与动态分散

四、总结

干货分享，感谢您的阅读！

在高并发场景下，缓存作为前置查询机制，显著减轻了数据库的压力，提高了系统性能。然而，这也带来了缓存失效、增加回溯率等风险。常见的问题包括缓存穿透、缓存雪崩、热Key和大Key等。这些问题如果不加以处理，会影响系统的稳定性和性能。因此，采用有效的缓存策略，如缓存空结果、布隆过滤器、缓存过期时间随机化、多级缓存等，对于保障系统在高并发情况下的可靠性至关重要。本次我们将详细探讨热点key及其应对策略。

历史缓存热门问题回顾：

热门问题具体分析和解决方案
缓存穿透高并发场景下的缓存穿透问题探析与应对策略-CSDN博客
缓存雪崩高并发场景下的缓存雪崩探析与应对策略-CSDN博客
缓存击穿高并发场景下的缓存击穿问题探析与应对策略-CSDN博客
大 Key问题高并发场景下的大 Key 问题及应对策略-CSDN博客
热点Key发现机制优化分布式系统性能：热key识别与实战解决方案-CSDN博客

一、问题描述

热点 key 问题是指某些数据的访问量非常高，超过了缓存服务器的处理能力。这种现象在电商促销、社交媒体热点等场景中特别常见。热点 key 问题主要有以下几个方面：

  1. 流量集中，达到物理网卡上限：当大量请求集中到某个热点 key 时，这些请求会被路由到相同的缓存服务器。随着流量增加，服务器的物理网卡可能达到带宽上限，无法再处理更多请求。
  2. 请求过多，缓存分片服务被打垮：缓存系统通常使用分片机制来分担负载。然而，热点 key 的访问量可能过高，单个分片无法处理，导致该分片服务被打垮。
  3. 缓存分片打垮，重建再次被打垮，引起业务雪崩：当某个缓存分片被打垮后，系统可能会尝试重建该分片。然而，重建过程中的负载再次集中到该分片上，导致分片再次被打垮，形成恶性循环，引起业务系统的雪崩。

二、发现机制

本部分可直接见：优化分布式系统性能：热key识别与实战解决方案-CSDN博客

在现代分布式系统中，热key问题已经成为影响系统性能和稳定性的重要因素之一。热key，指的是在分布式缓存系统中某些特定的key被频繁访问，导致这些key所在节点的负载过高，甚至可能导致系统瓶颈或崩溃。尽管我们可以通过本地缓存、热key备份和迁移等方式来解决热key问题，但如果热key已经出现而没有及时发现和处理，问题将变得更加棘手。因此，如何提前发现并及时处理热key，是保障系统稳定性和性能的关键。

通过人为预测，客户端监控，机器层面监控，Redis服务端Monitor以及热点发现系统等多种手段，可以及时识别并处理潜在的热点key。每种解决方案都有其独特的优势和局限性，应根据具体业务场景选择合适的策略进行实施。

在实施过程中，需要关注解决方案的实时性、成本效益以及对现有系统的影响。同时，建议采用综合的监控和预测机制，持续优化和调整策略，以确保系统在面对高并发和复杂业务场景时能够稳定可靠地运行。热key问题的解决不仅是技术层面的挑战，更是对系统架构设计和运维管理能力的综合考验。通过有效的热key管理，可以提升系统的响应速度和整体性能，为用户提供更加稳定和高效的服务体验。

三、解决策略分析

 （一）解决策略一：多级缓存策略

多级缓存策略通过在客户端和服务端都设置缓存层，以便将缓存离用户更近，从而减少对远程缓存服务器的访问。

客户端本地缓存

在客户端加入本地缓存，如使用 Guava Cache 或 Ehcache，热点数据可以直接命中本地缓存，从根本上减少热点请求到缓存服务的次数。

  • 优点：减少网络延迟，提高缓存命中率，降低远程缓存服务器压力。
  • 缺点：容量有限，容易受到业务数据的入侵。

可以通过改造 Redis SDK 集成本地缓存功能，从而对业务代码无感知：

import com.google.common.cache.CacheBuilder;
import com.google.common.cache.CacheLoader;
import com.google.common.cache.LoadingCache;import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;/*** @program: zyfboot-javabasic* @author: zhangyanfeng* @create: 2013-03-23 22:33**/
public class LocalCache {private static final LoadingCache<String, String> localCache = CacheBuilder.newBuilder().maximumSize(1000).expireAfterWrite(10, TimeUnit.MINUTES).build(new CacheLoader<String, String>() {@Overridepublic String load(String key) throws Exception {// 默认返回空值，可以改为从远程缓存或数据库加载数据return null;}});public static String get(String key) {try {return localCache.get(key);} catch (ExecutionException e) {e.printStackTrace();return null;}}public static void put(String key, String value) {localCache.put(key, value);}public static void main(String[] args) {// 示例：设置和获取本地缓存LocalCache.put("hot_key", "hot_value");System.out.println("Local cache value: " + LocalCache.get("hot_key"));}
}

代理节点本地缓存

如果缓存集群为代理模式，可以在代理节点上添加本地缓存。代理节点可以水平扩展，通过分散压力解决容量有限的问题。

  • 优点：缓存容量可以扩展，通过代理节点减少远程缓存服务器的压力。
  • 缺点：性能稍逊于客户端本地缓存，因为代理节点距离用户较远。

 （二）解决策略二：多副本策略

多副本策略的基本思路是为热点 key 创建多个副本，并将这些副本分布在不同的缓存节点上。客户端在读取数据时，可以随机选择一个副本节点进行读取，从而分散读取请求，减轻单个节点的压力。多副本策略的实现需要解决以下几个问题：

  1. 副本创建和同步：需要确保热点 key 的多个副本在创建后能够及时同步更新，以保证数据一致性。
  2. 读取请求分发：客户端在读取数据时，需要能够随机选择一个副本节点进行读取。
  3. 一致性保证：需要处理多副本之间的数据一致性问题，尤其是在写操作较多的场景下。

以下是一个简单的多副本策略实现示例，基于 Redis 的主从复制机制：

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;import java.util.ArrayList;
import java.util.List;
import java.util.Random;/*** @program: zyfboot-javabasic* @author: zhangyanfeng* @create: 2013-03-24 21:12**/
public class MultiReplicaCache {private static final int NUM_REPLICAS = 3;private static final List<JedisPool> replicaPools = new ArrayList<>();private static final Random random = new Random();static {for (int i = 0; i < NUM_REPLICAS; i++) {JedisPool pool = new JedisPool(new JedisPoolConfig(), "localhost", 6379 + i);replicaPools.add(pool);}}public static void set(String key, String value) {try (Jedis jedis = replicaPools.get(0).getResource()) {jedis.set(key, value);}for (int i = 1; i < NUM_REPLICAS; i++) {try (Jedis jedis = replicaPools.get(i).getResource()) {jedis.slaveof("localhost", 6379);}}}public static String get(String key) {int replicaIndex = random.nextInt(NUM_REPLICAS);try (Jedis jedis = replicaPools.get(replicaIndex).getResource()) {return jedis.get(key);}}public static void main(String[] args) {String key = "hot_key";String value = "hot_value";MultiReplicaCache.set(key, value);System.out.println("Cache value: " + MultiReplicaCache.get(key));}
}

可以看到直接的优点是：1.分散读取压力：多个副本可以显著分散读取请求，减少单个节点的压力；2.提高读取性能：通过多副本并行读取，提高系统的整体读取性能。

但重点需要关注其存在的两大基本问题：

  • 一致性问题：多副本之间的数据同步可能会导致一致性问题，特别是在写操作频繁的情况下。
  • 资源消耗增加：创建多个副本会增加存储和网络资源的消耗。

 （三）解决策略三：热点 Key 拆分与动态分散

动态分散热点 key 的基本思路是在存储热点 key 时，将其拆分成多个子 key，并将这些子 key 分布到不同的分片上进行存储。在读取数据时，通过组合子 key 的结果来还原原始数据。这种方法可以显著分散对单个热点 key 的访问压力。

实现热点 key 动态分散思路：

  1. 拆分热点 Key：将一个热点 key 拆分成多个子 key。
  2. 分布式存储子 Key：将子 key 分布到不同的分片上进行存储。
  3. 组合读取子 Key：在读取数据时，通过组合子 key 的结果来还原原始数据。

简单实现如下：

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;import java.util.ArrayList;
import java.util.List;
import java.util.Random;/*** @program: zyfboot-javabasic* @author: zhangyanfeng* @create: 2013-03-24 21:35**/
public class HotKeyDistribution {private static final int NUM_PARTS = 5;private static final List<JedisPool> shardPools = new ArrayList<>();private static final Random random = new Random();static {for (int i = 0; i < NUM_PARTS; i++) {JedisPool pool = new JedisPool(new JedisPoolConfig(), "localhost", 6379 + i);shardPools.add(pool);}}public static void set(String key, String value) {int partLength = value.length() / NUM_PARTS;for (int i = 0; i < NUM_PARTS; i++) {String partKey = key + "_" + i;String partValue = value.substring(i * partLength, (i + 1) * partLength);try (Jedis jedis = shardPools.get(i % shardPools.size()).getResource()) {jedis.set(partKey, partValue);}}}public static String get(String key) {StringBuilder value = new StringBuilder();for (int i = 0; i < NUM_PARTS; i++) {String partKey = key + "_" + i;try (Jedis jedis = shardPools.get(i % shardPools.size()).getResource()) {value.append(jedis.get(partKey));}}return value.toString();}public static void main(String[] args) {String key = "hot_key";String value = "this_is_a_very_hot_key_value_with_large_size";HotKeyDistribution.set(key, value);System.out.println("Cache value: " + HotKeyDistribution.get(key));}
}

四、总结

高并发场景下的热点 key 问题是分布式系统中常见的挑战之一，直接影响系统的性能和稳定性。为了有效应对这一问题，可以采用多级缓存策略、多副本策略以及热点 Key 的拆分与动态分散等多种策略。在实施过程中，需要综合考虑系统的实时性需求、成本效益和对现有架构的影响，持续优化和调整策略，以确保系统在面对复杂的业务场景时能够稳定可靠地运行，为用户提供高效的服务体验。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/38407.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

XJTUSE-数据结构-homework1

XJTUSE-数据结构-homework1

任务 1 题目&#xff1a; 排序算法设计&#xff1a; 需要写Selection、Shell、Quicksort 和 Mergesort四种排序算法&#xff0c;书上讲述比较全面而且不需要进行额外的优化&#xff0c;下面我简要地按照自己的理解讲述。 Selection&#xff08;选择排序&#xff09;&#xff…
阅读更多...
vtk学习笔记

vtk学习笔记

tfun和gradtfun的区别 在体绘制&#xff08;Volume Rendering&#xff09;中&#xff0c;vtk.vtkPiecewiseFunction 通常用于定义两种类型的不透明度映射&#xff1a;标量不透明度映射和梯度不透明度映射。虽然这两个函数都使用 vtk.vtkPiecewiseFunction 来创建&#xff0c;但…
阅读更多...
【孙子兵法】始计篇 - 原文注解笔记 ① ( 五事 - 道、天、地、将、法 )

【孙子兵法】始计篇 - 原文注解笔记 ① ( 五事 - 道、天、地、将、法 )

文章目录 一、始计篇 原文注解笔记1、兵者&#xff0c;国之大事2、五事道天地将法 一、始计篇 原文注解笔记 1、兵者&#xff0c;国之大事 孙子曰&#xff1a;兵者&#xff0c;国之大事&#xff0c;死生之地&#xff0c;存亡之道&#xff0c;不可不察也。 孙子说 : 战争 , 是国…
阅读更多...
Git上传大文件时各种报错解决方案汇总

Git上传大文件时各种报错解决方案汇总

如何通过LFS向Github添加大文件 https://zhuanlan.zhihu.com/p/699750305&#xff08;测试失败&#xff09; Configuring Git Large File Storage - GitHub Docs HTTP 400 curl 22 The requested URL returned error: 400 send-pack: unexpected disconnect while reading si…
阅读更多...
Django ORM 中过滤 JSON 数据

Django ORM 中过滤 JSON 数据

简介 首先,我们假设您有一个名为 MyModel 的 Django 模型,它包含一个 JSONField 类型的字段,名为 data。这个 data 字段可以存储各种 JSON 格式的数据。 过滤 JSON 字段中的键值对 您可以使用双下划线 __ 语法来访问 JSON 字段中的嵌套键值对。例如: # 过滤 data 字段中 &qu…
阅读更多...
瓦努阿图将出台数字资产监管法案

瓦努阿图将出台数字资产监管法案

亲爱的国民&#xff0c;你们好&#xff01; “瓦努阿图即将在数字资产领域迎来突破性转型&#xff0c;全世界的加密爱好者准备好迎接一波激动人心的信仰充值。” 对&#xff0c;就是它&#xff01;比特币定为国家法定货币&#xff0c;央行开发数字货币钱包&#xff0c;总统新…
阅读更多...
关于Redisson分布式锁的用法

关于Redisson分布式锁的用法

关于Redisson分布式锁的用法 Redisson是一个基于Redis的Java分布式对象和服务框架&#xff0c;它提供了多种分布式锁的实现&#xff0c;包括可重入锁、公平锁、读写锁等。Redisson实现分布式锁的核心原理主要依赖于Redis的数据结构和Redisson框架提供的高级功能。以下详细讲解…
阅读更多...
深度学习11-20

深度学习11-20

1.神经元的个数对结果的影响&#xff1a; &#xff08;http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html&#xff09; &#xff08;1&#xff09;神经元3个的时候 &#xff08;2&#xff09;神经元是10个的时候 神经元个数越多&#xff0c;可能会产生…
阅读更多...
langchain报错

langchain报错

ImportError: cannot import name ‘BaseModel’ from ‘langchain_core.pydantic_v1’ (/Users/sunwenjun/anaconda3/envs/python310/lib/python3.10/site-packages/langchain_core/pydantic_v1/init.py) pip install -U pydantic pip install -qU langchain-openai
阅读更多...
第3章-数据类型和运算符

第3章-数据类型和运算符

#本章目标 掌握Python中的保留字与标识符 理解Python中变量的定义及使用 掌握Python中基本数据类型 掌握数据类型之间的相互转换 掌握eval()函数的使用 了解不同的进制数 掌握Python中常用的运算符及优先级1&#xff0c;保留字与标识符 保留字 指在Python中被赋予特定意义的一…
阅读更多...
AI时代下的个体创业

AI时代下的个体创业

核心理念&#xff1a; 少工作&#xff0c;多赚钱&#xff0c;享受生活&#xff1a;减少工作量&#xff0c;提高工作效率&#xff1b;设定主观的赚钱目标&#xff0c;根据兴趣和追求持续获利&#xff1b;平衡工作与生活&#xff0c;实现时间和地点自由。个人成长与试错&#xf…
阅读更多...
FireAct：使用智能体（agent）微调大语言模型

FireAct：使用智能体（agent）微调大语言模型

1.概述 近年来，针对语言模型（LMs）的研究致力于探索其与外部工具或环境互动的能力，以推进新型语言代理的发展。此类代理具备从环境反馈中汲取新知识、通过语言推理进行连续决策，以及借助自我反思提升任务解决能力的能力。工业界的进展，如ChatGPT插件，凸显了语言代理在实际…
阅读更多...
微信小程序的跳转页面

微信小程序的跳转页面

在微信小程序中&#xff0c;要实现从当前页面返回到指定页面的功能&#xff0c;通常不直接使用“返回上一页”的逻辑&#xff0c;而是利用小程序的页面栈管理和navigateBack或者重新定向到目标页面的API。下面我将介绍两种主要的方法&#xff1a; 方法一&#xff1a;使用 navi…
阅读更多...
[C++][设计模式][备忘录模式]详细讲解

[C++][设计模式][备忘录模式]详细讲解

目录 1.动机2.模式定义3.要点总结4.代码感受 1.动机 在软件构建过程中&#xff0c;某些对象的状态转换过程中&#xff0c;可能由于某中需要&#xff0c;要求程序能够回溯到对象之前处于某个点的状态。 如果使用一些公开接口来让其他对象得到对象的状态&#xff0c;便会暴露对象…
阅读更多...
pygame下载安装流程

pygame下载安装流程

方案一&#xff1a;直接下载 使用cmd打开窗口&#xff1a; 使用命令&#xff1a;pip install pygame即可下载最新pygame安装包 方案二&#xff1a;下载指定版本 我们需要去python官网查看对应包和发布版本&#xff1a; python官网 进去后点击PyPI&#xff0c;查找python发布…
阅读更多...
C#异常捕获

C#异常捕获

前言 在C#中&#xff0c;我们无法保证我们编写的程序没有一点bug&#xff0c;如果我们对于这些抛出异常的bug不进行任何的处理的话&#xff0c;那么我们的软件在抛出这些异常的时候就会崩溃&#xff0c;也就是软件闪退&#xff0c;并且这种闪退由于我们没有进行处理&#xff0…
阅读更多...
初阶数据结构之堆讲解

初阶数据结构之堆讲解

本篇文章带大家学习的是堆&#xff0c;还请各位观众老爷给个三连 正片开始 堆的概念 如果有一个关键码的集合 K { &#xff0c; &#xff0c; &#xff0c; … &#xff0c; } &#xff0c;把它的所有元素按完全二叉树的顺序存储方式存储 在一个一维数组中&#xff0c;并满…
阅读更多...
【Redis】主从复制

【Redis】主从复制

https://www.bilibili.com/video/BV1cr4y1671t?p101 https://blog.csdn.net/weixin_54232666/article/details/128825763 单节点Redis的并发能力是有上限的&#xff0c;要进一步提高Redist的并发能力&#xff0c;就需要搭建主从集群&#xff0c;实现读写分离。 主从搭建 这…
阅读更多...
访客(UV)、点击量(PV)、IP、访问量(VV)概念

访客(UV)、点击量(PV)、IP、访问量(VV)概念

1、https://www.cnblogs.com/QingPingZm/articles/13855808.htmlhttps://www.cnblogs.com/QingPingZm/articles/13855808.html
阅读更多...
SAAS多租户系统的详细设计方案，后台数据库及各类框架详细设计方案-程序员必被的技术

SAAS多租户系统的详细设计方案，后台数据库及各类框架详细设计方案-程序员必被的技术

SAAS多租户系统的详细设计方案 多租户&#xff08;Multi-Tenant&#xff09;架构是一种在单个软件实例中服务多个客户&#xff08;租户&#xff09;的设计方式。每个租户的数据和配置是独立的&#xff0c;但共享同一个应用程序和基础设施。设计一个高效的SAAS多租户系统需要考…
阅读更多...
最新文章

Copyright @ 2022~2023