研发线上事故风险解读之缓存篇

专业在线打字练习平台-巧手打字通,只输出有价值的知识。

一 前言

本文继续基于《线上事故案例集》,进一步深入梳理线上事故缓存使用方面的问题点,重点关注缓存在使用和优化过程中可能出现的问题,旨在为读者提供具有实践指导意义的专业见解与思考。

相较于关系数据库,缓存的采用门槛相对较低。然而,鉴于其主要服务于C端用户,面临着高并发访问、大流量冲击、高昂的存储成本以及对响应速度极为敏感等多重特性,缓存技术的应用同样伴随着显著的技术挑战。

简而言之,虽然引入缓存较为直接,但要充分发挥其效用并妥善管理,则是一项复杂且精细的任务。

二 缓存设计


回到线上事故案例集,缓存设计方面,主要存在下面两个关注点:

  1. 设计阶段预防大Key问题:在系统设计初期,应充分评估并规划数据结构与存储策略,采取诸如数据拆分、分段存储等措施,从根本上预防大Key问题的产生。

场景:建议对缓存Key采用合理的缩写策略,以避免Key的存储空间占用超过其对应的Value,从而确保缓存资源的高效利用。

  1. 运营阶段快速识别大Key:在系统运行过程中,需建立有效的监控与告警机制,通过实时监控Key的大小及访问情况,快速发现并定位潜在的大Key问题。
  2. 优化阶段高效拆分大Key:一旦识别出大Key,应立即进入优化阶段,采用数据重组、分布式存储等技术手段,高效且安全地将大Key拆分为多个小Key,以确保系统的稳定运行和性能优化。

场景:Hash结构在存储小型结构化数据时表现优异。然而,随着数据量的增长,需警惕其可能演变为大Key问题。因此,关键在于准确预判数据量变化,并妥善进行风险管理和控制。

三 缓存过期

  1. 合理设置缓存过期时间:缓存的存活时间应满足业务需求即可,同时必须明确设置过期时间,以避免缓存无限期保留导致的数据陈旧问题。
  2. 确保多数据源数据一致性:在涉及多个数据源的应用场景中,需严格审查数据一致性处理机制,确保数据的准确性和一致性。
  3. 调整缓存过期时间需考虑历史数据兼容性:若中途需要调整缓存的过期时间,务必全面评估对历史数据的影响,确保新旧逻辑间的无缝衔接,避免数据不一致或访问异常等问题。

四 缓存难点

缓存查询优化策略

  1. 采用批量命令替代循环查询:在进行缓存查询时,应避免在for循环中逐个操作单个key,因为这会导致多次网络往返和缓存服务器的频繁访问,从而显著降低查询效率。相反,建议使用批量命令(如Redis中的mget)来一次性获取多个key的值,这样可以大幅减少网络开销和查询时间。
  2. 规避可能导致缓存阻塞的命令:某些缓存命令,如keys和hmgetall,在执行时可能会扫描整个缓存数据集或返回大量数据,这不仅会消耗大量系统资源,还可能导致缓存服务器阻塞,影响其他请求的响应速度。因此,在设计和实现缓存查询时,应尽量避免使用这些可能导致性能瓶颈的命令。如果确实需要获取大量数据,可以考虑采用分页查询、逐步加载等策略来减轻缓存服务器的负担。

缓存穿透问题优化策略

  1. 实施流量控制与分批过期策略:为了防范缓存穿透问题,建议结合流量控制机制,并对缓存数据实施加盐(即添加随机性或唯一标识符)和分批过期处理。这样可以避免大量缓存项在同一时间集中过期,从而有效分散请求压力,减少数据库负载。
  2. 考虑应用启动时缓存刷新异常:在应用程序启动时,如果包含缓存刷新的逻辑,必须充分考虑缓存未能正常加载成功的情形。为此,应设计相应的容错与回退机制,确保在缓存刷新失败时,系统仍能平稳运行,并尽快尝试重新加载缓存数据。

缓存热Key问题应对策略

  1. 增强热Key识别能力:为了有效应对缓存热Key问题,首先需要具备准确识别热Key的能力。这通常涉及对缓存访问数据的持续监控与分析,以识别出那些被频繁访问的Key。通过热Key识别,我们可以更有针对性地制定应对策略。
  2. 采用分片与多级缓存策略,并明确方案选择标准:针对已识别的热Key,我们可以采取分片策略,将热Key分散到多个缓存节点上,以降低单个节点的访问压力。同时,引入多级缓存机制,如结合本地缓存与远程缓存,以进一步提高访问效率。在选择具体的热Key解决方案时,需综合考虑系统的并发量、访问模式、数据一致性要求以及成本预算等因素,确保所选方案既能有效缓解热Key问题,又能满足系统的整体性能需求。

五 总结

本文基于《线上事故案例集》深入探讨了缓存使用中的问题,指出尽管缓存应用门槛低,但高并发、大流量等特性使其面临技术挑战。缓存设计需预防大Key问题,包括设计阶段的预防、运营阶段的快速识别和优化阶段的拆分。缓存过期方面,应合理设置过期时间,确保数据一致性,并考虑历史数据兼容性。缓存难点包括查询优化、穿透问题和热Key问题。查询优化建议采用批量命令替代循环查询,规避阻塞命令。穿透问题可通过流量控制与分批过期策略防范。热Key问题则需增强识别能力,采用分片与多级缓存策略,并明确方案选择标准。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/56376.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

学习如何将Spring Boot Jar包注册成Windows服务

​ 博客主页: 南来_北往 系列专栏:Spring Boot实战 在开发Spring Boot应用时,我们通常通过命令行或IDE手动启动项目。然而,在生产环境中,为了提升效率和稳定性,我们更希望应用能够自动启动,并且作为Wi…

OpenCV高级图形用户界面(5)获取指定滑动条(trackbar)的当前位置函数getTrackbarPos()的使用

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 返回滑动条的位置。 该函数返回指定滑动条的当前位置。 cv::getTrackbarPos() 函数用于获取指定滑动条(trackbar)的当前…

【H2O2|全栈】JS入门知识(二)

目录 JS 前言 准备工作 运算符 算数运算符 比较运算符 自增、自减运算符 逻辑运算符 运算符的优先级 分支语句 if-else语句 switch语句 三元表达式 结束语 JS 前言 本系列博客主要分享JavaScript的基础语法知识,本期为第二期,包含一些简…

Linux基础命令系列一小白必掌握

前言 为了有一个大概的复习框架所以先给出总的思维导图,如图: 目录 1.Linux的目录结构?Linux命令与命令行是什么?Linux命令基础格式? 2.ls命令 3.cd命令 4.mkdir命令 5.touch命令 6.cat命令 7.cp命令 8.mv命令…

大数据开发电脑千元配置清单

大数据开发电脑配置清单 电脑型号HUANANZHI 台式电脑操作系统Windows 11 专业版 64位(Version 23H2 / DirectX 12)处理器英特尔 Xeon(至强) E5-2673 v3 2.40GHz主板HUANANZHI X99-P4T(P55 芯片组)显卡NVIDIA GeForce GT 610 ( 2…

深入剖析递归算法:原理、特点、应用与优化策略

在上一篇文章👉【剖析十大经典二叉树题目】中,运用到了大量的递归算法,故本文将解析递归算法。 目录 💯引言 💯递归算法的定义与原理 ⭐定义 ⭐原理 💯递归算法的特点 ⭐简洁性 ⭐可读性 ⭐通用性 …

linux下编译鸿蒙版boost库

我在上一篇文章中介绍了curl和openssl的编译方式(linux下编译鸿蒙版curl、openssl-CSDN博客),这篇再介绍一下boost库的编译。 一.环境准备 1.鸿蒙NDK 下载安装方式可以参考上篇文章,完毕后NDK的路径为:/home/ubuntu…

Java学习Day47:戏耍黑手道人(项目记录)

1.项目背景 2.技术选择 3.环境搭建 1.创建空项目 创建health_parent父文件用来控制依赖,类型为quickStart 打包方式为,pom:用在父级工程或聚合工程中,用来做jar包的版本控制,必须指明这个聚合工程的打包方式为pom。…

信息抽取数据集处理——RAMS

引言 RAMS数据集(RAMS:Richly Annotated Multilingual Schema-guided Event Structure)由约翰斯霍普金斯大学于2020年发布,是一个以新闻为基础的事件抽取数据集。它标注了9,124个事件,涵盖了139种不同的事件类型和65种…

服务端技术架构演进之路

服务端技术架构演进之路 目录 服务端技术架构演进之路 0.架构中常见概念及理解 1.单机架构 2.应用数据分离架构 3.应用服务器集群架构 4.读写分离/主从分离架构 5.冷热分离架构 6.垂直分库架构 7.微服务架构 8.容器编排架构 本文以一个 " 电子商务 " 应…

Android 未来可能支持 Linux 应用,Linux 终端可能登陆 Android 平台

近日,根据 android authority 的消息,Google 正在开发适用于 Android 的 Linux 终端应用,而终端应用可以通过开发人员选项启用,并将 Debian 安装在虚拟机中。 在几周前,Google 的工程师开始为 Android 开发新的 Termi…

应急实战(10):Linux后门帐号

目录 1. Prepare 1.1 部署安全设备 2. Detect 2.1 设备产生告警 3. Contain 4. Eradicate 4.1 删除后门帐号 4.2 加固弱口令帐号 5. Recover 5.1 恢复帐号登录 6. Follow-Up 6.1 修改登录端口 6.2 开启命令记录 1. Prepare 1.1 部署安全设备 部署主机安全产品:牧云H…

自定义多级联动选择器指南(uni-app)

多端支持:可以运行在H5、APP、微信小程序还是支付宝小程序,都可以轻松使用改组件。自定义配置:您可以根据需要配置选择器的级数,使其适应不同的数据结构和用例。无限级联:此组件支持无限级联选择,使您能够创…

类和对象(完结)

文章目录 一对构造函数的补充1初始化链表2必须在初始化链表定义的情况3对于在类中成员变量初始化的总结4总结二类型转换1格式2规则三static成员1规则四友元1定义2 两种例子五匿名对象1格式2特殊情况 一对构造函数的补充 1初始化链表 结构:类名(参数&…

数字化转型:解决项目管理困境的新路径

在当今这个飞速发展的数字化时代,企业如同在汹涌波涛中航行的船只,承受着前所未有的变革压力。而作为企业运作核心环节之一的项目管理,同样面临着巨大的挑战。 传统项目管理模式中的种种问题,犹如顽固的礁石,阻碍着项目…

Shiro认证 -- (Authentication)

Apache Shiro是一个功能强大的Java安全框架,提供了身份验证(Authentication)、授权(Authorization)、加密(Cryptography)、会话管理(Session Management)、与Web集成、缓…

Linux执行source /etc/profile命令报错:权限不够问(已解决)

1.问题 明明以root账号登录Linux系统,在终端执行命令source /etc/profile时 显示权限不够 如下图: 2.问题原因 可能在编辑 /etc/profile 这个文件时不小心把开头的 井号 ‘#’ 给删除了 如图: 这里一定要有# 3.解决办法 进入/etc/pro…

扫雷(C 语言)

目录 一、游戏设计分析二、各个步骤的代码实现1. 游戏菜单界面的实现2. 游戏初始化3. 开始扫雷 三、完整代码四、总结 一、游戏设计分析 本次设计的扫雷游戏是展示一个 9 * 9 的棋盘,然后输入坐标进行判断,若是雷,则游戏结束,否则…

字节内部整理的软件测试面试题(含文档)

常见的面试题汇总 1、你做了几年的测试、自动化测试,说一下 selenium 的原理是什么? 我做了五年的测试,1年的自动化测试; selenium 它是用 http 协议来连接 webdriver ,客户端可以使用 Java 或者 Python 各种编程语言…

【网络安全】未加密的F5 BIG-IP Cookie存在严重漏洞将被攻击者利用

文章目录 未加密的F5 BIG-IP Cookie存在严重漏洞将被攻击者利用F5 会话 Cookie推荐阅读 未加密的F5 BIG-IP Cookie存在严重漏洞将被攻击者利用 网络安全和基础设施安全局发布最新警告称,已观察到威胁行为者滥用未加密的持久性F5 BIG-IP Cookie来识别并针对目标网络…