深入理解分布式系统中的缓存架构(下)

转载自   深入理解分布式系统中的缓存架构(下)

承接上一篇《理解分布式系统中的缓存架构(上)》,介绍了大型分布式系统中缓存的相关理论,常见的缓存组件以及应用场景,本文主要介绍缓存架构设计常见问题以及解决方案,业界案例。

 

分层缓存架构设计

分层缓存架构

分层缓存架构请求过程

 

缓存带来的复杂度问题

常见的问题主要包括

  • 数据一致性

  • 缓存穿透

  • 缓存雪崩

  • 缓存高可用

  • 缓存热点
    下面逐一介绍分析这些问题以及相应的解决方案。

数据一致性

因为缓存属于持久化数据的一个副本,因此不可避免的会出现数据不一致问题。导致脏读或读不到数据的情况。数据不一致,一般是因为网络不稳定或节点故障导致

问题出现的常见3个场景以及解决方案:

数据一致性问题场景及解决

缓存穿透

缓存一般是Key,value方式存在,当某一个Key不存在时会查询数据库,假如这个Key,一直不存在,则会频繁的请求数据库,对数据库造成访问压力。

主要解决方案

  • 对结果为空的数据也进行缓存,当此key有数据后,清理缓存

  • 一定不存在的key,采用布隆过滤器,建立一个大的Bitmap中,查询时通过该bitmap过滤

缓存雪崩

缓存高可用

缓存是否高可用,需要根据实际的场景而定,并不是所有业务都要求缓存高可用,需要结合具体业务,具体情况进行方案设计,例如临界点是是否对后端的数据库造成影响。

主要解决方案:

  • 分布式:实现数据的海量缓存

  • 复制:实现缓存数据节点的高可用

缓存热点

一些特别热点的数据,高并发访问同一份缓存数据,导致缓存服务器压力过大。

解决:复制多份缓存副本,把请求分散到多个缓存服务器上,减轻缓存热点导致的单台缓存服务器压力

 

 

业界案例

案例主要参考新浪微博陈波的技术分享

技术挑战

Feed缓存架构图

架构特点

新浪微博把SSD应用在分布式缓存场景中,将传统的Redis/MC + Mysql方式,扩展为 Redis/MC + SSD Cache + Mysql方式,SSD Cache作为L2缓存使用,第一降低了MC/Redis成本过高,容量小的问题,也解决了穿透DB带来的数据库访问压力

主要在数据架构、性能、储存成本、服务化等不同方面进行了优化增强

 

架构关注点

参考:

从0开始学架构 —— Alibaba 李运华

Java核心技术36讲—— Oracle 杨晓峰

微博Cache架构设计实践 —— 陈波

缓存在大型分布式系统中的最佳应用 —— 侯忠好

缓存,并发更新的大坑? —— 58沈剑

分布式缓存设计—— crossoverJie

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/324853.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【jzoj】2018.2.1 NOIP普及组——D组模拟赛

前言 懒… 正题 题1:牛车(jzoj1390) 有m条公路,有n头牛各开一辆车,如果有x辆车开在它前门,它速度就会降低d*x,路上速度至少为l。求有多少头牛可以上路。 输入 第1行: 4个空格隔开的整数N,M,…

JSP的四大作用域和九大内置对象

JSP的四大作用域和九大内置对象 https://wenku.baidu.com/view/a0974190152ded630b1c59eef8c75fbfc77d949d?ivk_sa1023194j&bfetypenew

事件总线知多少(2)

1.引言 之前的一篇文章事件总线知多少(1),介绍了什么是事件总线,并通过发布订阅模式一步一步的分析重构,形成了事件总线的Alpha版本,这篇文章也得到了大家的肯定和积极的反馈和建议,在此谢谢大…

记录程序人生2020.8.11

1.晚休的时间总是短暂的,甚至你都没有来得及闭眼呢就需要将它睁开。上眼皮与下眼皮一直恋恋不舍的分开,天花板渐渐的呈现出来,该起了! 2.5点一刻准时坐在外面的水泥台阶上,飞速打开屏幕中的背单词软件,%……

DDD理论学习系列(4)-- 领域模型

1.引言 我们还是先来拆词理解,领域模型可以拆为“领域”和“模型”二词。 领域:按照我们之前的文章的理解,DDD中的领域是指软件系统要解决的问题,如我们的办公设备公众号在线商城就是为了解决电商问题,对应的就是电商…

jzoj1882-亲戚【并查集】

题目 有n个人&#xff0c;已知m种亲戚关系&#xff0c;如果A和B是亲戚&#xff0c;B和C也是亲戚&#xff0c;那么A和C也是亲戚。接下来求一些人是否为亲戚。 Input 输入由两部分组成。 第一部分以N&#xff0c;M开始。N为问题涉及的人的个数,M表示已经知道M对亲戚关1<N,…

Ajax判断用户名是否可用

Ajax的简介 01展示效果并认识Ajax 方案1&#xff1a;传统方案 提交表单&#xff0c;服务器端处理&#xff0c;错误后跳转到注册页面&#xff0c;同时显示错误信息。返回客户端的是整个注册页面。 缺点&#xff1a;较大的网络流量&#xff0c;用户体验不好 方案2&#xff1a;使…

学习分布式不得不会的ACP理论

转载自 学习分布式不得不会的ACP理论 2000年7月&#xff0c;加州大学伯克利分校的Eric Brewer教授在ACM PODC会议上提出CAP猜想。2年后&#xff0c;麻省理工学院的Seth Gilbert和Nancy Lynch从理论上证明了CAP。之后&#xff0c;CAP理论正式成为分布式计算领域的公认定理。 无…

浅谈我的读书史

点击上方蓝字关注我们本文是【雄雄的小课堂】原创的第 137 篇文章昨日晚间&#xff0c;一个朋友突然问我&#xff1a;“读书真的会有所收获吗&#xff1f;”“读书&#xff0c;真的会改变一个人吗&#xff1f;”刚看到这个问题时&#xff0c;我有点愕然&#xff0c;想着为啥会突…

.NetCore+Jexus代理+Redis模拟秒杀商品活动

开篇叙 &#xff0c;顺手点个推荐也不错&#xff1b; a. 秒杀流程 b. 封装StackExchange.Redis的使用类 c. Ubuntu16.04上使用Jexus搭建代理完成分布式部署 d. NetCore写实时监控队列服务 秒杀架构设计图︿(&#xffe3;︶&#xffe3;)︿三幅 1. 一般业务性架构 2. 后端…

jzoj1373-食物链【并查集】

题目 有3种动物&#xff0c;有n个动物&#xff0c;m种说法。 1&#xff09; 当前的话与前面的某些真的话冲突&#xff0c;就是假话&#xff1b; 2&#xff09; 当前的话中X或Y比N大&#xff0c;就是假话&#xff1b; 3&#xff09; 当前的话表示X吃X&#xff0c;就是假话。…

Ajax实现二级联动

ajax02.jsp <% page contentType"text/html;charsetUTF-8" language"java" %> <html> <head><title>二级联动</title><base href"<%request.getContextPath()"/"%>"><script type"…

如何快速搭建一个免费的,无限流量的Blog

转载自 如何快速搭建一个免费的&#xff0c;无限流量的Blog 喜欢写Blog的人&#xff0c;会经历三个阶段。 第一阶段&#xff0c;刚接触Blog&#xff0c;觉得很新鲜&#xff0c;试着选择一个免费空间来写。 第二阶段&#xff0c;发现免费空间限制太多&#xff0c;就自己购买域…

切记!构造函数里面别一定不要初始化其他类,踩过坑的都知道

点击上方蓝色关注我们&#xff01;先来看看什么是构造函数&#xff08;方法&#xff09;&#xff1a;是一种特殊的方法&#xff0c;特殊之处就在于它没有返回类型&#xff0c;void也不可以有。且方法名与类名完全相同。主要是用来创建对象时初始化对象&#xff0c;也就是为对象…

线程安全问题解决

方式一(同步代码块) synchronized(同步监视器){ //需要被同步的代码 } 说明&#xff1a;1.操作共享数据的代码&#xff0c;即为需要被同步的代码。 -->不能包含代码多了&#xff0c;也不能包含代码少了。 2.共享数据&#xff1a;多个线程共同操作的变量。比如&#xff1a;…

Chrome DevTools 调研笔记

1 说明 此篇文章针对Chrome DevTools常用功能进行调研分析。描述了每个功能点能实现的功能、应用场景和详细操作。 2 Elements 2.1 功能 检查和实时更新页面的HTML与CSS 在 Elements 面板中检查和实时编辑 DOM 树中的任何元素。在 Styles 窗格中查看和更改应用到任何选…

Ajax响应处理数据的三种格式(主要使用gson包)

Ajax响应处理数据的三种格式 A、普通文本(重点)后台&#xff1a;sevletresp.getWriter().print("Ajax响应成功");前台&#xff1a;jspvar text xhr.responseText;B、JSON格式(重点)1、更改toString方法&#xff08;了解&#xff09;Overridepublic String toString…

网站开发人员应该知道的62件事

转载自 网站开发人员应该知道的62件事 有人在Stack Overflow上发问&#xff0c;动手开发网站之前&#xff0c;需要知道哪些事情&#xff1f; 不出意料地&#xff0c;他得到了一大堆回答。 通常情况下&#xff0c;你需要把所有人的发言从头到尾读一遍。但是&#xff0c;Stac…

jzoj1350-游戏(某C组)【SPFA,图,最短路】

前言 每天一道C组题get√ 题目 有一颗树&#xff0c;只有一个树根&#xff0c;Alice有M1块石头&#xff0c;Bob有M2块石头&#xff0c;Alice先移每个人轮流移动石头&#xff0c;谁先把自己的石头全部移动到树根处就失败了&#xff0c;输出游戏胜者。 Input 输入包含多组测试…