MySQL和mq一致性,Mysql与Redis一致性问题

缓存一致性产生背景

如果每次频繁的访问数据库的时候,虽然查询底层使用B+树索引 但还会做磁盘的IO操作,可能会对数据库的压力非常大。

d3f18cd09c1eaa51a32e918de77e2037.png

所以为了能够减轻数据库的访问压力,会使用一些缓存实现减轻数据库的压力。

比如 Redis、es、ehcache、oscache等。

8648cc03b821f03b14ec90f8cdef4e1b.png

多级缓存架构设计

首先在jvm内置缓存ehcache、oscache底层基于HashMap实现 ,如果服务集群的情况下数据同步采用rmi实现性能可能不是很好。

补充:rmi就是 jvm与jvm之间通讯

设计模式采用装饰模式。

Mysql与Redis缓存一致性原理

Mysql与nosql之间数据一致性问题:

Mysql与redis/es/mongdb 都是相同的。

(相同key)

第一次查询:

1. 查询二级缓存Redis,redis如果没有该缓存数据,则开始查询mysql;

2. 在查询mysql,如果mysql中存在数据的情况下,就将该数据缓存到Redis中

第二次查询:

1. 查询到redis中如果存在该数据的情况下,则不会查询mysql。

能够减轻数据库访问压力。

重点解决方案:

1. 对mysql增量做写的操作的时候,都会同步到Redis。

如果insetdb ,insetredis

如果update ,将redis中该key删除。---懒加载。

如果update ,直接修改redis。---增量同步。

如果delete ,将redis中该key删除。---增量同步。

如果数据库数据发生变化,如何同步给Redis

1. 直接清除Redis缓存;(适合于小项目)基于接口形式实现同步

2. 基于MQ形式异步同步 (适合于中小项目)基于接口形式实现同步

3. 基于canal+mq异步同步 (推荐)基于源头binlog二进制文件实现同步。

基于canal同步的原理:

1. Canal服务器端伪装成一个mysql从节点,订阅mysql主节点的binlog二进制文件

2. Canal服务器端收到binlog文件,就会转换成json的格式发送给Canal客户端。

3. Canal客户端会将该数据同步给nosql缓存 redis

流程:

第一次请求流程:

1. 先请求查询redis缓存,如果redis缓存没有数据则查询mysql数据库,如果mysql数据库存在数据,则将该数据缓存到Redis中。

第一次请求流程:

2. 先请求查询Redis缓存,如果redis缓存存在数据的话,则不会查询mysql数据

从而实现减轻数据库访问压力。

优化:Canal接收到mysqlbinlog文件,将该消息缓存到kafka中,再开启多个消费者

异步地获取消息同步到Redis中,能够提高同步的效率。

如果数据库数据发生变化,如何同步给Redis

方案1:直接删除Redis缓存;

方案2: 基于MQ异步同步更新

方案3: 基于canal订阅binlog同步

http://127.0.0.1:8081/insert?name=mayikt&age=22

http://127.0.0.1:8081/getUser?id=6

http://127.0.0.1:8081/updateUser?userId=9&name=meite6666

基于canal订阅binlog同步 实现原理

1. canal服务器模拟伪装成mysql从节点,订阅mysql 主节点的binlog文件;

2. 当mysql主节点binlog文件发生变化的时候,会通知给canal服务器端;

3. Canal服务器端在将该binlog文件转换为json格式数据发送给canal客户端监听者。

4. canal客户端,在将该数据异步写入到redis中;

a70fd81f995759ccf60006795b5c06a6.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/244363.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python boolean_Python成为专业人士笔记-Boolean 布尔操作符研究

专业人士笔记”系列目录:创帆云:Python成为专业人士笔记--强烈建议收藏!每日持续更新!​zhuanlan.zhihu.com‘and’ 和 ‘or’ 并不一定返回一个布尔值当使用or时,如果为真,它将返回表达式中的第一个值&…

python八大选择排序_python之八大排序方法

排序方法 平均情况 最好情况 最坏情况 辅助空间 稳定性冒泡排序 O(n^2) O(n) O(n^2) O(1) 稳定选择排序 O(n^2) O(n^2) O(n^2) O(1) 不稳定插入…

int arr 13 java,java学习13 - 数组的定义、操作、异常、二维数组

续java学习12:1、数组,引用类型变量,保存数据实际是保存的数组的首地址2、定义数组容器三要素,数据类型,大小(长度),数组名3、数组的定义公式一:数据类型[] 数组名 new 数据类型[元素个数或数组长度]4、数…

clustalw序列比对_序列比对(二)

Homology is the central concept for all of biology.——David Wake. Science, 1994前言正如前面引用的这句话,同源性是生物学中的核心问题。研究序列的同源性问题,就要用到序列比对的工具,上一篇笔记简单介绍了序列比对的原理,…

java js引擎,Java8 Nashorn JavaScript引擎

使用Java8,Nashorn大大提高了JavaScript 引擎引入,以取代现有的Nashorn Java脚本引擎。Nashorn提供2至10倍更好的性能,因为它直接编译代码在存储器,并传递到字节码JVM.Nashorn使用invokedynamics函数,在Java7引入以提高…

pr渲染程序选哪个_PR的bug你遇到过几个?

哈喽 大家好呀 我是K同学!对于Pr的用户来讲,Pr有很多BUG让人很奔溃,不仅Pr奔溃了,人都奔溃了作为Pr的老用户,今天我就来盘点下,我遇到过Pr的变态BUG第一个Pr不支持微软输出法这是我使用Pr遇到的第一个BUG&a…

java model 中文乱码,java传值乱码解决方法

在做JavaWeb时,总是时不时的会遇到中文传值乱码问题,在你把所有”ISO-8859-1”改成“UTF-8”发现还是没什么用。于是我就找到了一个百试百灵的方法(至少目前我是),就是强行转换成“UTF-8”编码。看代码:RequestMapping("/suc…

检查一列数据的重复项 vba_提取重复值,但字典不是重点。

本例的问题描述:1:源数据与提取的结果在同一个工作表里面;2:提取K、M、O、Q列里面不重复的数据(注意,数据列里面有空白的行);3:把提取出来的结果放在A2单元格的下方,不能有空白行&am…

swiper怎么让不会回弹,为什么我的滚动条拉上拉下都会回弹呢?

其它都是正常的,就是拉上去拉下来自己又回弹回去了,拉不到最底部也拉不到最顶部,拉来拉去都会是这样的category/index.vueimport CategoryHeader from "./header";import CategoryTab from "./tab";import CategoryConte…

异构服务器 微服务_Spring Cloud Alibaba Sidecar 多语言微服务异构

Spring Cloud Alibaba Sidecar 介绍自 Spring Cloud Alibaba 2.1.1 版本后增加了 spring-cloud-alibaba-sidecar 模块作为作为一个代理的服务来间接性的让其他语言可以使用spring cloud alibaba等相关组件。通过与网关的来进行路由的映射,从而可以做到服务的获取&am…

采用的php cms分校站点 打开特别慢,phpcms v9 打开网站特别慢 增加数据库缓存方法...

SET GLOBAL QUERY_CACHE_SIZE80000000;设置好查询缓存的大小就行了。比如设置个20MB.SET GLOBAL QUERY_CACHE_SIZE20000000;mysql会将查询SQL和结果集存到缓存中,等下次遇到相同的SQL语句时,结果集从缓存中读取。1.设置缓存大小时,至少给它40…

python3 console input_Python3 tkinter基础 Button command 单击按钮 在console中打印文本

Python : 3.7.0OS : Ubuntu 18.04.1 LTSIDE : PyCharm 2018.2.4Conda : 4.5.11typesetting : Markdowncode"""Author : 行初心Date : 18-10-1Blog : www.cnblogs.com/xingchuxinGitee : gitee.com/zhichengjiu"""import tkinter as tk# 面向对象…

matlab教程点语言,编程语言 / Matlab教程_电脑教程学习网( 5 )

逐次超松弛方法(SOR方法)求解方程组日期:2014-09-26 21:03:34点击:370好评:0#includeiostream.h//逐次超松弛方法(SOR方法)求解方程组 #includemath.h #includeiomanip.h #define n 3 void main() { double A[n][n]{{5,2,1},{-1,4,2},{2,-3,1…

python中timedelta_Python – 使用时间戳,timedelta的日期和时间比较

我花了过去一小时挖掘Python文档和许多SO问题;请原谅我是另一个Python新手被Python时代的谜团所困扰.我的目标是确定当前时间和某个日期/时间之间的差异,而不管过去/将来,并返回可执行的格式,如秒.例如,如果输入是下午2:00和下午4:00(现在),我想要说“-7200”,表示事件发生在两…

php hex2bin nodejs,Nodejs Serialport文档翻译

版本号:Serialport5.0.0-beta3本文链接想象一个世界,你可以在那写javascript来控制搅拌机,灯,安全系统或者甚至是机器人。是的,我说的是机器人。那个世界就是这儿,现在使用node serialport。它提供一个非常简单的接口所…

sql 以a开头的所有记录_SQL开发与数据库管理笔记

简介: SQL开发与数据库管理笔记,看过的都说好!原创: 丶平凡世界文章链接:https://mp.weixin.qq.com/s/Y9TmoHOyh7To7jUrMulvEw一、开发管理篇1.按姓氏笔画排序Select * From TableNameOrder By CustomerNameCollate Ch…

python apscheduler执行_Python下定时任务框架APScheduler的使用

今天准备实现一个功能需要用到定时执行任务,所以就看到了Python的一个定时任务框架APScheduler,试了一下感觉还不错。1.APScheduler简介:APScheduler是Python的一个定时任务框架,可以很方便的满足用户定时执行或者周期执行任务的需…

oracle trace发起用户,Oracle 使用TRACE进行SQL性能分析

设置sql_trace参数为true会对整个实例进行跟踪,包括所有进程:用户进程和后台进程,会造成比较严重的性能问题,生产环境一定要慎设置sql_trace参数为true会对整个实例进行跟踪,包括所有进程:用户进程和后台进…

python画二次函数图像的顶点_画二次函数图像的步骤

画二次函数图像的步骤2019-11-14 09:26:25文/叶丹画二次函数图像的步骤:五点法是选五个极其重要的点,分别为顶点、与x轴的交点、与y轴的交点及其关于对称轴的对称点,然后根据这五点作图。二次函数的画法五点法五点草图法又被叫做五点作图法是…

php rss xml,php 一个完全面向对象的RSS/XML类的简单示例

这篇文章主要为大家详细介绍了php 一个完全面向对象的RSS/XML类的简单示例,具有一定的参考价值,可以用来参考一下。感兴趣的小伙伴,下面一起跟随512笔记的小编罗X来看看吧。经测试代码如下:/*** RSS/XML类** param* arrange (512.…