【MySQL】主从同步原理、分库分表

主从同步原理

1. 主从同步原理

在这里插入图片描述

在这里插入图片描述

MySQL 经常先把命令拷入硬盘的日志,再执行日志的命令,这样的好处:

  1. 日志的位置固定,拷入硬盘的开销不大;
  2. 将命令先准备好,而不是边读边执行,性能更好,不容易出错;
  3. 日志可以在合适的时机执行,还可以分发给其他的节点,这样同一份命令由一个节点读取即可;
  4. 宕机重启时,relay log 可以从 binlog 对应的位置开始读,从 relay log 对应的位置开始写入;

不是复用 redo log,职责和生命周期不同!

回答:

  • MySQL 主从复制的核心就是主节点的二进制日志 binlog (DDL 和 DML 语句的记录);
  • 主库在事务提交时,会把数据变更记录在二进制日志文件 binlog 中;
  • 从库读取主库的二进制日志文件 binlog,写入到从库的中继日志 relay log;
  • 从库重做中继日志中的事件,将改变反映它自己的数据。

分库分表

1. 你们项目用到过分库分表吗?

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

特点:

  1. 按照业务对数据进行分级管理、维护、监控、扩展;
  2. 在高并发下,提高磁盘 IO 和网络数据量的连接数;(不同业务可以连接不同的数据库,对应的数据库磁盘利用率提高,提高数据量的连接数,因为不会因为别的业务的繁忙而不能连接此数据库)

在这里插入图片描述

特点:

  1. 冷热数据分离;
  2. 减少 IO 过度争抢,两表互不影响(处理外键约束);
    在这里插入图片描述

特点:

  1. 很直接的方式解决了单库大数量,高并发的性能瓶颈问题;
  2. 均匀的分库提高了系统的稳定性和可用性;

路由规则:

  • 根据 id 节点取模;
  • 根据 id 节点进行范围路由,节点1(1 - 100w),节点2(100w - 200w);

在这里插入图片描述

特点:

  1. 优化单一表数据量过大而产生的性能问题;
  2. 避免 IO 争抢并减少锁数据行的几率;

新的问题和新的技术:

在这里插入图片描述

分库之后的问题:

  • 分布式事务一致性问题;
  • 跨节点关联查询;
  • 跨节点分页、排序函数;
  • 主键避重;

在这里插入图片描述

分库分表中间件:

  • mycat;
  • sharding-sphere

至于中间件怎么实现与解决的感兴趣再了解,知道这个技术可以处理即可,交给它吧~

回答:

  • 业务介绍
    1. 根据自己的简历上的项目,像一个数据量大的较大业务场景(请求较多或者业务累计量大)
    2. 达到了什么样的量级(单表 1000w 或者超过 20G)
  • 具体拆分策略
    1. 水平分库,将一个库的数据拆分到多个库中,解决海量数据存储和高并发的问题;
    2. 水平分库,解决单库存储和性能的问题;
    3. 垂直分库,根据业务进行拆分,高并发下提高磁盘 IO 和网络连接数;
    4. 垂直分表,冷热数据分离,多表基本互不影响;
  • 基本上是以垂直分库和垂直分表为主;如果业务需要,再在垂直拆分的基础上做水平拆分;
    发下提高磁盘 IO 和网络连接数;**
    4. 垂直分表,冷热数据分离,多表基本互不影响;
  • 基本上是以垂直分库和垂直分表为主;如果业务需要,再在垂直拆分的基础上做水平拆分;
  • 而我觉得还是以垂直分库、垂直分表根据适合此业务场景;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/708561.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PyTorch深度学习工具箱整理总结

一、pytorch 简介 Pytorch是torch的python版本,是由Facebook开源的神经网络框架,专门针对 GPU 加速的深度神经网络(DNN)编程。Torch 是一个经典的对多维矩阵数据进行操作的张量(tensor )库,在机…

Docker挂载镜像到本地(日常记录)

Docker挂载镜像到本地 1、进入jar包文件夹 cd docker-publish/2、编写DockFile文件 #使用Jdk8环境作为基础镜像,如果镜像不在本地则会从DockerHub进行下载 #FROM openjdk:8-jdk-alpine FROM openjdk:11 #VOLUME 指定了临时文件目录为/tmp。其效果是在主机 /var/l…

如何在 Angular 中使用 NgTemplateOutlet 创建可重用组件

简介 单一职责原则是指应用程序的各个部分应该只有一个目的。遵循这个原则可以使您的 Angular 应用程序更容易测试和开发。 在 Angular 中,使用 NgTemplateOutlet 而不是创建特定组件,可以使组件在不修改组件本身的情况下轻松修改为各种用例。 在本文…

前端面试题2

01.实现一个左侧固定,右侧自适应的布局 ​ flex布局, 左边设置宽, 右边flex: 1 就可以实现 02.说一下对 BFC 的理解 1.什么是BFC: 块级格式上下文, BFC不是一种技术,也不是一个框架,而是我们浏览器自带的一种渲染模式 2.如何使用BFC&…

10 种3D 建模技术

在本文中,我将列出 10 种不同类型的 3D 建模。也许可以了解下一个项目将走向何方,或者你可能会像我一样惊讶,究竟有多少 3D 被用作以多种方式进行可视化的工具。这些是我们将讨论和探索的建模类型: 盒子造型多边形建模Nurbs 和曲…

Google Genie vs OpenAI Sora:互动世界模型之争,谁将引领AI的未来?

近年来,生成式AI异军突起,从文字到图像,再到视频,它们的创造力令人瞩目。 但今天,我们要介绍Google Genie,不仅仅满足于生成静态的内容。 它能把单一的图片提示,变成一个你可以亲身参与的互动…

【系统分析师】-软件工程

1、信息系统的生命周期 1、四阶段划分 立项阶段:企业全局、形成概念、需求分析。包含【系统分析师】-系统规划-CSDN博客开发阶段:总体规划--系统分析--设计--实施--验收运维阶段:通过验收、移交之后消亡阶段:更新改造、功能扩展…

K8S部署postgresql

(作者:陈玓玏) 一、前置条件 已部署k8s,服务端版本为1.21.14 二、部署postgresql 拉取镜像,docker pull postgres,不指定版本,自动从docker hub拉取最新版本;配置configmap&…

【UE 材质】制作加载图案

目录 效果 步骤 一、形成圆环 二、使圆环转起来 效果 步骤 一、形成圆环 新建一个材质,这里命名为“M_Loading” 打开“M_Loading”,设置混合模式为半透明,着色模型为无光照,勾选双面 下面开始先创建一个圆环,将…

OpenHarmony Docker移植实践

Docker简介 从操作系统诞生之日起,虚拟化技术就不断的演进与发展,结合目前云原生的发展态势,容器无疑是其中的重要一环。 Docker是一个开源的软件项目,可以在Linux操作系统上提供一层额外的抽象,让用户程序部署在一个…

[CSS]文字旁边的竖线以及布局知识

场景:文字前面常见加竖线。 .center-title { 常见内容color: #FFF;font-family: "Source Han Sans CN";font-size: 50px;font-style: normal;font-weight: 700;line-height: normal;position: relative; 要定位left: 16px; 这里是想拉开间距margin-b…

Redisson限流算法

引入依赖 <dependency><groupId>org.redisson</groupId><artifactId>redisson-spring-boot-starter</artifactId><version>3.12.3</version> </dependency>建议版本使用3.15.5以上 使用 这边写了一个demo示例&#xff0c;定…

Vue+Flask电商后台管理系统

在这个项目中&#xff0c;我们将结合Vue.js前端框架和python后端框架Flask&#xff0c;打造一个功能强大、易于使用的电商后台管理系统 项目演示视频&#xff1a; VueFlask项目 目录 前端环境&#xff08;Vue.js&#xff09;&#xff1a; 后端环境&#xff08;python-Flask&…

Mysql REGEXP正则运算符

# 邮箱h开头 mysql> select email form xxx where email REGEXP ^h;

改进的yolo交通标志tt100k数据集目标检测(代码+原理+毕设可用)

YOLO TT100K: 基于YOLO训练的交通标志检测模型 在原始代码基础上&#xff1a; 修改数据加载类&#xff0c;支持CoCo格式&#xff08;使用cocoapi&#xff09;&#xff1b;修改数据增强&#xff1b;validation增加mAP计算&#xff1b;修改anchor&#xff1b; 注: 实验开启weig…

STM32F4XX - GPIO设置

一个简单的初始化代码如下&#xff1a; GPIO_InitTypeDef GPIO_InitStructure;RCC_AHB1PeriphClockCmd(RCC_AHB1Periph_GPIOA, ENABLE);//使能GPIOB时钟GPIO_InitStructure.GPIO_Pin Buzzer_PIN;//LED对应IO口GPIO_InitStructure.GPIO_Mode GPIO_Mode_OUT;//普通输出模式GP…

YOLOv9 最简训练教学!

一、代码及论文链接&#xff1a; 代码链接&#xff1a;GitHub - WongKinYiu/yolov9: Implementation of paper - YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information 论文链接&#xff1a;https://arxiv.org/abs/2402.13616 二、使用步骤 1…

Ruoyi框架使用过程碰到的问题——请求地址‘/***/***‘,认证失败‘未能读取到有效Token‘,无法访问系统资源

问题&#xff1a;本人使用Ruoyi框架表单构建器自动生成的Vue表单文件&#xff0c;使用el-upload的自动上传或者this.$refs[upload].submit()函数都报错认证失败未能读取到有效Token,无法访问系统资源 了解本框架的或多或少了解其axios请求统一抽取到utils/require.js中&#x…

淘宝商品数据爬取商品信息采集数据分析API接口详细步骤展示(含测试链接)

01 数据采集 数据采集是数据可视化分析的第一步&#xff0c;也是最基础的一步&#xff0c;数据采集的数量和质量越高&#xff0c;后面分析的准确的也就越高&#xff0c;我们来看一下淘宝网的数据该如何爬取。点此获取淘宝API测试key&密钥 淘宝网站是一个动态加载的网站&a…

前端css、js、bootstrap、vue2.x、ajax查漏补缺(1)

学到的总是忘&#xff0c;遇到了就随手过来补一下 1.【JS】innerHTML innerHTML属性允许更改HTML元素的内容可以解析HTML标签 2.【CSS】display: none 设置元素不可见&#xff0c;不占空间&#xff0c;约等于将元素删除一样&#xff0c;只是源代码还存在 3.【CSS】行内样式 4.【…