MyCat实现分库分表

两个集群 两个库 两个表

  • 搭建数据库服务
    • 使用docker启动两个mysql 3506 3507
    • 连接MyCat创建两个数据源
    • 连接MyCat创建集群
  • mycat创建逻辑库
  • MyCat创建全局表广播表
  • 创建分片表
    • mycat逻辑库
    • MyCat插入数据
    • mycat查看数据
    • 物理库3506查看数据
    • 物理库3507查看数据
  • ER表
    • 创建ER表
    • mycat插入数据
    • mycat查询数据
    • 物理节点3506数据分布
    • 物理节点3507数据分布
    • join关联查询

相关文档
MyCat安装

搭建数据库服务

使用docker启动两个mysql 3506 3507

version: '3'
services:lx-one:image: mysql:8.0.29restart: alwaysenvironment:MYSQL_ROOT_PASSWORD: 123456MYSQL_PASSWORD: 123456ports:- 3506:3306container_name: "lx-one"lx-two:image: mysql:8.0.29restart: alwaysenvironment:MYSQL_ROOT_PASSWORD: 123456MYSQL_PASSWORD: 123456ports:- 3507:3306container_name: "lx-two"

连接MyCat创建两个数据源

/*+ mycat:createDataSource{
"name":"dw0",
"url":"jdbc:mysql://172.23.85.23:3506",
"user":"root",
"password":"123456"
} */;/*+ mycat:createDataSource{
"name":"dr0",
"url":"jdbc:mysql://172.23.85.23:3506",
"user":"root",
"password":"123456"
} */;/*+ mycat:createDataSource{
"name":"dw1",
"url":"jdbc:mysql://172.23.85.23:3507",
"user":"root",
"password":"123456"
} */;/*+ mycat:createDataSource{
"name":"dr1",
"url":"jdbc:mysql://172.23.85.23:3507",
"user":"root",
"password":"123456"
} */;

在这里插入图片描述

连接MyCat创建集群

/*! mycat:createCluster{"name":"c0","masters":["dw0"],"replicas":["dr0"]}*/;
/*!mycat:createCluster{"name":"c1","masters":["dw1"],"replicas":["dr1"]}*/;

在这里插入图片描述
c0.cluster.json

{"clusterType":"MASTER_SLAVE","heartbeat":{"heartbeatTimeout":1000,"maxRetryCount":3,"minSwitchTimeInterval":300,"showLog":false,"slaveThreshold":0.0},"masters":["dw0"],"maxCon":2000,"name":"c0","readBalanceType":"BALANCE_ALL","replicas":["dr0"],"switchType":"SWITCH"
}

c1.cluster.json

{"clusterType":"MASTER_SLAVE","heartbeat":{"heartbeatTimeout":1000,"maxRetryCount":3,"minSwitchTimeInterval":300,"showLog":false,"slaveThreshold":0.0},"masters":["dw1"],"maxCon":2000,"name":"c1","readBalanceType":"BALANCE_ALL","replicas":["dr1"],"switchType":"SWITCH"
}

集群文件名称规范是 c0.cluster.json 、 c1.cluster.json 、 c2.cluster.json，以此类推，mycat启动的时候才会自动识别集群配置文件。

mycat创建逻辑库

CREATE DATABASE db1

在这里插入图片描述
db1.shema.json内容

{"customTables":{},"globalTables":{},"normalProcedures":{},"normalTables":{},"schemaName":"db1","shardingTables":{},"views":{}
}

MyCat创建全局表广播表

CREATE TABLE db1.`travelrecord` (`id` bigint NOT NULL AUTO_INCREMENT,`user_id` varchar(100) DEFAULT NULL,`traveldate` date DEFAULT NULL,`fee` decimal(10,0) DEFAULT NULL,`days` int DEFAULT NULL,`blob` longblob,PRIMARY KEY (`id`),KEY `id` (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 BROADCAST;

查看db1.schema.json变化

{"customTables":{},"globalTables":{"travelrecord":{"broadcast":[{"targetName":"c1"},{"targetName":"c0"}],"createTableSQL":"CREATE TABLE db1.`travelrecord` (\n\t`id` bigint NOT NULL AUTO_INCREMENT,\n\t`user_id` varchar(100) DEFAULT NULL,\n\t`traveldate` date DEFAULT NULL,\n\t`fee` decimal(10, 0) DEFAULT NULL,\n\t`days` int DEFAULT NULL,\n\t`blob` longblob,\n\tPRIMARY KEY (`id`),\n\tKEY `id` (`id`)\n) BROADCAST ENGINE = InnoDB CHARSET = utf8"}},"normalProcedures":{},"normalTables":{},"schemaName":"db1","shardingTables":{},"views":{}
}

不需要自己指定targetName,创建全局表之后 会自动指定targetName。可能是自动识别了集群配置文件。因为全局表是每个库都要有的。所以mycat需要知道有哪些数据库

两个数据库3506、3507物理表有什么变化呢
在这里插入图片描述
发现两个MySQL服务也都有了db1 库和表

创建分片表

CREATE TABLE db1.orders(
id BIGINT NOT NULL AUTO_INCREMENT,
order_type INT,
customer_id INT,
amount DECIMAL(10,2),
PRIMARY KEY(id),
KEY `id` (`id`)
)ENGINE=INNODB DEFAULT CHARSET=utf8
dbpartition BY mod_hash(customer_id) tbpartition BY mod_hash(customer_id)
tbpartitions 1 dbpartitions 2;

查看db1.schema.json变化

{"customTables":{},"globalTables":{"travelrecord":{"broadcast":[{"targetName":"c1"},{"targetName":"c0"}],"createTableSQL":"CREATE TABLE db1.`travelrecord` (\n\t`id` bigint NOT NULL AUTO_INCREMENT,\n\t`user_id` varchar(100) DEFAULT NULL,\n\t`traveldate` date DEFAULT NULL,\n\t`fee` decimal(10, 0) DEFAULT NULL,\n\t`days` int DEFAULT NULL,\n\t`blob` longblob,\n\tPRIMARY KEY (`id`),\n\tKEY `id` (`id`)\n) BROADCAST ENGINE = InnoDB CHARSET = utf8"}},"normalProcedures":{},"normalTables":{},"schemaName":"db1","shardingTables":{"orders":{"createTableSQL":"CREATE TABLE db1.orders (\n\tid BIGINT NOT NULL AUTO_INCREMENT,\n\torder_type INT,\n\tcustomer_id INT,\n\tamount DECIMAL(10, 2),\n\tPRIMARY KEY (id),\n\tKEY `id` (`id`)\n) ENGINE = INNODB CHARSET = utf8\nDBPARTITION BY mod_hash(customer_id) DBPARTITIONS 2\nTBPARTITION BY mod_hash(customer_id) TBPARTITIONS 1","function":{"properties":{"dbNum":"2","mappingFormat":"c${targetIndex}/db1_${dbIndex}/orders_${index}","tableNum":"1","tableMethod":"mod_hash(customer_id)","storeNum":2,"dbMethod":"mod_hash(customer_id)"}},"shardingIndexTables":{}}},"views":{}
}

文件解释

  • shardingTables ：分片表规则
  • shardingTables.properties： 分片配置
  • dbNum：分库数量
  • dbMethod(customer_id) ：库的分片算法,以及根据的字段
  • tableNum：分表数量
  • tableMethod(customer_id) ：表的分片算法,以及根据的字段

mycat逻辑库

在这里插入图片描述
物理库 两个MySQL 服务也都分了库和表
在这里插入图片描述
为什么出现了db1_0和db1_1

因为在创建表的时候指定了数据库分片规则和数据表的分片规则
dbpartition BY mod_hash(customer_id) tbpartition BY mod_hash(customer_id)
tbpartitions 1 dbpartitions 2;

MyCat插入数据

INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(1,101,100,100100);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(2,101,100,100300);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(3,101,101,120000);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(4,101,101,103000);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(5,102,101,100400);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(6,102,100,100020);

mycat查看数据

在这里插入图片描述

物理库3506查看数据

在这里插入图片描述

物理库3507查看数据

在这里插入图片描述

发现每个物理库根据分片字段存储数据库是不一样的,

ER表

与分片表关联的表如何分表，也就是 ER 表如何分表，

创建ER表

CREATE TABLE orders_detail(
`id` BIGINT NOT NULL AUTO_INCREMENT,
detail VARCHAR(2000),
order_id INT,
PRIMARY KEY(id)
)ENGINE=INNODB DEFAULT CHARSET=utf8
dbpartition BY mod_hash(order_id) tbpartition BY mod_hash(order_id)
tbpartitions 1 dbpartitions 2;

mycat显示
在这里插入图片描述
物理库3506显示
在这里插入图片描述
物理库3507显示
在这里插入图片描述

mycat插入数据

INSERT INTO orders_detail(id,detail,order_id) VALUES(1,'detail1',1);
INSERT INTO orders_detail(id,detail,order_id) VALUES(2,'detail1',2);
INSERT INTO orders_detail(id,detail,order_id) VALUES(3,'detail1',3);
INSERT INTO orders_detail(id,detail,order_id) VALUES(4,'detail1',4);
INSERT INTO orders_detail(id,detail,order_id) VALUES(5,'detail1',5);
INSERT INTO orders_detail(id,detail,order_id) VALUES(6,'detail1',6);

mycat查询数据

在这里插入图片描述

物理节点3506数据分布

在这里插入图片描述

物理节点3507数据分布

在这里插入图片描述

join关联查询

SELECT * FROM orders o INNER JOIN orders_detail od ON od.order_id=o.id;

在这里插入图片描述
看一下具体物理划分到底是不是数据都划分到一块了呢?
物理节点3506数据分布
在这里插入图片描述
物理节点3507数据分布
在这里插入图片描述
发现两个数据有的不是在同一个数据库 怎么查询出来的呢?
在这里插入图片描述
原理:
mycat作为一个中间件，根据查询的SQL语句进行分片分析，找到对应的实际物理数据库节点，然后把数据合并之后再返回。
查看配置的表是否具有 ER 关系(父表和子表的关系),使用

/*+ mycat:showErGroup{}*/

在这里插入图片描述

一个是db1下的orders，一个是db1下的orders_detail都属于一个groupId
#group_id 表示相同的组,该组中的表具有相同的存储分布，运行关联语句的时候，就会把相同组的表自动进行关联

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/10680.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

射频识别技术RFID

射频识别技术RFID

射频识别技术RFID RFID介绍 射频识别： 英文名称是(Radio Frequency Identification)， 简称是“ RFID” 又称 无线射频识别， RFID是物联网的其中一种终端技术。 RFID是一种通信技术， 可通过无线电讯号耦合识别特定目标并读写相关…
阅读更多...
Python使用Rembg库去除图片背景

Python使用Rembg库去除图片背景

一、引入Rembg库 #库地址 https://github.com/danielgatis/rembg#CPU使用 pip install rembg # for library pip install rembg[cli] # for library cli#GPU使用（系统支持onnxruntime-gpu） pip install rembg[gpu] # for library pip install rembg[gp…
阅读更多...
基于ChatGLM+Langchain离线搭建本地知识库（免费）

基于ChatGLM+Langchain离线搭建本地知识库（免费）

目录 简介 服务部署 实现本地知识库 测试 番外 简介 ChatGLM-6B是清华大学发布的一个开源的中英双语对话机器人。基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT…
阅读更多...
深入理解 Kolmogorov–Arnold Networks (KAN)

深入理解 Kolmogorov–Arnold Networks (KAN)

深入理解 Kolmogorov–Arnold Networks (KAN) 最近，一篇名为 KAN: Kolmogorov–Arnold Network 的论文在机器学习领域引起了广泛关注。这篇论文提出了一种全新的神经网络视角，并提出了一种可以替代现有多层感知器（MLP）的新方案。要…
阅读更多...
19 分页：快速地址转换（TLB）

19 分页：快速地址转换（TLB）

通过上一节中的知识，可以知道使用分页作为核心机制来实现虚拟内存是比较不错的，但是因为复杂的查询和转换逻辑，导致性能开销比较大。这里就要使用硬件来提升了，便出现了地址转换旁路缓冲存储器（TLB）&#x…
阅读更多...
中职智慧校园建设内容规划

中职智慧校园建设内容规划

1. 渠道先行 1) IT根底设施渠道是支撑智慧学校使用体系所必需的运转环境，是首要需求建造的内容，但是要遵从有用准则，IT设备开展很快，更新很快，不要片面追求全而新； 2) 使用根底渠道是支撑智慧学校使用体系作…
阅读更多...
vs+QT 无法解析的外部符号 QMetaObject metaObject

vs+QT 无法解析的外部符号 QMetaObject metaObject

阅读更多...
动态多目标优化算法：基于自适应启动策略的混合交叉动态约束多目标优化算法(MC-DCMOEA)求解DCP1-DCP9（提供MATLAB代码）

动态多目标优化算法：基于自适应启动策略的混合交叉动态约束多目标优化算法(MC-DCMOEA)求解DCP1-DCP9（提供MATLAB代码）

一、动态多目标优化问题 1.1问题定义 1.2 动态支配关系定义 二、 基于自适应启动策略的混合交叉动态多目标优化算法 基于自适应启动策略的混合交叉动态多目标优化算法（Mixture Crossover Dynamic Constrained Multi-objective Evolutionary Algorithm Based on Se…
阅读更多...
Git系列：git tag 使用技巧

Git系列：git tag 使用技巧

💝💝💝欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」…
阅读更多...
机器学习：葡萄酒品质预测

机器学习：葡萄酒品质预测

说明，此项目是我的期末大作业，包括了对数据集探索，预处理以及分类的各个详细过程与描述，代码简单，主要是一个分类项目的流程，并没有对模型进行深度研究，因此我写在这里。 目录 一、问题介绍 …
阅读更多...
分层存储无法拯救 Kafka

分层存储无法拯救 Kafka

01 引言 Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，成为了流处理领域的标杆。它不仅定义了现代流处理架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功&#xff0…
阅读更多...
nacos命名空间的配置

nacos命名空间的配置

给微服务配置namespace 给微服务配置namespace只能通过修改配置来实现。 例如，修改order-service的application.yml文件： spring:cloud:nacos:server-addr: localhost:8848discovery:cluster-name: HZnamespace: 492a7d5d-237b-46a1-a99a-fa8e98e4b0f…
阅读更多...
NodeMCU ESP8266 获取I2C从机地址

NodeMCU ESP8266 获取I2C从机地址

文章目录 前言关于地址位读写位程序总结前言 I2C总线上可以挂载很多的从设备，每个设备都会有一个自己唯一的一个地址； 关于地址位 通常地址位占7位数据，主设备如果需要向从机发送/接收数据，首先要发送对应从机的地址，然后会匹配总线上挂载的从机的地址； 读写位 该位…
阅读更多...
windows编译opencv4.9

windows编译opencv4.9

opencv很多人在windows上编译感觉特别麻烦，没有linux下方便，设定以下三点，我们几乎会无障碍。 1 安装cuda，cudnn 安装好cuda，cudnn，把cudnn的头文件，库等等拷贝到cuda的安装目录下面&#xff…
阅读更多...
实现红黑树

实现红黑树

目录 红黑树的概念 红黑树的节点结构定义 红黑树的插入 红黑树的验证 实现红黑树完整代码 红黑树的概念 红黑树 ，是一种 二叉搜索树 ，但 在每个结点上增加一个存储位表示结点的颜色，可以是 Red 或 Black 。 通过对 任何一条从根到叶子的…
阅读更多...
1-2亿条数据需要缓存，如何合理设计存储

1-2亿条数据需要缓存，如何合理设计存储

单机是不可能的，肯定是分布式存储 数据怎么落？ 一般业界有三种解决方案 哈希取余分区 一致性哈希算法分区 哈希槽分区（大厂专用，都在用）最终的选择
阅读更多...
信息检索（37）：Query-as-context Pre-training for Dense Passage Retrieval

信息检索（37）：Query-as-context Pre-training for Dense Passage Retrieval

Query-as-context Pre-training for Dense Passage Retrieval 标题摘要1 引言2 初步：上下文监督预训练2.1 coCondenser2.2 CoT-MAE 3 查询即上下文预训练3.1 预训练3.2 微调 4 实验4.1 预训练4.2 微调4.3 基线4.4 主要结果4.5 域外评估 5 分析5.1 生成的查询数量的影…
阅读更多...
面向电商家居行业3D室内场景合成中的空间感知

面向电商家居行业3D室内场景合成中的空间感知

本文主要介绍了3D场景合成技术在电商领域，尤其是家居家装行业的应用。它解释了如何使用3D场景合成创建逼真的室内设计，让消费者能够交互式地查看和体验产品，提高购物的趣味性和效率。文章提到了两种主要的3D室内场景生成算法：传统…
阅读更多...
RN开发搬砖经验之—分析与定位图片文件被清空的原因

RN开发搬砖经验之—分析与定位图片文件被清空的原因

如题 最近工作上处理的一个BUG，先讲下结论/原因，然后再分享该主题相关的东西 结论是：copy图片文件时，源路径与目标路径相同—输入输出流同时操作同一个文件，导致文件清空了！ copy文件的主要源码如下&#…
阅读更多...
OFDM802.11a的FPGA实现（十二）使用FFT IP核添加循环前缀

OFDM802.11a的FPGA实现（十二）使用FFT IP核添加循环前缀

原文链接（相关文章合集）：OFDM 802.11a的xilinx FPGA实现 目录 1.前言2.循环前缀3.硬件实现4.ModelSim仿真 1.前言 为了能够消除传输过程当中的符号间干扰，在IFFT处理完毕之后还要加上循环前缀。 2.循环前缀 实际通信信道中,由于接…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023