Spring Boot学习:ShardingSphere-JDBC数据分片配置

目录

    • 前言
    • sharding-jdbc配置
    • 配置解析
    • table-strategy分片策略
      • 1、standard
      • 2、none
      • 3、inline
      • 4、complex

前言

Spring Boot学习专栏: 传送门

sharding-jdbc配置

下面是Spring Boot项目下的ShardingSphere-JDBC数据分片配置

#数据源名称,多数据源以逗号分隔
spring.shardingsphere.datasource.names=ds0,ds1#数据源相关连接信息
spring.shardingsphere.datasource.ds0.type=org.apache.commons.dbcp.BasicDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/ds0
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=spring.shardingsphere.datasource.ds1.type=org.apache.commons.dbcp.BasicDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds1.url=jdbc:mysql://localhost:3306/ds1
spring.shardingsphere.datasource.ds1.username=root
spring.shardingsphere.datasource.ds1.password=spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1}
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id % 2}
spring.shardingsphere.sharding.tables.t_order.key-generator.column=order_id
spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE#默认分片策略,当表没有设置单独的分片规则时,就会使用默认的分片策略。
spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression=ds$->{user_id % 2}

配置解析

下面我们就来分析下上面的配置

1、数据源配置: 首先需要配置数据源,指定数据库连接信息,spring.shardingsphere.datasource就是数据源的相关配置,首先在names指定数据源名称,然后再配置相应数据源的连接配置,格式如下

spring.shardingsphere.datasource.<data-source-name>.type= #数据库连接池类名称
spring.shardingsphere.datasource.<data-source-name>.driver-class-name= #数据库驱动类名
spring.shardingsphere.datasource.<data-source-name>.url= #数据库url连接
spring.shardingsphere.datasource.<data-source-name>.username= #数据库用户名
spring.shardingsphere.datasource.<data-source-name>.password= #数据库密码
spring.shardingsphere.datasource.<data-source-name>.xxx= #数据库连接池的其它属性

注:每个data-source-name都需要配置

2、分片规则配置: 针对每个需要进行分片的表,需要配置相应的分片规则。这一部分是在spring.shardingsphere.sharding.tables进行配置,下面我就上述例子进行解析

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1}

这个配置是 Sharding-JDBC 中指定实际数据节点的配置,用于表示分片规则中具体的数据节点。它定义了表名为 t_order 的分片规则中的实际数据节点。在该属性值中,使用了占位符和表达式来表示不同的数据节点。

1、t_order表示哪个表需要分片,多个表需要相应进行配置,actual-data-nodes表示配置数据节点,固定值

2、ds$->{0…1} 表示数据源的名称,其中 $->{0…1} 表示占位符,可以被替换为 0 或 1,这里表示有两个数据源,分别为 ds0 和 ds1。

3、t_order$->{0…1} 表示表名的后缀,其中 $->{0…1} 同样表示占位符,可以被替换为 0 或 1,这里表示有两个表名后缀,分别为 t_order0 和 t_order1。

在上述配置中,有两个数据源 ds0 和 ds1,并且有两个表名后缀 t_order0 和 t_order1,那么实际的数据节点将包括 ds0.t_order0、ds0.t_order1、ds1.t_order0、ds1.t_order1 四个。

spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id

table-strategy:指定表的分片策略,table-strategy有以下几种策略

  1. none 表示不分片,所有数据都存储在同一个表中。

  2. standard 表示使用标准分片策略,根据分片键的值进行范围匹配,将数据路由到对应的分片表中。

  3. inline 表示使用行表达式分片策略,根据分片键的值通过表达式计算得到分片结果,将数据路由到对应的分片表中。

  4. complex 表示使用复合分片策略,可以同时使用多个分片键对数据进行分片计算,将数据路由到对应的分片表中。

具体的table-strategy使用,我会在下面详细解释

spring.shardingsphere.sharding.tables.t_order.key-generator.column=order_id

用于指定生成主键的列名,在上述配置中,t_order 表的主键生成列配置为 order_id。这意味着在向 t_order 表插入数据时,ShardingSphere 会自动生成主键,并将生成的主键值赋给 order_id 列

shardingSphere 提供了多种主键生成策略(如雪花算法、UUID 等),可以根据业务需求选择合适的主键生成器。通过配置spring.shardingsphere.sharding.tables.t_order.key-generator.type可以指定生成策略。

spring.shardingsphere.sharding.default-database-strategy

spring.shardingsphere.sharding.default-database-strategy为默认分片策略,当表没有设置单独的分片规则时,就会使用默认的分片策略

我们还可以使用spring.shardingsphere.sharding.default-data-source-name指定默认数据源名称。当未明确指定数据源名称时,ShardingSphere 将使用该属性配置的数据源作为默认数据源。

spring.shardingsphere.sharding.default-data-source-name=ds-0

table-strategy分片策略

table-strategy:指定表的分片策略,下面详细介绍下table-strategy的几种策略

1、standard

对应StandardShardingStrategy,标准分片策略,根据分片键的值进行范围匹配,将数据路由到对应的分片表中,提供对SQL语句中的=, >, <, >=, <=, IN和BETWEEN AND的分片操作支持。StandardShardingStrategy只支持单分片键,提供PreciseShardingAlgorithm和RangeShardingAlgorithm两个分片算法。PreciseShardingAlgorithm是必选的,用于处理=和IN的分片。RangeShardingAlgorithm是可选的,用于处理BETWEEN AND, >, <, >=, <=分片,如果不配置RangeShardingAlgorithm,SQL中的BETWEEN AND将按照全库路由处理。

配置standard策略,我们需要实现PreciseShardingAlgorithm和RangeShardingAlgorithm接口来自定义自己的分片算法,如下所示

PreciseShardingAlgorithm实现类

@Component
public class MyTablePreciseShardingAlgorithm implements PreciseShardingAlgorithm<Integer> {/*** @param tableNames 对应分片库中所有分片表的集合* @param shardingValue 为分片属性,logicTableName 为逻辑表,columnName 分片键,value 为从 SQL 中解析出来的分片键的值* @return*/@Overridepublic String doSharding(Collection<String> tableNames, PreciseShardingValue<Integer> shardingValue) {for (String tableName : tableNames) {// 取模算法,分片键 % 表数量String value = String.valueOf(shardingValue.getValue() % tableNames.size() );if (tableName.endsWith(value)) {return tableName;}}throw new IllegalArgumentException("分片失败,tableNames:" + tableNames);}}

配置文件进行进行配置

#配置分片键
spring.shardingsphere.sharding.tables.t_order.table-strategy.standard.sharding-column=order_id
#分片键策略
spring.shardingsphere.sharding.tables.t_order.table-strategy.standard.precise-algorithm-class-name=com.example.demo.shardingsphere.MyTablePreciseShardingAlgorithm

2、none

对应NoneShardingStragey,不分片策略,SQL会被发给所有节点去执行

3、inline

对应InlineShardingStrategy,使用Groovy的表达式,提供对SQL语句中的=和IN的分片操作支持,只支持单分片键。对于简单的分片算法,可以通过简单的配置使用

如我们例子的配置

spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id % 2}

shardingColumn:指定用于分片计算的列名,这里使用 order_id 字段。
algorithmExpression:指定分片算法表达式,这里使用了内联表达式 t_order$->{order_id % 2}。该表达式表示根据 order_id 的值进行取模运算,结果为0时路由到 t_order0 表,结果为1时路由到 t_order1 表。

4、complex

对应ComplexShardingStrategy。复合分片策略。提供对SQL语句中的=, >, <, >=, <=, IN和BETWEEN AND的分片操作支持,ComplexShardingStrategy支持多分片键,如果表是多分片键的,那么需要使用该策略

使用complex 策略,需要我们自定义一个ComplexShardingAlgorithm实现类,在该实现类定义相关分片算法,如下所示

@Slf4j
public class MyComplexShardingAlgorithm implements ComplexKeysShardingAlgorithm {/**** @param availableTargetNames 进行分片的表* @param shardingValue * @return*/@Overridepublic Collection<String> doSharding(Collection availableTargetNames, ComplexKeysShardingValue shardingValue) {List<String> result = new ArrayList<>();// 获取分片键列和对应的分片键值Map<String, Collection<Long>> columnNameAndShardingValuesMap = shardingValue.getColumnNameAndShardingValuesMap();// 遍历分片键列和分片键值for (Map.Entry<String, Collection<Long>> entry : columnNameAndShardingValuesMap.entrySet()) {String columnName = entry.getKey();Collection<Long> shardingValues = entry.getValue();log.info("分片键:"+columnName);// 根据分片键列和分片键值进行分片逻辑的实现for (Long shardingVal : shardingValues) {for (Object availableTargetName : availableTargetNames) {String tableName = availableTargetName.toString();String value = String.valueOf(shardingVal % availableTargetNames.size() );if (tableName.endsWith(value)) {result.add(tableName) ;}}}}return result;}
}

注:ComplexKeysShardingValue 的 getColumnNameAndShardingValuesMap() 方法返回一个 Map<String, Collection> 对象,用于获取分片键列和对应的分片键值集合。

这个方法的作用是获取所有的分片键列及其对应的分片键值,其中键是分片键列的名称,值是对应的分片键值的集合。通过遍历这个 Map,你可以获得每个分片键列的分片键值集合,并根据自己的业务逻辑进行相应的分片操作。

ComplexKeysShardingValue 的getColumnNameAndRangeValuesMap() 方法返回一个 Map<String, Range> 对象,用于获取分片键列和对应的范围值。

这个方法的作用是获取所有的分片键列及其对应的范围值,其中键是分片键列的名称,值是对应的范围值。通过遍历这个 Map,你可以获得每个分片键列的范围值,并根据自己的业务逻辑进行相应的分片操作。

进行配置

#配置分片键
spring.shardingsphere.sharding.tables.t_order.table-strategy.complex.sharding-columns=order_id,user_id
#分片键策略
spring.shardingsphere.sharding.tables.t_order.table-strategy.complex.algorithm-class-name=com.example.demo.shardingsphere.MyComplexShardingAlgorithm

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/222841.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Numpy 实现C4.5决策树

C4.5 信息增益比实现决策树 信息增益比 g R ( D , A ) g ( D , A ) H ( D ) g_{R}(D, A)\frac{g(D, A)}{H(D)} gR​(D,A)H(D)g(D,A)​ 其中&#xff0c; g ( D , A ) g(D,A) g(D,A)是信息增益&#xff0c; H ( D ) H(D) H(D)是数据集 D D D的熵 代码实现 import numpy as …

Qt图像处理-Qt中配置OpenCV打开本地图片

本文讲解Qt中配置OpenCV过程并用实例展示如何使用OpenCV打开图片(windows环境下) 一、下载OpenCv 本文使用版本OpenCV-MinGW-Build-OpenCV-3.4.5 下载地址: https://codeload.github.com/huihut/OpenCV-MinGW-Build/zip/refs/heads/OpenCV-3.4.5 点击Code-local-Downlo…

Android基础概念的学习笔记

1 Android原生编程 1.1 基础概念的文档链接 Android原生应用的一般流程 & 项目文件结构Android.mk文件语法Application.mk文件介绍 1.2 【Q】&#xff1a;ndk-build命令对于Application.mk和Android.mk文件的处理顺序是什么样的呀&#xff1f; Note: Google的官方文档里面…

Linux基本命令操作

一、命令操作快捷键 1.Tab键&#xff1a;自动补齐 2.ctrlL &#xff1a;清屏 二、使用命令获取帮助信息 1. # ls --help 2. # man ls 三、目录和文件管理命令 1. pwd \\显示路径 2. cd \\进入或切换目录 3.​​​​​​​ ls -l \\显示详细信息 4. ​​​​​​​ ls -a \\…

实验5:NAT配置

1.实验目的&#xff1a; 了解NAT的基本概念和功能 掌握NAT的配置方法和命令 观察和分析NAT的工作原理和流程 2.实验内容&#xff1a; 在路由器上配置静态NAT&#xff0c;实现内网主机通过公网IP地址访问外网服务器在路由器上配置动态NAT&#xff0c;实现内网主机通过公网I…

STM32的基本定时器注意点

本文介绍了STM32基本定时器3个重要的寄存器PSC、ARR、CNT&#xff0c;以及缓冲机制和计数细节。 基本定时器的框图 预分频器寄存器(TIMx_PSC)可以在运行过程中修改它的数值&#xff0c;新的预分频数值将在下一个更新事件时起作用。因为更新事件发生时&#xff0c;会把 TIMx_PS…

CGAL的最优传输曲线重构

1、介绍 此程序包实现了一种重建和简化二维点集的方法。输入是一组具有质量属性的二维点&#xff0c;可能受到噪声和离群值的干扰。输出是一组线段和孤立点&#xff0c;它们近似于输入点&#xff0c;如下图所示。质量属性与每个点的近似重要性有关。 左&#xff1a;输入点集受到…

@德人合科技——天锐绿盾|电脑文件防止泄密|文件、文档、图纸、源代码等透明加密保护,防泄密软件系统

德人合科技——天锐绿盾提供了一种企业办公电脑文件防止泄密的解决方案&#xff0c;该方案对文件、文档、设计图纸、源代码等进行了透明加密保护。 pc访问地址&#xff1a; https://isite.baidu.com/site/wjz012xr/2eae091d-1b97-4276-90bc-6757c5dfedee 透明加密是一种保护文…

基于ssm生活缴费系统及相关安全技术的设计与实现论文

摘 要 互联网发展至今&#xff0c;无论是其理论还是技术都已经成熟&#xff0c;而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播&#xff0c;搭配信息管理工具可以很好地为人们提供服务。针对生活缴费信息管理混乱&#xff0c;出错率高&#xff0c;信息安全性差…

XXL-JOB的一些概念

XXL-JOB任务调度中心 路由策略 路由策略&#xff1a;当执行器集群部署时&#xff0c;选择哪一台机器进行执行job任务 第一个&#xff1a; 当选择该策略时&#xff0c;会选择执行器注册地址的第一台机器执行&#xff0c;如果第一台机器出现故障&#xff0c;则调度任务失败。 …

[PyTorch][chapter 7][李宏毅深度学习][深度学习简介]

前言&#xff1a; 深度学习常用的开发平台 TensorFlow torch theano caffe DSSTNE mxnet libdnn CNTK 目录&#xff1a; 1&#xff1a; 深度学习发展历史 2&#xff1a; DeepLearning 工程简介 3&#xff1a; DNN 简介 一 发展历史 二 DeepLearning 工程简介 深度学习三…

STM32--Wi-Fi插座_风扇_灯

项目需求 两个互相通信的双方&#xff0c;波特率必须相同!!!!!! 通过 ESP8266 模块&#xff0c;实现手机控制 wifi 插座 / 风扇 / 灯。 项目设计 串口 1 用于与 ESP8266 通讯&#xff0c;串口 2 连接 PC &#xff0c;用于打印 log &#xff0c;查看系统状态。 项目实现 注意&a…

【计算思维】第14届蓝桥杯省赛计算思维U12组真题试卷

第14届蓝桥杯省赛计算思维U12组真题试卷 选择题 第 1 题 单选题 晶晶在注册一个学习网站时&#xff0c;需要设置密码。 网站提示&#xff1a; 密码必须由8~16个字符组成&#xff0c;可以包含数字、大写字母、小写字母、特殊符号这4种字 符类型。 包含4种不同类型字符的…

英语六级作文好句

目录 开头 中间 结尾 开头 1. It has triggered heat discussion 2. some students think that .... while other think that.... I,m in line with/I firmly convinced that the former one/the later one. 3. With the proliferation of... 4. It is of great importance…

《数据结构、算法与应用C++语言描述》-最大高度优先左高树-C++实现

左高树 完整可编译运行代码见&#xff1a;Github::Data-Structures-Algorithms-and-Applications/_26maxHblt 定义 (大顶堆和小顶堆)堆结构是一种隐式数据结构(implicit data structure)。用完全二叉树表示的堆在数组中是隐式存储的(即没有明确的指针或其他数据能够用来重塑…

数据结构从入门到入土——初识泛型

目录 一&#xff0c;包装类 1.基本数据类型和对应的包装类 2.装箱和拆箱 3.自动装箱和自动拆箱 二&#xff0c;什么是泛型&#xff1f; 三&#xff0c;引出泛型 语法 四&#xff0c;泛型类的使用 1.语法 2.类型推导(Type Inference) 五&#xff0c;裸类型(Raw Type) …

​xml.dom.minidom --- 最小化的 DOM 实现​

源代码: Lib/xml/dom/minidom.py xml.dom.minidom 是文档对象模型接口的最小化实现&#xff0c;具有与其他语言类似的 API。 它的目标是比完整 DOM 更简单并且更为小巧。 对于 DOM 还不十分熟悉的用户则应当考虑改用 xml.etree.ElementTree 模块来进行 XML 处理。 警告 xml.do…

PHP中如何进行单元测试和集成测试?

在 PHP 中&#xff0c;进行单元测试和集成测试通常使用测试框架来实现。以下是两个常用的 PHP 测试框架以及简要的介绍&#xff1a; PHPUnit&#xff08;单元测试&#xff09;&#xff1a; 安装 PHPUnit&#xff1a; 可以使用 Composer 安装 PHPUnit。 composer require --dev …

mysql binlog_ignore_db参数的效果详解

​ 我们知道 binlog 会记录数据库所有执行的 DDL 和 DML 语句(除了数据查询语句select、show等)。 我们可以在mysql配置文件中关闭binlog [mysqld] skip-log-bin注意默认情况下会记录所有库的操作,那么如果我们有另类需求,比如说只让某个库记录 binglog 或排除某个库记录…

<DB2>《DB2表空间状态说明列表》

十六进制值十进制值状态State0x00正常&#xff08;请参阅 sqlutil.h 中的定义 SQLB_NORMAL&#xff09;Normal (see the definition SQLB_NORMAL in sqlutil.h)0x11停顿&#xff1a;SHAREQuiesced: SHARE0x22停顿&#xff1a;UPDATEQuiesced: UPDATE0x44停顿&#xff1a;EXCLUS…