SpringBoot集成Sharding-JDBC-5.3.0实现按月动态建表分表

 Sharding-JDBC系列

1、Sharding-JDBC分库分表的基本使用

2、Sharding-JDBC分库分表之SpringBoot分片策略

3、Sharding-JDBC分库分表之SpringBoot主从配置

4、SpringBoot集成Sharding-JDBC-5.3.0分库分表

5、SpringBoot集成Sharding-JDBC-5.3.0实现按月动态建表分表

前言

随着业务量的递增，项目产生海量的数据，在某些场景中，需要将数据按月存储。本篇基于Sharding-JDBC 5.3.0，分享一下按月自动建表以及分表的实现。

准备工作

创建一个数据库，创建一张表，表名为tb_order。该表作为基准表。

引入依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.7.1</version><relativePath/> <!-- lookup parent from repository --></parent><modelVersion>4.0.0</modelVersion><artifactId>Sharding-JDBC-demo2</artifactId><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.4.1</version></dependency><dependency><groupId>org.apache.shardingsphere</groupId><artifactId>shardingsphere-jdbc-core</artifactId><version>5.3.0</version></dependency><dependency><groupId>org.yaml</groupId><artifactId>snakeyaml</artifactId><version>1.33</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.28</version></dependency><dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.2.6</version></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.18.22</version><scope>compile</scope></dependency><!--<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-devtools</artifactId><optional>true</optional><scope>runtime</scope></dependency>--></dependencies></project>

1）引入shardingsphere-jdbc-core 5.3.0 的版本；

2）项目中不要引入spring-boot-devtools，否则在调试启动时，会报错；

spring-boot-devtools 会在类路径上的文件发生更改时自动重启，方便开发调试。在项目部署时，通过 java -jar 启动项目时，会自动禁用开发工具。报错的原因下面说明。

分片规则配置

4.1 application.yml

server:port: 8080
spring:main:# 处理连接池冲突allow-bean-definition-overriding: truedatasource:# shardingsphere5.3.0引入ShardingSphereDriver数据库驱动driver-class-name: org.apache.shardingsphere.driver.ShardingSphereDriverurl: jdbc:shardingsphere:classpath:sharding.yml

指定分片规则的文件为sharding.yml。

4.2 sharding.yml

dataSources:order_ds:dataSourceClassName: com.zaxxer.hikari.HikariDataSourcedriverClassName: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://localhost:3306/shardingjdbctest?useUnicode=true&characterEncoding=utf8&serverTimezone=GMT%2B8&useSSL=falseusername: rootpassword: 123456rules:
- !SHARDINGtables:tb_order: #逻辑表actualDataNodes: order_ds.tb_order  #表是自动创建keyGenerateStrategy: # 指定主键生成策略column: order_idkeyGeneratorName: snowflaketableStrategy:standard: shardingColumn: order_time   #分片键shardingAlgorithmName: custom-time-shardingshardingAlgorithms:  #分片算法custom-time-sharding:type: CLASS_BASED   #自定义类props:strategy: standardalgorithmClassName: com.jingai.sharding.jdbc.algorithm.OrderTimeShardingAlgorithm  #分片算法keyGenerators:  # 主键生成器snowflake:type: SNOWFLAKE
props:sql-show: true  # 是否打印sql

1）配置真实表为tb_order，作为分表的表前缀；

2）配置分表策略为standard标准策略，以订单创建日期为分片键；

3）配置分表算法为自定义类OrderTimeShardingAlgorithm；

分片算法OrderTimeShardingAlgorithm

package com.jingai.sharding.jdbc.algorithm;@Slf4j
public class OrderTimeShardingAlgorithm implements StandardShardingAlgorithm<Date> {private static final DateFormat TABLE_SHARD_TIME_FORMAT = new SimpleDateFormat("yyyyMM");// 表分片符号。如：tb_order_202407private static final String TABLE_SPLIT_SYMBOL = "_";private Properties props;@Overridepublic String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Date> shardingValue) {String logicTableName = shardingValue.getLogicTableName();log.info("精准分片，逻辑表名：{}，节点表名：{}", logicTableName, availableTargetNames);Date time = shardingValue.getValue();String result = logicTableName + TABLE_SPLIT_SYMBOL + TABLE_SHARD_TIME_FORMAT.format(time);// 在配置中，只配置了逻辑表名。如果只有一个，且是逻辑表名，说明需要获取所有表名initAvailableTargetNames(availableTargetNames, logicTableName);return getAndCreateShardingTable(logicTableName, result, availableTargetNames);}@Overridepublic Collection<String> doSharding(Collection<String> availableTargetNames, RangeShardingValue<Date> shardingValue) {String logicTableName = shardingValue.getLogicTableName();log.info("精准分片，逻辑表名：{}，节点表名：{}", logicTableName, availableTargetNames);// 在配置中，只配置了逻辑表名。如果只有一个，且是逻辑表名，说明需要获取所有表名initAvailableTargetNames(availableTargetNames, logicTableName);Range<Date> valueRange = shardingValue.getValueRange();// 如果没有最大值或最小值，则全库扫描if(!valueRange.hasLowerBound() || !valueRange.hasUpperBound()) {return availableTargetNames;}Date min = valueRange.lowerEndpoint();Date max = valueRange.upperEndpoint();Set<String> rs = new HashSet<>();while (min.compareTo(max) <= 0) {String tableName = logicTableName + "_" + TABLE_SHARD_TIME_FORMAT.format(min);rs.add(tableName);min = DateUtils.addMonths(min, 1);}return getAndCreateShardingTable(logicTableName, rs, availableTargetNames);}private void initAvailableTargetNames(Collection<String> availableTargetNames, String logicTableName) {if(availableTargetNames.size() == 1 && availableTargetNames.contains(logicTableName)) {Set<String> allTableNameBySchema = ShardingAlgorithmUtil.getAllTableNameBySchema(logicTableName);availableTargetNames.clear();availableTargetNames.addAll(allTableNameBySchema);}}/*** 检查可用的真实表，如果表名不存在，则创建新表* @param logicTableName 逻辑表* @param resultTableNames 操作需要的真实表* @param availableTargetNames 可用的真实表* @return 分片的真实表*/private List<String> getAndCreateShardingTable(String logicTableName, Set<String> resultTableNames, Collection<String> availableTargetNames) {return resultTableNames.stream().map(name -> getAndCreateShardingTable(logicTableName, name, availableTargetNames)).collect(Collectors.toList());}/*** 检查可用的真实表，如果表名不存在，则创建新表* @param logicTableName* @param resultTableName* @param availableTargetNames* @return*/private String getAndCreateShardingTable(String logicTableName, String resultTableName, Collection<String> availableTargetNames) {if(availableTargetNames.contains(resultTableName)) {return resultTableName;}boolean rs = ShardingAlgorithmUtil.createShardingTable(logicTableName, resultTableName);if(rs) {availableTargetNames.add(resultTableName);return resultTableName;}return null;}@Overridepublic Properties getProps() {return props;}@Overridepublic void init(Properties properties) {this.props = properties;}
}

1）实现StandardShardingAlgorithm接口，重写doSharding()方法；

2）根据传入的时间分片值，解析出年月，和逻辑表组合，为实际操作的真实表；

3）如果当前的真实表不存在，则调用工具类ShardingAlgorithmUtil创建一个真实表；

工具类ShardingAlgorithmUtil

package com.jingai.sharding.jdbc.util;@Slf4j
public class ShardingAlgorithmUtil {// 表分片符号。如：tb_order_202407private static final String TABLE_SPLIT_SYMBOL = "_";// 配置的数据库源private volatile static Map<String, Map<String, Object>> dataSources = null;public static void init(String url) {Assert.hasText(url, "分片策略不能为空");log.info("数据源获取...");byte[] bytes = new ShardingSphereDriverURL(url).toConfigurationBytes();try {YamlRootConfiguration yamlRootConfiguration = YamlEngine.unmarshal(bytes, YamlRootConfiguration.class);dataSources = yamlRootConfiguration.getDataSources();} catch(Exception e) {e.printStackTrace();log.error("分片策略配置解析失败");throw new IllegalArgumentException("分片策略解析失败");}}/*** 获取所有真实表名*/public static Set<String> getAllTableNameBySchema(String logicTableName) {Assert.notNull(dataSources, "分片策略配置未初始化");Set<String> rs = new HashSet<>();// 获取配置的数据源String startTable = logicTableName + TABLE_SPLIT_SYMBOL;for (Map<String, Object> dataSource : dataSources.values()) {try (Connection conn = DriverManager.getConnection(dataSource.get("url").toString(),dataSource.get("username").toString(), dataSource.get("password").toString())){Statement statement = conn.createStatement();ResultSet resultSet = statement.executeQuery("show tables like '" + startTable + "%'");while (resultSet.next()) {String tableName = resultSet.getString(1);if(StringUtils.hasText(tableName) && tableName.replaceFirst(startTable, "").matches("\\d{6}")) {rs.add(tableName);}}} catch(Exception e) {e.printStackTrace();throw new IllegalArgumentException("数据库连接失败");}}return rs;}/*** 创建分表* @param logicTableName* @param resultTableName* @return*/public static boolean createShardingTable(String logicTableName, String resultTableName) {synchronized (logicTableName.intern()) {for (Map<String, Object> dataSource : dataSources.values()) {try (Connection conn = DriverManager.getConnection(dataSource.get("url").toString(),dataSource.get("username").toString(), dataSource.get("password").toString())){Statement statement = conn.createStatement();log.info("创建{}表", resultTableName);statement.execute("create table if not exists `" + resultTableName + "` like `" + logicTableName + "`;");} catch(Exception e) {e.printStackTrace();throw new IllegalArgumentException("数据库连接失败");}}return true;}}}

1）init(String url) 初始化方法，通过传入的url（application.yml中配置的spring.datasource.url），解析分片配置文件，得到配置的datasources信息；

2）getAllTableNameBySchema(String logicTableName)，通过传入的逻辑表（配置中的tb_order），结合配置的datasources信息，创建连接，从数据库中获取表名以tb_order为前缀的表。即数据库中的真实表；

真实表只需从主库中获取即可，此处可以完善。

3）createShardingTable()，结合配置的datasources信息，创建连接，创建真实表；

初始化类

package com.jingai.sharding.jdbc.listener;@Component
@Slf4j
public class ShardingInitRunner implements InitializingBean {@Value("${spring.datasource.url}")private String url;@Overridepublic void afterPropertiesSet() throws Exception {log.info("sharding初始化...");ShardingAlgorithmUtil.init(url);}}

该类获取spring.datasource.url的配置值，在初始化方法中，调用ShardingAlgorithmUtil.init(url)，初始化ShardingAlgorithmUtil中的datasource值。

1）如果引入了spring-boot-devtools依赖，开启开发工具。项目启动的时候，ShardingAlgorithmUtil类的类加载器为devtools包下的RestartClassLoader，并执行了初始化，获取了datasources；

2）在分片算法OrderTimeShardingAlgorithm的类加载器为AppClassLoader，OrderTimeShardingAlgorithm中调用ShardingAlgorithmUtil时，会用AppClassLoader重新加载一次ShardingAlgorithmUtil，此时的datasources为null；

3）此时执行ShardingAlgorithmUtil操作数据库时，会报空指针；

 实体类

package com.jingai.sharing.jdbc.entity;@Data
@ToString
@TableName("tb_order")
public class OrderEntity {private long orderId;private long memberId;private float totalPrice;private String status;private Date orderTime;}

在实体类中，@TableName指定配置中的逻辑表。

Mapper类

package com.jingai.sharing.jdbc.dao;public interface OrderMapper extends BaseMapper<OrderEntity> {@Insert("insert into tb_order(member_id, total_price, status, order_time) values " +"(#{memberId}, #{totalPrice}, #{status}, #{orderTime})")@Options(useGeneratedKeys = true, keyProperty = "orderId")int insert2(OrderEntity order);
}

在4.2的配置中，通过key-generator设置了逻辑表的主键生成策略为雪花算法。当进行数据插入时，需要编写新的插入接口，不能直接使用Mybatis-plus中的insert()接口。因为在默认的insert()接口中，实体对象的orderId为0，不会走配置的雪花算法。

Service类

package com.jingai.sharing.jdbc.service;@Service
public class OrderService extends ServiceImpl<OrderMapper, OrderEntity> {@Resourceprivate OrderMapper orderMapper;public long insert2(OrderEntity order) {int rs = orderMapper.insert2(order);return rs > 0 ? order.getOrderId() : 0;}}

为了便于测试，此处省略了Service的接口类。

Controller类

@RestController
public class OrderController {@Resourceprivate OrderService orderService;@RequestMapping("order")public String order(OrderEntity order) {order.setOrderTime(new Date());long insert = orderService.insert2(order);return insert > 0 ? "success" : "fail";}@RequestMapping("list")public List<OrderEntity> list() {return orderService.list();}}

小结

以上为本篇分享的全部内容。以下做一个小结：

1）创建一个基准表tb_order；

2）配置分片规则：标准策略、以订单时间为分片键、自定义分片算法；

3）在分片算法中，根据分片键的值日期值，找到对应月份的表。如果真实表不存在，则创建；

关于本篇内容你有什么自己的想法或独到见解，欢迎在评论区一起交流探讨下吧。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/47045.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

力扣每日一题：2956. 找到两个数组中的公共元素

力扣每日一题：2956. 找到两个数组中的公共元素

文章目录 ***今日份每日一题&#xff1a;***题目要求&#xff1a;示例如下&#xff1a;示例1示例2示例3 解释剖析示例示例1示例2示例3 将逻辑思路转换为代码 力扣官网&#xff1a;前往作答&#xff01;&#xff01;&#xff01;&#xff01; 今日份每日一题&#xff1a; 题目…
阅读更多...
XBOX360-玩体感游戏时提示：您必须进行系统更新，才能使用Kinect

XBOX360-玩体感游戏时提示：您必须进行系统更新，才能使用Kinect

XBOX360-玩体感游戏时提示：您必须进行系统更新，才能使用Kinect 背景更换硬盘准备的软件XBOX换盘和拷贝游戏设置XBOX启动就进入Aurora如何何止Aurora的游戏目录扫描路径解决您必须进行系统更新，才能使用Kinect问题参考链接背景 实际上我的XBOX需要解决两个问题： 自制系统升…
阅读更多...
HTTP缓存/强缓存/协商缓存

HTTP缓存/强缓存/协商缓存

HTTP缓存是HTTP性能优化中一种简单高效的优化方式&#xff0c;通过保存资源副本并在下次请求时直接使用该副本&#xff0c;以减少对服务器的请求次数和数据传输量&#xff0c;从而提高网页加载速度和用户体验。以下是HTTP缓存的详细解释&#xff1a; 一、定义与工作原理 HTTP…
阅读更多...
VMware安装CentOS 7

VMware安装CentOS 7

在虚拟机中安装无论是Windows还是Linux其实都差不多&#xff0c;主要还是需要熟悉VMware的使用&#xff0c;多新增几次就熟悉了&#xff0c;可以反复删除再新增去练习… 如下是安装CentOS 7 安装过程&#xff1a; VMare Workstation 16 PRO 中安装CentOS 7 CentOS 7 下载推荐…
阅读更多...
Meta Llama - Model Cards Prompt formats

Meta Llama - Model Cards Prompt formats

本文翻译整理自&#xff1a; https://llama.meta.com/docs/model-cards-and-prompt-formats/meta-llama-3/ 文章目录 一、Meta Llama 3与Meta Llama 3一起使用的特殊tokenMeta Llama 3Meta Llama 3 Instruct 二、Meta Llama Guard 2提示格式 三、Meta Code LlamaMeta Code Llam…
阅读更多...
Java 中的NIO、BIO和AIO详细总结

Java 中的NIO、BIO和AIO详细总结

Java IO 与 BIO、NIO IO&#xff0c;常写作 I/O&#xff0c;是 Input/Output 的简称&#xff0c;即输入/输出。通常指数据在内部存储器&#xff08;内存&#xff09;和外部存储器&#xff08;硬盘、优盘等&#xff09;或其他周边设备之间的输入和输出。 输入/输出是信息处理系统…
阅读更多...
数据结构之栈的实现与排序详解与示例（C, C#, C++）

数据结构之栈的实现与排序详解与示例（C, C#, C++）

文章目录 栈的基本操作栈的排序总结 栈是一种后进先出&#xff08;Last In First Out, LIFO&#xff09;的数据结构。在栈中&#xff0c;元素的插入和删除操作都发生在同一端&#xff0c;即栈顶。本文将详细介绍如何实现栈的排序&#xff0c;并提供C, C#, C三种语言的示例。 栈…
阅读更多...
【46 Pandas+Pyecharts | 当当网畅销图书榜单数据分析可视化】

【46 Pandas+Pyecharts | 当当网畅销图书榜单数据分析可视化】

文章目录 &#x1f3f3;️‍&#x1f308; 1. 导入模块&#x1f3f3;️‍&#x1f308; 2. Pandas数据处理2.1 读取数据2.2 查看数据信息2.3 去除重复数据2.4 书名处理2.5 提取年份 &#x1f3f3;️‍&#x1f308; 3. Pyecharts数据可视化3.1 作者图书数量分布3.2 图书出版年份…
阅读更多...
JVM--垃圾收集算法

JVM--垃圾收集算法

1.分代收集理论 垃圾收集算法可以划分为“引用计数式垃圾收集”&#xff08;ReferenceCounting GC&#xff09;和“追踪式垃圾收集”&#xff08;Tracing GC&#xff09;两大类&#xff0c;本次仅仅讨论踪式垃圾收集 谈到垃圾收集 &#xff0c;首先先了解分代的收集理论&#x…
阅读更多...
Nuxt.js头部魔法：轻松自定义页面元信息，提升用户体验

Nuxt.js头部魔法：轻松自定义页面元信息，提升用户体验

title: Nuxt.js头部魔法&#xff1a;轻松自定义页面元信息&#xff0c;提升用户体验 date: 2024/7/16 updated: 2024/7/16 author: cmdragon excerpt: 摘要&#xff1a;“Nuxt.js头部魔法&#xff1a;轻松自定义页面元信息&#xff0c;提升用户体验”介绍如何使用useHead函数…
阅读更多...
智能合约中授权与转账的分离可行性分析

智能合约中授权与转账的分离可行性分析

概览 本文档旨在探讨智能合约中授权与转账操作为何通常被设计为分离的步骤&#xff0c;以及在授权与转账之后&#xff0c;是否能够立即进行连续的代币转移。我们将从安全性、效率、灵活性和操作流程的角度分析这些问题。 授权与转账操作的分离 目标与原因 安全性增强&#…
阅读更多...
mybatis的xml中，where标签不自动删除多余的and之类的问题

mybatis的xml中，where标签不自动删除多余的and之类的问题

遇到了这个莫名其妙的问题&#xff0c;起初是很疑惑的&#xff0c;where标签好像失灵了一般不会自动删除掉 多余的and 看了眼sql语句&#xff0c;发现还是有and没被删除。 后来重新写了遍后发现又没事了。真的是神人。 然后就研究了好一会&#xff0c;发现&#xff01;&#…
阅读更多...
什么是Go中的泛型与接口，它们都有哪些优缺点？

什么是Go中的泛型与接口，它们都有哪些优缺点？

Golang 中的泛型与空接口 泛型简介 泛型允许在编写能够处理任意类型的代码&#xff0c;而无需在每次使用不同类型时都重新编写代码。泛型的核心是类型参数&#xff0c;这些参数在函数、结构体或接口中定义&#xff0c;并在使用时进行具体化。 泛型函数 使用泛型函数时&…
阅读更多...
Uniapp中image的@load不触发问题

Uniapp中image的@load不触发问题

load 事件不触发的常见情况有以下几种: 图片缓存命中 当图片从浏览器缓存中加载时,load 事件通常不会被触发。这是因为浏览器认为这个图片已经成功加载过了,所以不会再次触发 load 事件。 图片地址未发生变化 如果 image 组件的 src 属性值没有发生变化,即使图片是从网络上加载…
阅读更多...
C++——关于new和delete

C++——关于new和delete

在C语言中我们想要动态管理内存空间&#xff0c;需要使用到malloc/calloc/realloc/free这些函数&#xff0c;在 C中有新的管理方式&#xff0c;那就是new和delete。new和delete是C新定义的操作符&#xff0c;专门用于管理堆上的内存空间。 new和delete在编译时&#xff0c;编译…
阅读更多...
Linux C++ 055-设计模式之状态模式

Linux C++ 055-设计模式之状态模式

Linux C 055-设计模式之状态模式 本节关键字&#xff1a;Linux、C、设计模式、状态模式 相关库函数&#xff1a; 概念 状态模式&#xff08;State Pattern&#xff09;是设计模式的一种&#xff0c;属于行为模式。允许一个对象在其内部状态改变时改变它的行为。对象看起来似…
阅读更多...
Rust RefCell＜T＞ 和内部可变性模式

Rust RefCell＜T＞ 和内部可变性模式

内部可变性&#xff08;Interior mutability&#xff09;是 Rust 中的一个设计模式&#xff0c;它允许你即使在有不可变引用时也可以改变数据&#xff0c;这通常是借用规则所不允许的。为了改变数据&#xff0c;该模式在数据结构中使用 unsafe 代码来模糊 Rust 通常的可变性和借…
阅读更多...
移动UI：具备什么特征，可以被认定为科技风格。

移动UI：具备什么特征，可以被认定为科技风格。

移动UI设计在科技风格上通常具备以下特征&#xff1a; 1. 清晰简洁的排版&#xff1a; 科技风格的移动UI通常采用清晰简洁的排版&#xff0c;注重信息的层次感和结构化&#xff0c;以便用户能够快速、直观地获取所需信息。 2. 几何形状和线条&#xff1a; 科技风格的移动UI常…
阅读更多...
【算法】代码随想录之哈希表（更新中）

【算法】代码随想录之哈希表（更新中）

文章目录 前言 一、有效的字母异位词&#xff08;LeetCode--242&#xff09; 二、两个数组的交集&#xff08;LeetCode--349&#xff09; 前言 跟随代码随想录&#xff0c;学习哈希表相关的算法题目&#xff0c;记录学习过程中的tips。 一、有效的字母异位词&#xff08;Le…
阅读更多...
HashMap的扩容原理

HashMap的扩容原理

1.7版本 1.先生成新数组 2.遍历老数组中的每个位置上的链表上的每个元素 3.取每个元素的key&#xff0c;并基于新数组长度&#xff0c;计算出每个元素在新数组中的下标 4.将元素添加到新数组中去 5.所有元素转移完了之后&#xff0c;将新数组赋值给HashMap对象的table属性 1.8版…
阅读更多...
最新文章

Copyright @ 2022~2023