互联网三高-数据库高并发之分库分表ShardingJDBC

1 ShardingJDBC介绍

1.1 常见概念术语

① 数据节点Node：数据分片的最小单元，由数据源名称和数据表组成

如：ds0.product_order_0

② 真实表：再分片的数据库中真实存在的物理表

如：product_order_0

③ 逻辑表：相同逻辑和数据结构表的总称

如：product_order

④ 绑定规则：指分片规则一致的主表和子表

如：order表和order_item表，都是按照order_id分片

绑定表之间的多表关联查询不会出现笛卡尔积关联，关联查询效率提升

1.2 常见分片算法

分片键：用于分片的数据库字段，是将数据库（表）水平拆分的关键字段

ShardingJDBC既支持单分片键，也支持多个字段进行分片

分片策略

① 行表达式分片：InlineShardingStrategy

只支持单分片键

使用groovy表达式，提供对SQL语言的 = 和 IN 的分片操作支持

如：product_order_$->{user_id % 2} => product_order_0 和 product_order_1

② 标准分片：StandardShardingStrategy

只支持单分片键

PreciseShardingAlgorithm：精准分片，处理 = 和 IN 的分片操作

RangeShardingAlgorithm：范围分片，处理 BETWEEN AND 的分片操作

③ 复合分片：ComplexShardingStrategy

支持多分片键

提供 = 、 IN 和 BETWEEN AND 的分片操作

④ Hint分片：HintShardingStrategy

无需配置分片键，外部手动指定分片键

⑤ 不分片：NoneShardingStrategy

2 快速入门

SpringBoot整合ShardingJDBC

（1）导入依赖

<dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId><version>2.5.5</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.38</version></dependency><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.5.1</version></dependency><dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-boot-starter</artifactId><version>4.1.1</version></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.18.30</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><version>2.5.5</version></dependency>
</dependencies>

（2）编写启动类

@SpringBootApplication
@EnableTransactionManagement
@MapperScan("com.pandy.mapper")
public class OrderApplication {public static void main(String[] args) {SpringApplication.run(OrderApplication.class, args);}
}

（3）创建数据库、表（2个库，4个表）

CREATE TABLE `product_order_0` (`id` bigint NOT NULL AUTO_INCREMENT,`out_trade_no` varchar(64) DEFAULT NULL COMMENT '订单唯一标识',`state` varchar(11) DEFAULT NULL COMMENT 'NEW 未支付订单,PAY已经支付订单,CANCEL超时取消订单',`create_time` datetime DEFAULT NULL COMMENT '订单生成时间',`pay_amount` decimal(16,2) DEFAULT NULL COMMENT '订单实际支付价格',`nickname` varchar(64) DEFAULT NULL COMMENT '昵称',`user_id` bigint DEFAULT NULL COMMENT '用户id',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

（4）编写实体类

@Data
@TableName("product_order")
@EqualsAndHashCode(callSuper = false)
public class ProductOrderDO {@TableId(value = "id",type = IdType.AUTO)private Long id;private String outTradeNo;private String state;private Date createTime;private Double payAmount;private String nickname;private Long userId;
}

（5）编写配置信息-分库分表（这里以分表为例，以user_id为分片键）

# 打印执行的数据库以及语句
spring.shardingsphere.props.sql.show=true# 数据源 db0
spring.shardingsphere.datasource.names=ds0,ds1# 第一个数据库
spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbc-url=jdbc:mysql://192.168.5.135:3306/sharding_db_0?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=root# 第二个数据库
spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds1.jdbc-url=jdbc:mysql://192.168.5.135:3306/sharding_db_1?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
spring.shardingsphere.datasource.ds1.username=root
spring.shardingsphere.datasource.ds1.password=root# 指定product_order表的数据分布情况，配置数据节点,行表达式标识符使用 ${...} 或 $->{...}，
# 但前者与 Spring 本身的文件占位符冲突，所以在 Spring 环境中建议使用 $->{...}
spring.shardingsphere.sharding.tables.product_order.actual-data-nodes=ds0.product_order_$->{0..1}# 指定product_order表的分片策略，分片策略包括【分片键和分片算法】
spring.shardingsphere.sharding.tables.product_order.table-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.product_order.table-strategy.inline.algorithm-expression=product_order_$->{user_id % 2}

（6）单元测试

@Test
public void testInsertProductOrder() {for(int i=0; i<10; i++) {ProductOrderDO orderDO = new ProductOrderDO();orderDO.setOutTradeNo(UUID.randomUUID().toString().replaceAll("-",""));orderDO.setCreateTime(new Date());orderDO.setPayAmount(100d);orderDO.setState("NEW");orderDO.setNickname("pandy-" + i);orderDO.setUserId(Long.parseLong(i + ""));productOrderMapper.insert(orderDO);}
}

分库分表执行逻辑

（7）主键重复问题

使用自增主键，出现主键ID重复问题

3 分库分表常见主键ID生成策略

需求：

① 性能强劲

② 全局唯一

③ 防止恶意用户根据ID规则来猜测和获取数据

3.1 业界常见解决方案

（1）自增ID，设置不同的自增步长

缺点：① 未来扩容比较麻烦

② 主从切换时不一致可能会导致重复ID

③ 性能瓶颈

（2）UUID

UUID.randomUUID().toString().replaceAll("-","");

优点：性能非常高，没有网络消耗

缺点：① 无序的字符串，不具备趋势自增特性

② UUID太长，不易于存储，浪费存储空间

（3）Redis发号器

利用Redis的incr 或incrby 来实现，原子操作，线程安全

缺点：① 需要占用网络资源，增加系统复杂性

（4）snowflake雪花算法

twitter开源的分布式ID生成算法

生成的ID中包含时间戳，所以生成的ID按照时间递增

部署多台服务器，需要保证系统时间一样，机器编号不一样

缺点：依赖系统时间（时钟回拨问题）

配置使用shardingjdbc的雪花算法

# 配置ID使用雪花算法
spring.shardingsphere.sharding.key-generator.column=id
spring.shardingsphere.sharding.key-generator.type=SNOWFLAKE

看一下源码， shardingjdbc的雪花算法是怎么解决时钟回拨问题的？

4 广播表和绑定表配置

广播表：指所有的分片数据源中都存在的表，表结构和表中的数据在每个数据库中均完全一致

如：字典表，配置表等

（1）创建一个配置表

CREATE TABLE `config` (`id` bigint unsigned NOT NULL COMMENT '主键id',`config_key` varchar(1024) COLLATE utf8mb4_bin DEFAULT NULL COMMENT '配置key',`config_value` varchar(1024) COLLATE utf8mb4_bin DEFAULT NULL COMMENT '配置value',`type` varchar(128) COLLATE utf8mb4_bin DEFAULT NULL COMMENT '类型',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

（3）创建实体类

@Data
@TableName("config")
@EqualsAndHashCode(callSuper = false)
public class ConfigDO {@TableId(value = "id")private Long id;private String configKey;private String configValue;private String type;
}

（3）添加广播表配置

#配置广播表
spring.shardingsphere.sharding.broadcast-tables=config

（4）测试代码

@Test
public void insertConfig() {ConfigDO configDO = new ConfigDO();configDO.setConfigKey("iphone");configDO.setConfigValue("iphone16秒杀广告");configDO.setType("AD");configMapper.insert(configDO);
}