day10-项目集成sharding-jdbc-今日指数

项目集成sharding-jdbc

目标

1.掌握shardingjdbc标准分片模式；
2.理解项目分库分表的设计思路；
3.理解分库分表代码实现流程；

第一章 项目分库分表实现

1、股票数据预期增长分析

​ 由于今日指数是偏向海量数据分析的产品，而股票的数据会随着时间的积累越来越多，这会严重影响查询性能，所以合理的分库分表规划就迫在眉睫了。

接下来我们分析下股票数据的预期增长情况：

表名时间周期累计数量分库分表策略
股票流水表-stock_rt_info月1(钟)x60（时）x4（天）x21(月)x1500（重点股票）约等于：750W+按年分库，按月分表
股票主营业务表-stock_business3000+公共表|广播表数据量少
数据变化频率低
各个数据库都会用到
国内大盘流水表-stock_market_index_info年1x60x4x21x12x10约等于：60W+按年分库不分表方便数据按年维护
外盘流水表-stock_outer_market_index_info年1x60x4x21x12x10约等于：60W+按年分库不分表方便数据按年维护
股票板块-stock_block_rt_into年1x60x4x21x12x60约等于：360w+按年分库不分表方便数据按年维护
系统表 -sys_log、sys_user、sys_role等数据量少单库默认数据源

说明：

在数据库运维中，一般将不常用的历史数据会导出到指定格式的文件中，然后压缩保存处理；
当前项目中的股票数据，同样与时间成正相关。股票数据经过一定的周期后，对于不怎么被使用的数据，一般会导出归档处理；

所以，对于股票相关的流水数据按年分库后，对后续数据库的线性扩容和数据的归档维护都带来极大的便利；

思考：当前我们选择使用cur_time日期字段作为分库分表的片键比较合适，那如果使用主键字段作为分片，会存在哪些问题呢？

  • 数据库扩容时各节点存储均衡问题
    • 股票数据的持续流入会导致前期分库的各个节点不堪重负，最终势必要进行节点扩容，而新加入的节点和旧的节点之间数据不平衡，需要重新规划，这会导致数据迁移的成本过高；
  • 股票查询条件问题
    • 股票数据多以日期作为条件查询，如果基于主键ID作为分片键，则会导致分库的全节点查询，性能开销加大；

2、股票数据库表拆分规划

2.1 数据分库分表规划

基于上一小节的分析，我们得出一些结论：

  • 对于股票流水表按照月维度和年维护进行库表拆分，也就是说一年会产生一个库用于后期数据归档，而每个库下则按照月份产生12张表，对应一年的数据；
  • 对于板块表和大盘数据表，我们则以年为单位，与股票流水表年份一致即可，也就是按照年分库分表；
  • 对于主营业务表，因为数据量较少，且查询都会用到，作为公共表处理；
  • 对于系统表数据量相对较少，作为默认数据源即可；

整体架构如下：

在这里插入图片描述

数据详见：讲义\v-2\资料\今日指数分库分表SQL脚本

综上，我们以日期时间字段cur_time作为库表的分偏键，分库分表的逻辑存在一定的复杂性，采用标准分片策略比较合适。

2.2 分库分表策略规划

​ 经过分析发现大盘、板块、股票相关数据的分库策略是一致的，而分表策略则存在部分差异，所以我们可先定义公共的分库算法类和公共的分表算法类，对于不一致的，则个别定义即可：

表公共分库算法公共分表算法说明
stock_block_rt_inf是无
stock_market_index_info是无
stock_outer_market_index_info是无
stock_rt_info是否根据月份分表
stock_business否否公共表|广播表
系统管理相关表:sys_user等否否默认数据源

3、默认数据源配置

3.1 工程依赖准备

在stock_common工程导入sharding-jdbc依赖：

<!--引入shardingjdbc依赖-->
<dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-boot-starter</artifactId>
</dependency>

3.2 配置默认数据源

在这里插入图片描述

系统管理相关的表数据量较少，无需分库分表，所以可作为sharding-jdbc的默认数据源；

在stock_backend工程配置application-sharding.properties：

# 数据源名称，多数据源以逗号分隔
# 注意事项：数据源名称如果存在多个单词，不要使用小驼峰，建议使用中划线间隔(不要使用下划线间隔符）
spring.shardingsphere.datasource.names=df
# 配置默认数据源
# 数据库连接池类名称
spring.shardingsphere.datasource.df.type=com.alibaba.druid.pool.DruidDataSource
# 数据库驱动类名
spring.shardingsphere.datasource.df.driver-class-name=com.mysql.jdbc.Driver
# 数据库 url 连接
spring.shardingsphere.datasource.df.url=jdbc:mysql://192.168.200.132:3306/stock_sys_db?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai
# 数据库用户名
spring.shardingsphere.datasource.df.username=root
# 数据库密码
spring.shardingsphere.datasource.df.password=root
# 配置默认数据源
spring.shardingsphere.sharding.default-data-source-name=df
# 是否开启 SQL 显示，默认值: false
spring.shardingsphere.props.sql.show=true

主配置文件application.yml激活application-sharding.properties配置：

spring.profiles.active=sharding

同时在application.yml主配置文件中注释掉原有数据源信息！！

3.3 默认数据源效果测试

@SpringBootTest
public class TestSharding {@Autowiredprivate SysUserMapper sysUserMapper;/*** 测试默认数据源*/@Testpublic void testDefaultDs(){SysUser user = sysUserMapper.selectByPrimaryKey("1237365636208922624");System.out.println(user);}
}

测试时发现报异常错误：

在这里插入图片描述

所以在主配置文件中，配置bean允许被覆盖：

spring.main.allow-bean-definition-overriding=true

最终效果：

在这里插入图片描述

4、广播表配置

对于stock_business业务表作为广播表处理：

在这里插入图片描述

在application-sharding.properties配置其它数据源：

# 第一步：配置shardingjdbc
# 数据源名称，多数据源以逗号分隔(datasource名称不要使用特殊符号)
spring.shardingsphere.datasource.names=ds-2021,ds-2022,df
# 数据库连接池类名称
spring.shardingsphere.datasource.ds-2021.type=com.alibaba.druid.pool.DruidDataSource
# 数据库驱动类名
spring.shardingsphere.datasource.ds-2021.driver-class-name=com.mysql.jdbc.Driver
# 数据库 url 连接
spring.shardingsphere.datasource.ds-2021.url=jdbc:mysql://192.168.200.130:3306/stock_db_2021?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai
# 数据库用户名
spring.shardingsphere.datasource.ds-2021.username=root
# 数据库密码
spring.shardingsphere.datasource.ds-2021.password=root# 数据库连接池类名称
spring.shardingsphere.datasource.ds-2022.type=com.alibaba.druid.pool.DruidDataSource
# 数据库驱动类名
spring.shardingsphere.datasource.ds-2022.driver-class-name=com.mysql.jdbc.Driver
# 数据库 url 连接
spring.shardingsphere.datasource.ds-2022.url=jdbc:mysql://192.168.200.131:3306/stock_db_2022?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai
# 数据库用户名
spring.shardingsphere.datasource.ds-2022.username=root
# 数据库密码
spring.shardingsphere.datasource.ds-2022.password=root# 配置默认数据源
# 数据库连接池类名称
spring.shardingsphere.datasource.df.type=com.alibaba.druid.pool.DruidDataSource
# 数据库驱动类名
spring.shardingsphere.datasource.df.driver-class-name=com.mysql.jdbc.Driver
# 数据库 url 连接
spring.shardingsphere.datasource.df.url=jdbc:mysql://192.168.200.132:3306/stock_sys_db?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai
# 数据库用户名
spring.shardingsphere.datasource.df.username=root
# 数据库密码
spring.shardingsphere.datasource.df.password=root# 配置广播表，如果有多个，以逗号间隔
spring.shardingsphere.sharding.broadcast-tables=stock_business
# 配置默认数据源
spring.shardingsphere.sharding.default-data-source-name=df# 是否开启 SQL 显示，默认值: false
spring.shardingsphere.props.sql.show=true

测试广播表：

@Autowired
private StockBusinessMapper stockBusinessMapper;
/*** @Description 测试广播表*/
@Test
public void testBroadCastTable(){List<StockBusiness> all = stockBusinessMapper.getAll();System.out.println(all);
}

5、大盘板块分库分表实现

大盘板块分库分表思路分析：

  • 对于stock_block_rt_info等相关表一年产出的数据量不大，所以对这类表只做分库处理，而库内无需做分表处理；
  • 大盘板块相关表的分库策略是相同的，所以我们可将分库分表算法抽取出来作为公共算法类，同时库内没有做分表处理，所以无需定义分表策略；
  • 主业务工程和定时任务工程都需要分库或分表的算法类，所以我们在common工程下维护；

在这里插入图片描述

5.1 定义公共分库算法类

在stock_common工程下定义公共分库算法类：

package com.itheima.stock.sharding;import com.google.common.collect.Range;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;
import org.joda.time.DateTime;import java.util.Collection;
import java.util.Date;
import java.util.Optional;
import java.util.stream.Collectors;/*** @author by itheima* @Date 2022/6/13* @Description 定义公共的数据库分片算法类：包含精准匹配数据库和范围匹配数据库*  因为分库是根据日期分库的，一年一个库，所以片键的类型是Date*/
public class CommonShardingAlgorithm4Db implements PreciseShardingAlgorithm<Date>, RangeShardingAlgorithm<Date> {/*** 精准匹配数据库的方法 cur_time 条件必须是 = 或者in* @param dsNames 所有可匹配数据源的集合 ds-2021 ds-2022* @param shardingValue* @return*/@Overridepublic String doSharding(Collection<String> dsNames, PreciseShardingValue<Date> shardingValue) {//1.思路：根据传入的日期值，获取年份字符串//获取分片字段的名称colume
//        String columnName = shardingValue.getColumnName();//获取逻辑表名称
//        String logicTableName = shardingValue.getLogicTableName();//获取分片值Date value = shardingValue.getValue();//获取年份字符串String year = new DateTime(value).getYear()+"";//2.获取数据源中以Optional<String> optional = dsNames.stream().filter(ds -> ds.endsWith(year)).findFirst();String actual=null;//判断是否有符合指定年份的数据源if (optional.isPresent()) {actual=optional.get();}return actual;}/*** 范围查询匹配数据源 关键字：between and* @param dsNames ds-2021 ds-2022* @param shardingValue* @return*/@Overridepublic Collection<String> doSharding(Collection<String> dsNames, RangeShardingValue<Date> shardingValue) {//获取分片字段名称
//        String columnName = shardingValue.getColumnName();
//        //获取逻辑表名称
//        String logicTableName = shardingValue.getLogicTableName();//1.获取范围封装对象Range<Date> valueRange = shardingValue.getValueRange();//2.1 判断是否有下限值if (valueRange.hasLowerBound()) {//获取下限日期Date lowerDate = valueRange.lowerEndpoint();//获取年份  dsNames--> ds_2021 ds_2022 ds_2023int year = new DateTime(lowerDate).getYear();//2022dsNames= dsNames.stream().filter(dsName->Integer.valueOf(dsName.substring(dsName.lastIndexOf("-")+1))>=year).collect(Collectors.toList());}//2.2 判断是否有上限值if (valueRange.hasUpperBound()) {Date upperDate = valueRange.upperEndpoint();int year = new DateTime(upperDate).getYear();dsNames= dsNames.stream().filter(dsName->Integer.valueOf(dsName.substring(dsName.lastIndexOf("-")+1))<=year).collect(Collectors.toList());}return dsNames;}
}

5.2 配置properties

在stock_backend工程下配置application-sharding.properties：

# 第二步：配置板块表的数据节点信息
spring.shardingsphere.sharding.tables.stock_block_rt_info.actual-data-nodes=ds-${2021..2022}.stock_block_rt_info
spring.shardingsphere.sharding.tables.stock_market_index_info.actual-data-nodes=ds-${2021..2022}.stock_market_index_info
spring.shardingsphere.sharding.tables.stock_outer_market_index_info.actual-data-nodes=ds-${2021..2022}.stock_outer_market_index_info# 提取公共数据库分片算法配置类
common.algorithm4db=com.itheima.stock.sharding.CommonShardingAlgorithm4Db
common.algorithm4StockRtInfoTable=com.itheima.stock.sharding.ShardingAlgorithm4StockRtInfoTable# 第三步：配置数据库的分片算法
# 分片列名称
spring.shardingsphere.sharding.tables.stock_block_rt_info.database-strategy.standard.sharding-column=cur_time
# 精确分片算法类名称，用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_block_rt_info.database-strategy.standard.precise-algorithm-class-name=${common.algorithm4db}
# 范围分片算法类名称，用于 BETWEEN，可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_block_rt_info.database-strategy.standard.range-algorithm-class-name=${common.algorithm4db}spring.shardingsphere.sharding.tables.stock_market_index_info.database-strategy.standard.sharding-column=cur_time
# 精确分片算法类名称，用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_market_index_info.database-strategy.standard.precise-algorithm-class-name=${common.algorithm4db}
# 范围分片算法类名称，用于 BETWEEN，可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_market_index_info.database-strategy.standard.range-algorithm-class-name=${common.algorithm4db}spring.shardingsphere.sharding.tables.stock_outer_market_index_info.database-strategy.standard.sharding-column=cur_time
# 精确分片算法类名称，用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_outer_market_index_info.database-strategy.standard.precise-algorithm-class-name=${common.algorithm4db}
# 范围分片算法类名称，用于 BETWEEN，可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_outer_market_index_info.database-strategy.standard.range-algorithm-class-name=${common.algorithm4db}

5.3 功能测试

@Autowired
private StockBlockRtInfoMapper stockBlockRtInfoMapper;
@Test
public void testCommonSharding(){Date curDate= DateTime.parse("2022-01-03 09:30:00", DateTimeFormat.forPattern("yyyy-MM-dd HH:mm:ss")).toDate();List<StockBlockDomain> info = stockBlockRtInfoMapper.findBlockInfoByTimeLimit(curDate);System.out.println(info);
}

6、个股表分库分表配置

对于个股流水表来说分库策略与大盘板块一致，所以接下来，我们只定义好分表策略即可。

在这里插入图片描述

6.1 定义个股表公共分表策略

在stock_common工程下将精准和范围匹配表的接口实现合并到一个算法类下：

package com.itheima.stock.sharding;import com.google.common.collect.Range;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;
import org.joda.time.DateTime;
import org.joda.time.format.DateTimeFormat;import java.util.Collection;
import java.util.Date;
import java.util.Optional;
import java.util.stream.Collectors;/*** @author by itheima* @Date 2022/6/13* @Description 定义股票流水表的分片算法类：包含精准匹配表和范围匹配表*  因为分库是根据日期分库的，一年一个库，一个月一张表，也就是说每个库内都包含12张表，所以片键的类型是Date*/
public class ShardingAlgorithm4StockRtInfoTable implements PreciseShardingAlgorithm<Date>, RangeShardingAlgorithm<Date> {/*** 精准匹配表的方法 cur_time 条件必须是 = 或者in* @param tbNames 所有可匹配表的集合 stock_rt_info_202101....stock_rt_info_202112*                                stock_rt_info_202201....stock_rt_info_202212* @param shardingValue* @return*/@Overridepublic String doSharding(Collection<String> tbNames, PreciseShardingValue<Date> shardingValue) {//1.思路：根据传入的日期值，获取年份字符串//获取分片字段的名称colume
//        String columnName = shardingValue.getColumnName();//获取逻辑表名称
//        String logicTableName = shardingValue.getLogicTableName();//获取分片值Date value = shardingValue.getValue();//获取年月组成的字符串String yearMonth = new DateTime(value).toString(DateTimeFormat.forPattern("yyyyMM"));//过滤表的名称集合，获取名称后缀与yearMonth一致的表名称Optional<String> optional = tbNames.stream().filter(tbName -> tbName.endsWith(yearMonth)).findFirst();String tbName=null;if (optional.isPresent()) {tbName=optional.get();}return tbName;}/*** 范围查询匹配表 关键字：between and* @param tbNames 所有可匹配表的集合 stock_rt_info_202101....stock_rt_info_202112*                                stock_rt_info_202201....stock_rt_info_202212* @param shardingValue* @return*/@Overridepublic Collection<String> doSharding(Collection<String> tbNames, RangeShardingValue<Date> shardingValue) {//获取分片字段名称
//        String columnName = shardingValue.getColumnName();
//        //获取逻辑表名称
//        String logicTableName = shardingValue.getLogicTableName();//1.获取范围封装对象Range<Date> valueRange = shardingValue.getValueRange();//2.1 判断是否有下限值if (valueRange.hasLowerBound()) {//获取下限日期Date lowerDate = valueRange.lowerEndpoint();//获取年份  dsNames--> ds_2021 ds_2022 ds_2023//获取年月组成的字符串String yearMonth = new DateTime(lowerDate).toString(DateTimeFormat.forPattern("yyyyMM"));Integer yearM = Integer.valueOf(yearMonth);tbNames= tbNames.stream().filter(tbName->Integer.valueOf(tbName.substring(tbName.lastIndexOf("_")+1))>=yearM).collect(Collectors.toList());}//2.2 判断是否有上限值if (valueRange.hasUpperBound()) {Date upperDate = valueRange.upperEndpoint();String yearMonth = new DateTime(upperDate).toString(DateTimeFormat.forPattern("yyyyMM"));Integer yearM = Integer.valueOf(yearMonth);tbNames= tbNames.stream().filter(tbName->Integer.valueOf(tbName.substring(tbName.lastIndexOf("_")+1))<=yearM).collect(Collectors.toList());}return tbNames;}
}

6.2 配置个股分库分表

在stock_backend工程下配置分库分表策略：

# 配置股票流水节点信息
spring.shardingsphere.sharding.tables.stock_rt_info.actual-data-nodes=ds-2021.stock_rt_info_${202101..202112},ds-2022.stock_rt_info_${202201..202212}
# 抽取公共配置类变量
common.algorithm4StockRtInfoTable=com.itheima.stock.sharding.ShardingAlgorithm4StockRtInfoTable
# 配置股票流水库分片策略
spring.shardingsphere.sharding.tables.stock_rt_info.database-strategy.standard.sharding-column=cur_time
# 精确分片算法类名称，用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_rt_info.database-strategy.standard.precise-algorithm-class-name=${common.algorithm4db}
# 范围分片算法类名称，用于 BETWEEN，可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_rt_info.database-strategy.standard.range-algorithm-class-name=${common.algorithm4db}# 第四步：配置表的分片算法
# 因为stock_block_rt_info板块表仅仅按照年分库，并没有库内分片的操作，也就是说每个库内的表名称都一样，且只有一个，所以不需要定义分表的算法类
# 配置股票流水表的分片算法
spring.shardingsphere.sharding.tables.stock_rt_info.table-strategy.standard.sharding-column=cur_time
# 精确分片算法类名称，用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_rt_info.table-strategy.standard.precise-algorithm-class-name=${common.algorithm4StockRtInfoTable}
# 范围分片算法类名称，用于 BETWEEN，可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_rt_info.table-strategy.standard.range-algorithm-class-name=${common.algorithm4StockRtInfoTable}

6.3测试

    @Autowiredprivate StockRtInfoMapper stockRtInfoMapper;/*** @Description 测试分库分表算法类*/@Testpublic void testShardingDbAndTb(){//截止时间Date endTime=DateTime.parse("2022-05-22 09:30:00",DateTimeFormat.forPattern("yyyy-MM-dd HH:mm:ss")).toDate();//开始时间Date startTime=DateTime.parse("2021-01-01 09:30:00",DateTimeFormat.forPattern("yyyy-MM-dd HH:mm:ss")).toDate();//根据指定日期范围查询周K线数据List<Stock4EvrWeekDomain> infos=stockRtInfoMapper.getHalfWeekLineData("000017",startTime,endTime);System.out.println(infos);}

最终application-shrding.properties配置：

# 第一步：配置默认数据源
spring.shardingsphere.datasource.names=def,ds-2021,ds-2022
# 数据库连接池类名称
spring.shardingsphere.datasource.def.type=com.alibaba.druid.pool.DruidDataSource
# 数据库驱动类名
spring.shardingsphere.datasource.def.driver-class-name=com.mysql.jdbc.Driver
# 数据库 url 连接
spring.shardingsphere.datasource.def.url=jdbc:mysql://192.168.200.132:3306/stock_sys_db?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai
# 数据库用户名
spring.shardingsphere.datasource.def.username=root
# 数据库密码
spring.shardingsphere.datasource.def.password=root# 数据库连接池类名称
spring.shardingsphere.datasource.ds-2021.type=com.alibaba.druid.pool.DruidDataSource
# 数据库驱动类名
spring.shardingsphere.datasource.ds-2021.driver-class-name=com.mysql.jdbc.Driver
# 数据库 url 连接
spring.shardingsphere.datasource.ds-2021.url=jdbc:mysql://192.168.200.130:3306/stock_db_2021?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai
# 数据库用户名
spring.shardingsphere.datasource.ds-2021.username=root
# 数据库密码
spring.shardingsphere.datasource.ds-2021.password=root# 数据库连接池类名称
spring.shardingsphere.datasource.ds-2022.type=com.alibaba.druid.pool.DruidDataSource
# 数据库驱动类名
spring.shardingsphere.datasource.ds-2022.driver-class-name=com.mysql.jdbc.Driver
# 数据库 url 连接
spring.shardingsphere.datasource.ds-2022.url=jdbc:mysql://192.168.200.131:3306/stock_db_2022?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai
# 数据库用户名
spring.shardingsphere.datasource.ds-2022.username=root
# 数据库密码
spring.shardingsphere.datasource.ds-2022.password=root# 第二步：配置板块表的数据节点信息
spring.shardingsphere.sharding.tables.stock_block_rt_info.actual-data-nodes=ds-${2021..2022}.stock_block_rt_info
spring.shardingsphere.sharding.tables.stock_market_index_info.actual-data-nodes=ds-${2021..2022}.stock_market_index_info
spring.shardingsphere.sharding.tables.stock_outer_market_index_info.actual-data-nodes=ds-${2021..2022}.stock_outer_market_index_info
# 配置股票流水节点信息
spring.shardingsphere.sharding.tables.stock_rt_info.actual-data-nodes=ds-2021.stock_rt_info_${202101..202112},ds-2022.stock_rt_info_${202201..202212}# 提取公共数据库分片算法配置类
common.algorithm4db=com.itheima.stock.sharding.CommonShardingAlgorithm4Db
common.algorithm4StockRtInfoTable=com.itheima.stock.sharding.ShardingAlgorithm4StockRtInfoTable# 第三步：配置数据库的分片算法
# 分片列名称
spring.shardingsphere.sharding.tables.stock_block_rt_info.database-strategy.standard.sharding-column=cur_time
# 精确分片算法类名称，用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_block_rt_info.database-strategy.standard.precise-algorithm-class-name=${common.algorithm4db}
# 范围分片算法类名称，用于 BETWEEN，可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_block_rt_info.database-strategy.standard.range-algorithm-class-name=${common.algorithm4db}spring.shardingsphere.sharding.tables.stock_market_index_info.database-strategy.standard.sharding-column=cur_time
# 精确分片算法类名称，用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_market_index_info.database-strategy.standard.precise-algorithm-class-name=${common.algorithm4db}
# 范围分片算法类名称，用于 BETWEEN，可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_market_index_info.database-strategy.standard.range-algorithm-class-name=${common.algorithm4db}spring.shardingsphere.sharding.tables.stock_outer_market_index_info.database-strategy.standard.sharding-column=cur_time
# 精确分片算法类名称，用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_outer_market_index_info.database-strategy.standard.precise-algorithm-class-name=${common.algorithm4db}
# 范围分片算法类名称，用于 BETWEEN，可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_outer_market_index_info.database-strategy.standard.range-algorithm-class-name=${common.algorithm4db}spring.shardingsphere.sharding.tables.stock_rt_info.database-strategy.standard.sharding-column=cur_time
# 精确分片算法类名称，用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_rt_info.database-strategy.standard.precise-algorithm-class-name=${common.algorithm4db}
# 范围分片算法类名称，用于 BETWEEN，可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_rt_info.database-strategy.standard.range-algorithm-class-name=${common.algorithm4db}# 第四步：配置表的分片算法
# 因为stock_block_rt_info板块表仅仅按照年分库，并没有库内分片的操作，也就是说每个库内的表名称都一样，且只有一个，所以不需要定义分表的算法类
# 配置股票流水表的分片算法
spring.shardingsphere.sharding.tables.stock_rt_info.table-strategy.standard.sharding-column=cur_time
# 精确分片算法类名称，用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_rt_info.table-strategy.standard.precise-algorithm-class-name=${common.algorithm4StockRtInfoTable}
# 范围分片算法类名称，用于 BETWEEN，可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.stock_rt_info.table-strategy.standard.range-algorithm-class-name=${common.algorithm4StockRtInfoTable}# 指定默认数据源
# 未配置分片规则的表将通过默认数据源定位
spring.shardingsphere.sharding.default-data-source-name=def
# 配置广播表
spring.shardingsphere.sharding.broadcast-tables=stock_business# 是否开启 SQL 显示，默认值: false
spring.shardingsphere.props.sql.show=true

7、股票任务采集工程集成

对于stock_job工程，同样升级到分库分表的环境，只需将stock_backend的配置复制一份即可；

（略）

8、分库分表注意事项

基于sharding-jdbc实践分库分表注意事项：

  • 条件查询时分片字段不要使用函数处理，否则分片算法失效，导致全节点查询

    • 举例：select * from stock_rt_info where date_format(cur_time,‘%Y%m%d’)=‘20220910’ ,函数会造成sharding的分片失效，导致全节点查询；
    • 同时在索引角度看，如果查询的分片字段使用函数，会导致索引失效，导致查询性能较低；

  • 条件查询时尽量使用符合sharding分片条件的关键字

    • 精准查询尽量使用in =,而范围查询尽量使用between ；

  • sharding-jdbc对嵌套查询处理不友好

    • 如果嵌套查询的话，那么最好子查询的条件只命中单张表。如果子查询的条件关联了多张表，那么交易分步骤拆分实现；

配置广播表

spring.shardingsphere.sharding.broadcast-tables=stock_business

是否开启 SQL 显示，默认值: false

spring.shardingsphere.props.sql.show=true


## 7、股票任务采集工程集成对于stock_job工程，同样升级到分库分表的环境，只需将stock_backend的配置复制一份即可；（略）## 8、分库分表注意事项基于sharding-jdbc实践分库分表注意事项：- 条件查询时分片字段不要使用函数处理，否则分片算法失效，导致全节点查询- 举例：select * from stock_rt_info where date_format(cur_time,‘%Y%m%d’)='20220910'  ,函数会造成sharding的分片失效，导致全节点查询；- 同时在索引角度看，如果查询的分片字段使用函数，会导致索引失效，导致查询性能较低；
- 条件查询时尽量使用符合sharding分片条件的关键字- 精准查询尽量使用in =,而范围查询尽量使用between ；
- sharding-jdbc对嵌套查询处理不友好- 如果嵌套查询的话，那么最好子查询的条件只命中单张表。如果子查询的条件关联了多张表，那么交易分步骤拆分实现；- 示例：我们项目中的K线统计中，需要将SQL拆分，然后分步骤实现；

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/700086.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Go语言基础总结

Go语言基础总结

一、Go语言结构 包声明 引入包 函数 变量 语句&表达式 注释 下面简单给出hello.go文件。 package src /*定义包名*/import "fmt" /*引入包*/func hello() { /*函数*/fmt.Println("Hello,World!") /*语句&表达式*/fmt.Println("菜鸟教…
阅读更多...
深度学习环境配置常见指令

深度学习环境配置常见指令

首先打开anaconda prompt&#xff0c;激活对应虚拟环境。 导入torch并获取对应版本 import torch torch.__version__导入torchvision并获取对应版本 import torchvision torchvision.__version__ 检查cuda是否可用 torch.cuda.is_available() 获取CUDA设备数 torch.cuda.…
阅读更多...
基于SpringBoot的气象数据监测分析大屏

基于SpringBoot的气象数据监测分析大屏

项目描述 临近学期结束&#xff0c;还是毕业设计&#xff0c;你还在做java程序网络编程&#xff0c;期末作业&#xff0c;老师的作业要求觉得大了吗?不知道毕业设计该怎么办?网页功能的数量是否太多?没有合适的类型或系统?等等。这里根据疫情当下&#xff0c;你想解决的问…
阅读更多...
数据仓库选型建议

数据仓库选型建议

1 数仓分层 1.1 数仓分层的意义 **数据复用&#xff0c;减少重复开发&#xff1a;**规范数据分层&#xff0c;开发一些通用的中间层数据&#xff0c;能够减少极大的重复计算。数据的逐层加工原则&#xff0c;下层包含了上层数据加工所需要的全量数据&#xff0c;这样的加工方…
阅读更多...
GEE必须会教程—邂逅线代中的矩阵（Array类型）

GEE必须会教程—邂逅线代中的矩阵（Array类型）

矩阵&#xff0c;一个令人头疼的名字&#xff0c;学过线性代数的友友们想必对矩阵的运算规则烂熟于心&#xff0c;与它延申出来的向量知识曾经让我们深陷其中。矩阵在高级的数据存储中占据着重要的地位。定义字典类型的过程&#xff0c;其实就是寻找key和value关系的过程&#…
阅读更多...
Linux系统——Nginx服务状态码总结

Linux系统——Nginx服务状态码总结

目录 一、1xx状态码 100 Continue 101 Switch Protocols 102 Processing 二、2xx状态码 200 OK 201 Created 202 Accepted 203 Non-Authoritative Information 204 No Content 205 Reset Content 206 Partial Content 207 Multi-Status 208 Already Reported 三…
阅读更多...
Upload-Labs-Linux1【CTF】

Upload-Labs-Linux1【CTF】

拿到这道题目一看&#xff0c;发现是upload靶场&#xff1b;这不简简单单吗&#xff1b;结果中间还是遇到了一些小问题 小坑总结&#xff1a;该关只识别标准php语法&#xff1a;<?php phpinfo()?>格式&#xff1b;即<?php ?> 不识别<? phpinfo()?> &…
阅读更多...
怎么在wifi中实现手机和电脑文件互传

怎么在wifi中实现手机和电脑文件互传

有时我们想手机电脑文件互传&#xff0c;数据线却不在身边&#xff0c;这时我们可以用MiXplorer来实现wifi中手机和电脑互相访问文件。 MiXplorer是一款来自著名安卓开发者论坛XDA的作品&#xff0c;免费且功能强大&#xff0c;被很多人誉为是“全能文件管理器”。 1.在手机上…
阅读更多...
程序环境和预处理（1）

程序环境和预处理（1）

文章目录 目录1. 程序的翻译环境和执行环境2. 详解编译链接2.1 翻译环境2.2 编译本身也分为几个阶段2.3 运行环境 3. 预处理详解3.1 预定义符号3.2 #define3.2.1 #define 定义标识符3.2.2 #define 定义宏3.2.3 #define 替换规则3.2.4 #和##3.2.5 带副作用的宏参数3.2.6 宏和函数…
阅读更多...
数据结构链表力扣例题AC（3）——代码以及思路记录

数据结构链表力扣例题AC（3）——代码以及思路记录

160. 相交链表 给你两个单链表的头节点 headA 和 headB &#xff0c;请你找出并返回两个单链表相交的起始节点。如果两个链表不存在相交节点&#xff0c;返回 null 。 AC写法一 struct ListNode *getIntersectionNode(struct ListNode *headA, struct ListNode *headB) {//思…
阅读更多...
DBAPI如何使用数组类型参数

DBAPI如何使用数组类型参数

DBAPI如何使用数组类型参数 需求 根据多个id去查询学生信息 API创建 在基本信息标签&#xff0c;创建参数ids &#xff0c;参数类型选择 Array<bigint> 在执行器标签&#xff0c;填写sql&#xff0c;使用in查询 select * from student where id in <foreach ope…
阅读更多...
推荐系统经典模型YouTubeDNN

推荐系统经典模型YouTubeDNN

文章目录 YouTubeDNN概念YouTubeDNN模型架构图YouTubeDNN召回阶段YouTubeDNN层级介绍 YouTubeDNN排序阶段YoutubeDNN模型中的一些Trick负采样问题特征构造上下文选择 总结 YouTubeDNN概念 YouTubeDNN是YouTube用于做视频推荐的落地模型&#xff0c;其大体思路就是召回阶段使用…
阅读更多...
33.云原生之Istio管理任何七层流量

33.云原生之Istio管理任何七层流量

云原生专栏大纲 文章目录 Istio存在的问题Aeraki介绍Aeraki 的解决方案支持的协议支持的特性 安装AerakiAeraki教程采用 ServiceEntry 的 Demo 应用使用 Dubbo2Istio 对接 Dubbo 注册表 的 Demo 应用&#xff08;Interface 级流量治理&#xff09; Service Mesh 中有大量的七层…
阅读更多...
2024年全国乙卷高考文科数学备考：历年选择题真题练一练（2014~2023）

2024年全国乙卷高考文科数学备考：历年选择题真题练一练（2014~2023）

今天距离2024年高考还有三个多月的时间&#xff0c;今天我们来看一下2014~2023年全国乙卷高考文科数学的选择题&#xff0c;从过去十年的真题中随机抽取5道题&#xff0c;并且提供解析。后附六分成长独家制作的在线练习集&#xff0c;科学、高效地反复刷这些真题&#xff0c;吃…
阅读更多...
【C语言】linux内核ipoib模块 - ipoib_ib_post_receive

【C语言】linux内核ipoib模块 - ipoib_ib_post_receive

一、中文注释 用于以太网接口&#xff08;InfiniBand&#xff09;上的IP over IB&#xff08;IPoIB&#xff09;设备的Linux内核函数&#xff0c;负责将接收缓冲区&#xff08;一个包&#xff09;提交到网络设备的队列中等待数据到达。下面是中文注释版本的函数代码&#xff1…
阅读更多...
国家建筑装配式内装产业基地在沪成立，副主任单位优积科技协同助推绿色低碳循环发展

国家建筑装配式内装产业基地在沪成立，副主任单位优积科技协同助推绿色低碳循环发展

上海市室内装饰行业协会装配式内装产业专业委员会成立大会暨“国家建筑装配式内装产业基地”项目启动会于3月21日下午1点在上海光大酒店隆重举行。出席此次活动的包括市装协会长徐国俭&#xff0c;市装协党支部书记兼秘书长丛国梁&#xff0c;市装协装配式内装委主任顾泰昌&…
阅读更多...
内容安全补充

内容安全补充

第十一天 密码学 近现代加密算法 古典加密技术 --- 算法保密原则 近现代加密技术 --- 算法公开&#xff0c;密钥保密 对称加密算法&#xff0c;非对称加密算法 对称加密 --- 加密和解密的过程中使用的是同一把密钥。 所以&#xff0c;对称加密所使用的算法一定是一种双向…
阅读更多...
Node.js+vue校内二手物品交易系统tdv06-vscode前后端分离

Node.js+vue校内二手物品交易系统tdv06-vscode前后端分离

二手物品交易系统采用B/S架构&#xff0c;数据库是MySQL。网站的搭建与开发采用了先进的nodejs进行编写&#xff0c;使用了vue框架。该系统从三个对象&#xff1a;由管理员和用户、店铺来对系统进行设计构建。主要功能包括&#xff1a;个人信息修改&#xff0c;对用户、店铺、二…
阅读更多...
【RN】为项目使用React Navigation中的navigator

【RN】为项目使用React Navigation中的navigator

简言 移动应用基本不会只由一个页面组成。管理多个页面的呈现、跳转的组件就是我们通常所说的导航器&#xff08;navigator&#xff09;。 React Navigation 提供了简单易用的跨平台导航方案&#xff0c;在 iOS 和 Android 上都可以进行翻页式、tab 选项卡式和抽屉式的导航布局…
阅读更多...
如何在 Tomcat 中为 Web 应用程序启用和配置缓存？

如何在 Tomcat 中为 Web 应用程序启用和配置缓存？

在Tomcat中为Web应用程序启用和配置缓存通常涉及到对Tomcat的连接器&#xff08;Connector&#xff09;进行配置&#xff0c;以及可能的话&#xff0c;配置Web应用程序本身以支持缓存。 1. 配置Tomcat连接器以启用缓存 Tomcat的连接器可以通过其配置来启用各种…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023