架构设计第七讲：数据巡检系统之daily线上表结构自动化比对

架构设计第七讲：数据巡检系统之daily&线上表结构自动化比对

本文是架构设计第七讲，数据巡检系统之daily&线上表结构自动化比对，避免正式环境与测试环境数据库/表、列结构不一致带来问题。

文章目录

架构设计第七讲：数据巡检系统之daily&线上表结构自动化比对
- 1、背景
- 2、存在问题的场景
- 3、技术方案
- - 3.1、页面如下
  - 3.2、整体流程图
  - 3.3、数据获取
  - 3.4、数据比对
  - 3.5、数据表巡检信息推送
  - 3.6、dbChange
- 4、问题记录
- Action1：为了实现daily环境线上环境数据表比对，需要解决这两问题
- Action2：SpringBoot使用多数据源导致MyBatis分页插件无效

1、背景

daily与线上表结构，索引不一致场景梳理

巡检：巡检业务差异表，表名不一致，已经修改

案例：

alter table finance_sub_order_info modify total_receive decimal(19,3) default 0.000 not null comment '待删除';
alter table finance_sub_order_info modify total_pay decimal(19,3) default 0.000 not null comment '待删除';
alter table finance_sub_order_info modify total_cost decimal(19,3) default 0.000 not null comment '待删除';alter table finance_fare_info modify img text null comment '附件图片';
alter table finance_bill drop column bill_amount;alter table finance_sub_order_settlement drop column price;
alter table finance_sub_order_settlement drop column business_types;
alter table finance_sub_order_settlement drop column invalid_state;
alter table finance_sub_order_settlement drop column record_user;
alter table finance_sub_order_settlement drop column can_settlement;
alter table finance_sub_order_settlement drop column create_user;

车队财务：

finance_sub_order_info

问题1：三个字段待删除
- total_receive decimal(19,3) NOT NULL DEFAULT ‘0.000’ COMMENT ‘总应收’,
- total_pay decimal(19,3) NOT NULL DEFAULT ‘0.000’ COMMENT ‘总应付’,
- total_cost decimal(19,3) NOT NULL DEFAULT ‘0.000’ COMMENT ‘总成本’,
先将这几个字段设置为待删除

finance_fare_info

问题1：
问题2：将AttachmentId设置为必填，默认值为0
- 然后排查下代码中需要做兼容的地方

问题3：finance_fare_info表

confirm_time            datetime           null comment '确认时间',
confirm_user            bigint                null comment '确认人',

这两字段在线上已经被删除了，但是daily环境还存在，需要排查
新功能

问题4：发票号码
- ```
invoice_code   varchar(128)      null comment '发票号码数组，以逗号分割',
```
- 这字段在线上已经被删除了，但是daily环境还存在，需要排查
- 新功能

问题5：协作状态

team_state              int         default 0                    not null comment '协作状态 0非协作费用 1协作费用',

这字段在线上已经被删除了，但是daily环境还存在，需要排查
新功能

finance_bill

问题1：账单总额字段，在线上存在，但是在daily环境不存在
- bill_amount decimal(19,3) NOT NULL DEFAULT '0.000' COMMENT '账单金额',
- 应该被删除

问题2：这几个字段在daily存在

settlement_owned_type      tinyint        default 0                 not null comment '1 自营  2-外协',
settlement_entity_id       bigint         default 0                 not null comment '结算实体id',
settlement_entity_classify tinyint        default 0                 not null comment '结算实体类型,1-司机 2-企业id 3-车队id ',

finance_sub_order_settlement

问题1：费用合计字段，在线上存在，但是在daily环境不存在
- price decimal(19,3) NOT NULL DEFAULT '0.000' COMMENT '费用合计'
问题2：以下5字段，在线上存在，但是在daily环境不存在
- business_types varchar(60) null comment ‘业务类型,送重、门到门、提重、送空、提空、带货、运费’,
- invalid_state int(10) default 0 not null comment ‘是否作废或删除,0:正常订单，1:作废订单,2:删除订单’,
- record_user bigint null comment ‘录单员’,
- can_settlement tinyint null comment ‘是否可结算’,
- create_user bigint not null comment ‘创建人’,
- 需要删除这批数据 已经上线的功能

问题3：索引不一致

-- daily
create index idx_tenantid_settlementtype_invalidstateon falcon_convoy.finance_sub_order_settlement (tenant_id, settlement_type);-- 线上
create index idx_tenantid_settlementtype_invalidstate on falcon_convoy.finance_sub_order_settlement (tenant_id, settlement_type, invalid_state);-- todo 索引名称需要修改

2、存在问题的场景

场景1：索引冲突

两索引tenantId字段重合了，下面这个索引做删除处理

在这里插入图片描述

场景2：索引不一致

-- daily
create index idx_tenantid_settlementtype_invalidstateon falcon_convoy.finance_sub_order_settlement (tenant_id, settlement_type);-- 线上
create index idx_tenantid_settlementtype_invalidstate on falcon_convoy.finance_sub_order_settlement (tenant_id, settlement_type, invalid_state);

场景3：某些字段在线上存在，但是在daily环境不存在

场景4：某些字段在线上已经被删除了，但是daily环境还存在

3、技术方案

3.1、页面如下

在这里插入图片描述

3.2、整体流程图

在这里插入图片描述

目标：避免正式环境与测试环境数据库/表、列结构不一致带来问题。

检测daily环境和线上环境表结构是否一致，不一致的数据记录起来，并推送钉钉告警

步骤1：数据获取

上游：线上环境库+表
下游：daily环境库+表
频率：一周两次即可

步骤2：数据比对

1、线上存在，daily不存在，场景可能是daily环境发生了不兼容的升级改造，消息推送即可；
2、线上不存在，daily存在，场景可能是daily在新增了表，可以将表名存放到redis中，7天后，线上还不存在该表，消息推送；
3、都存在，但是不一致，场景是索引遗漏、comment该了、字段名改了、字段类型改了，立即消息推送。

步骤3：差错处理

不一致的数据记录起来，并推送钉钉告警(对接钉钉机器人)

3.3、数据获取

卡点1：daily环境与线上环境网络不通

解法：将ecs部署到control区

卡点2：多数据源配置，application.yml文件中配置

 datasource:driver-class-name: com.mysql.cj.jdbc.Drivertype: com.alibaba.druid.pool.DruidDataSourcefirst:url: ${huxun.datasource.url}username: ${huxun.datasource.username}password: ${huxun.datasource.password}second:url: ${huxun.datasource.daily.url}username: ${huxun.datasource.daily.username}password: ${huxun.datasource.daily.password}

多数据源具体实现：

1、定义一个动态数据源： 继承AbstractRoutingDataSource 抽象类，并重写determineCurrentLookupKey（）方法

public class DynamicDataSource extends AbstractRoutingDataSource {@Overrideprotected Object determineCurrentLookupKey() {DataSourceType.DataBaseType dataBaseType = DataSourceType.getDataBaseType();return dataBaseType;}
}

2、创建一个切换数据源类型的类

public class DataSourceType {public enum DataBaseType {//默认数据库FIRST,SECOND;}// 使用ThreadLocal保证线程安全private static final ThreadLocal<DataBaseType> TYPE = new ThreadLocal<DataBaseType>();// 往当前线程里设置数据源类型public static void setDataBaseType(DataBaseType dataBaseType) {if (dataBaseType == null) {throw new NullPointerException();}System.out.println("[将当前数据源改为]：" + dataBaseType);TYPE.set(dataBaseType);}// 获取数据源类型public static DataBaseType getDataBaseType() {DataBaseType dataBaseType = TYPE.get() == null ? DataBaseType.FIRST : TYPE.get();System.out.println("[获取当前数据源的类型为]：" + dataBaseType);return dataBaseType;}// 清空数据类型（清理时机不好掌控，且目前ThreadLocal只存在一个值，不清理也没影响）public static void clearDataBaseType() {TYPE.remove();}
}

3、定义多个数据源： 将定义好的多个数据源放在动态数据源中。

@Configuration
@MapperScan(basePackages = {"com.huxun.inspection.mapper"}, sqlSessionFactoryRef = "SqlSessionFactory")
public class DruidConfig {@Bean(name = "firstDataSource")@Primary@ConfigurationProperties(prefix = "spring.datasource.first")public DataSource firstDataSource(){return DruidDataSourceBuilder.create().build();}@Bean(name = "secondDataSource")@ConfigurationProperties(prefix = "spring.datasource.second")public DataSource secondDataSource(){return DruidDataSourceBuilder.create().build();}@Bean(name = "dynamicDataSource")public DynamicDataSource DataSource(@Qualifier("firstDataSource") DataSource test1DataSource,@Qualifier("secondDataSource") DataSource test2DataSource) {Map<Object, Object> targetDataSource = new HashMap<>();targetDataSource.put(DataSourceType.DataBaseType.FIRST, test1DataSource);targetDataSource.put(DataSourceType.DataBaseType.SECOND, test2DataSource);DynamicDataSource dataSource = new DynamicDataSource();dataSource.setTargetDataSources(targetDataSource);dataSource.setDefaultTargetDataSource(test1DataSource);return dataSource;}@Bean(name = "SqlSessionFactory")public SqlSessionFactory test1SqlSessionFactory(@Qualifier("dynamicDataSource") DataSource dynamicDataSource)throws Exception {SqlSessionFactoryBean bean = new SqlSessionFactoryBean();bean.setDataSource(dynamicDataSource);bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath*:mapper/*.xml"));return bean.getObject();}
}

4、定义AOP： 用于切换不同业务数据库的入口。

@Aspect
@Component
public class DataSourceAspect {@Before("execution(* com.huxun.inspection.mapper..Daily*.*(..))")public void setDataSource2test01() {System.err.println("读取第二个数据源");DataSourceType.setDataBaseType(DataSourceType.DataBaseType.SECOND);}@Before("execution(* com.huxun.inspection.mapper..*.*(..)) && !execution(* com.huxun.inspection.mapper..Daily*.*(..))")public void setDataSource2test02() {System.err.println("读取第一个数据源");DataSourceType.setDataBaseType(DataSourceType.DataBaseType.FIRST);}
}

整体目录如图：

在这里插入图片描述

需要权限，能读取information_schema.TABLES 数据

在这里插入图片描述

定时任务执行时机：每周三和周五（发版后的第一天）
在这里插入图片描述

3.4、数据比对

逻辑如下：

1、线上存在，daily不存在，场景可能是daily环境发生了不兼容的升级改造，消息推送即可；
2、线上不存在，daily存在，场景可能是daily在新增了表，可以将表名存放到redis中，7天后，线上还不存在该表，消息推送；
3、都存在，但是不一致，场景是索引遗漏、comment该了、字段名改了、字段类型改了，立即消息推送。

3.5、数据表巡检信息推送

业务类型：%s 数据不一致，请及时处理
表名：%s
负责人：%s
%s 上下游数据不一致，请及时处理
差异类别(0-create、1-update、2-delete)：%s
批次id：%s

3.6、dbChange

表1：table差异巡检表

CREATE TABLE IF NOT EXISTS `table_diff_inspection`(`id`           bigint 				    unsigned auto_increment comment '主键id' primary key,`biz_id`       bigint             not null comment '业务id',`batch_id`     bigint      				not	null comment '批次id',`status`       tinyint(1)         default 0  not null comment '状态,0-待确认,1-确认',`key_field_json` longtext         not null comment '业务关键字段数据',`diff_type`      tinyint          null comment '差异类别 (0-create、1-update、2-delete)',`db_name`    varchar(50)          not null COMMENT '库名',`group_name`    varchar(50)            not null COMMENT '处理人',`create_user`   bigint            not null comment '创建人',`update_user`   bigint            null comment '更新人',`create_time` datetime default CURRENT_TIMESTAMP not null comment '创建时间',`update_time`   datetime default CURRENT_TIMESTAMP not null on update CURRENT_TIMESTAMP comment '更新时间'
) DEFAULT CHARACTER SET = utf8mb4 COMMENT = 'table差异巡检表';
create index idx_batchId_bizIds on falcon_inspection.falcon_table_diff (batch_id, biz_id);

4、问题记录

问题1：dbName没有值

在这里插入图片描述

问题2：表结构修改

/*** 创建人*/
private Long createUser;/*** 更新人*/
private Long updateUser;/*** 创建时间*/
private Date createTime;
/*** 更新时间*/
private Date updateTime;

问题3：钉钉机器人的流控

send too fast, exceed 20 times per minute：每分钟最多 20 条
1. 会限流10分钟
推送消息体过大单条消息最长 2000 字节

问题4：sql解析失败
param:insert ignore into falcon_convoy.tp_4740783_ogt_finance_fare_**info** (id, tenant_id, sub_order_id, sub_order_carrier_id, sub_order_settlement_id, fare_item_id, bill_no, settlement_type, settlement_id, creator_type, price, tax_rate, currency, img, attachment_id, remark, confirm_state, confirm_no, confirm_user, confirm_remark, confirm_time, collate_state, invoice_state, invoice_user, invoice_code, invoice_time, verify_state, verify_user, verify_time, team_fare_state, team_state, deleted, create_user, update_user, create_time, update_time) select id, tenant_id, sub_order_id, sub_order_carrier_id, sub_order_settlement_id, fare_item_id, bill_no, settlement_type, settlement_id, creator_type, price, tax_rate, currency, img, attachment_id, remark, confirm_state, confirm_no, confirm_user, confirm_remark, confirm_time, collate_state, invoice_state, invoice_user, invoice_code, invoice_time, verify_state, verify_user, verify_time, team_fare_state, team_state, deleted, create_user, update_user, create_time, update_time from falcon_convoy.finance_fare_**info** force index (primary) where id > $0 and (id < $1 or id = $2) lock in share mode