Flink实时数仓同步：拉链表实战详解

一、背景

在大数据领域，业务数据通常最初存储在关系型数据库，例如MySQL。然而，为了满足日常分析和报表等需求，大数据平台会采用多种不同的存储方式来容纳这些业务数据。这些存储方式包括离线仓库、实时仓库等，根据不同的业务需求和数据特性进行选择。

举例来说，假设业务部门需要在大数据平台中查看历史某一天的表数据，如下：

  1. [Mysql] 业务数据 - 用户表全量数据：
idnamephonegendercreate_timeupdate_time
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason222男2023-06-01 13:00:002023-06-01 13:00:00
3tom333男2023-06-01 13:00:002023-06-01 13:00:00
  1. [Mysql] 2023-06-02 业务数据新增了一名用户，且更改了tom的手机号，此时表数据如下：
idnamephonegendercreate_timeupdate_time
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason222男2023-06-01 13:00:002023-06-01 13:00:00
3tom444男2023-06-01 13:00:002023-06-02 09:00:00
4tony555男2023-06-02 10:00:002023-06-02 10:00:00

加粗为更新/新增数据

  1. [大数据平台] 2023-06-02日业务人员在大数据平台中查看用户表实时数据，期望数据和Mysql业务数据一致，如下：
idnamephonegendercreate_timeupdate_time
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason222男2023-06-01 13:00:002023-06-01 13:00:00
3tom444男2023-06-01 13:00:002023-06-02 09:00:00
4tony555男2023-06-02 10:00:002023-06-02 10:00:00
  1. [大数据平台] 2023-06-03 日业务人员在大数据平台中查看2023-06-02日用户表的历史数据，期望数据如下：
idnamephonegendercreate_timeupdate_time
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason222男2023-06-01 13:00:002023-06-01 13:00:00
3tom333男2023-06-01 13:00:002023-06-01 13:00:00

根据以上需求，业务人员希望既能够查看当天的实时数据，又希望查看以天为粒度的历史数据。这类需求比较常见，通常可以采用两种解决方式：

  1. Lambda架构
  2. 实时同步 + 拉链表架构

二、Lambda架构

实时领域的Lambda架构是一种大数据架构模式，旨在处理实时数据流和历史数据批处理，以满足同时满足实时查询和历史数据分析的需求。Lambda架构的核心思想是将数据分成两个独立的流程：实时流程和批处理流程，并在最终层将它们合并，以提供一致的查询结果，如下：

在这里插入图片描述

  1. 实时流程（Real-time Layer）：实时流程负责处理实时产生的数据流。它通常包括以下关键组件：

    • 数据源：实时数据源，如binlog日志等。
    • 实时引擎：用于实时数据的处理和转换，例如Apache Kafka、Apache Flink等。
    • 存储层：用于存储实时数据，特点是插入快，支持OLAP查询。

  2. 离线处理流程（Batch Layer）：离线处理流程用于处理历史数据，通常以 T+1 凌晨跑批方式运行，主要包括以下组件：

    • 数据仓库：批处理数据存储，通常使用分布式数据仓库，如Apache Hadoop HDFS、Apache Hive等。
    • 批处理作业：用于处理历史数据的定期批处理作业，例如数据清洗、转换和聚合。

  3. 合并层（Serving Layer）：合并层负责将实时和历史数据合并以提供一致的查询接口：

    • 数据服务：根据用户查询内容选择性调用不同存储服务，用于将实时数据和批处理数据合并以生成一致的视图。

  4. Lambda架构的主要优点包括：

    • 实时性：能够提供近实时的数据处理和反馈，适用于需要快速决策和实时监控的场景。

    • 容错性：通过将数据存储在持久性存储中，保证了数据的可靠性和可恢复性。

    • 灵活性：可以应对多种不同的数据类型和查询需求，适用于各种大数据应用。

注意：尽管Lambda架构可以满足业务人员查看用户的实时或历史数据的需求，但离线数据仓库通常采用T+1批处理方式运行，因此在需要高度一致性的场景下会出现数据不一致问题。故本文未采用Lambda架构；

若想详细了解一致性问题的情况，请参考笔者另一篇文章：深入数仓离线数据同步：问题分析与优化措施

三、实时同步+拉链表架构

为了满足业务人员对实时或历史数据的高度一致性需求，并且为了简化架构，这里采用了实时+拉链表的技术方案。在这个架构中，只使用了一种计算引擎，具体的技术组件为 Flink-cdc-2.x + Doris。以下是我们架构的设计概述：

在这里插入图片描述

此架构的关键在于实时同步逻辑及拉链表设计这两块的实现。

3.1、拉链表设计

拉链表是一种维护历史状态以及最新状态数据的表，与快照表类似，算是在快照表的基础上去除了重复状态的数据；使用拉链表在更新频率和比例不是很大的情况下会十分节省存储。

3.1.1、示例

  1. 我们以背景需求为例，[Mysql]业务数据用户表如下：
idnamephonegendercreate_timeupdate_time
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason222男2023-06-01 13:00:002023-06-01 13:00:00
3tom333男2023-06-01 13:00:002023-06-01 13:00:00
  1. [Doris]此时实时同步到Doris的拉链表数据为：
idnamephonegendercreate_timeupdate_timeexpirestart dateend date
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31

可以看到拉链表多了expire，start date，end date 三个字段，用于表示该条数据是否过期、开始时间及有效时间，下面会有说明

  1. [Mysql] 2023-06-02 业务数据新增了一名用户，更新了tom的手机号，此时表数据如下：
idnamephonegendercreate_timeupdate_time
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason222男2023-06-01 13:00:002023-06-01 13:00:00
3tom444男2023-06-01 13:00:002023-06-02 09:00:00
4tony555男2023-06-02 10:00:002023-06-02 10:00:00

加粗为更改/新增数据

  1. [Doris]此时实时同步到Doris的拉链表数据为：
idnamephonegendercreate_timeupdate_timeexpirestart_dateend_date备注
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-01(由9999-12-31改为2023-06-01)
3tom444男2023-06-01 13:00:002023-06-02 09:00:0002023-06-029999-12-31(新增一条拉链数据)
4tony555男2023-06-02 10:00:002023-06-02 10:00:0002023-06-029999-12-31(新增一条最新用户数据)

由于tom的手机号被修改，根据拉链表特性此时会新增一条最新的tom数据，且过期时间为9999-12-31，旧数据不会删除而是将有效时间end date改为2023-06-01

  1. [Mysql] 2023-06-03 当天多次更新业务数据jason用户的手机号，sql及表数据如下：
UPDATE `user` SET `phone`='333', `update_time`='2023-06-03 10:00:00' WHERE `id`=2;
UPDATE `user` SET `phone`='444', `update_time`='2023-06-03 12:00:00' WHERE `id`=2;
UPDATE `user` SET `phone`='555', `update_time`='2023-06-03 14:00:00' WHERE `id`=2;
idnamephonegendercreate_timeupdate_time备注
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason555男2023-06-01 13:00:002023-06-03 14:00:00(jason手机号从222 -> 333 -> 444 -> 555更改了三次)
3tom444男2023-06-01 13:00:002023-06-02 09:00:00
4tony555男2023-06-02 10:00:002023-06-02 10:00:00
  1. [Doris]此时实时同步到Doris的拉链表数据为：
idnamephonegendercreate_timeupdate_timeexpirestart_dateend_date备注
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-02(由9999-12-31改为2023-06-02)
2jason333男2023-06-01 13:00:002023-06-03 10:00:0012023-06-032023-06-03(当天更新多次的过期数据)
2jason444男2023-06-01 13:00:002023-06-03 12:00:0012023-06-032023-06-03(当天更新多次的过期数据)
2jason555男2023-06-01 13:00:002023-06-03 14:00:0002023-06-039999-12-31(新增一条拉链数据)
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-01
3tom444男2023-06-01 13:00:002023-06-02 09:00:0002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:0002023-06-029999-12-31

使用 expire 字段来表示记录是否过期，下面会说明

  1. 说明

  • start_date表示该条记录的生命周期开始时间【第一次全量同步时为系统时间，增量同步时为update_time时间】，end_date表示该条记录的生命周期结束时间

  • end_date = '9999-12-31’表示该条记录为最新数据

  • end_date = '2023-06-02’表示该条记录仅在2023-06-02当日有效

  • expire字段用于标识记录的状态，1表示记录已过期，0表示记录有效。该字段目的是用于过滤那些在一天之内多次更新的数据

  • 如果查询当前的最新记录，sql为：select * from user where end_date = ‘9999-12-31’

  • 如果查询2023-06-02的历史快照，sql为：select * from user where start_date <= ‘2023-06-02’ and end_date >= ‘2023-06-02’ and expire = 0（此处是拉链表比较重要的一块）

  • 解释上一条sql：需求是要查2023-06-02的历史快照，故start_date <= ‘2023-06-02’；而end_date = '2023-06-02’表示该条记录在2023-06-02当日是有效的，又因为end_date = '9999-12-31’表示目前一直处于有效状态【有可能从2023-06-02到目前一直有效的数据】，所以end_date >= ‘2023-06-02’

  • 示例：查询2023-06-01日历史数据：select * from user where start_date <= ‘2023-06-01’ and end_date >= ‘2023-06-01’ and expore = 0

idnamephonegendercreate_timeupdate_timestart dateend date
1jack111男2023-06-01 13:00:002023-06-01 13:00:002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:002023-06-012023-06-02
3tom333男2023-06-01 13:00:002023-06-01 13:00:002023-06-012023-06-01
  • 示例：查询2023-06-02日历史数据：select * from user where start_date <= ‘2023-06-02’ and end_date >= ‘2023-06-02’ and expore = 0
idnamephonegendercreate_timeupdate_timestart dateend date
1jack111男2023-06-01 13:00:002023-06-01 13:00:002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:002023-06-012023-06-02
3tom444男2023-06-01 13:00:002023-06-02 09:00:002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:002023-06-029999-12-31
  • 示例：查询最新实时数据：select * from user where end_date = ‘9999-12-31’
idnamephonegendercreate_timeupdate_timestart dateend date
1jack111男2023-06-01 13:00:002023-06-01 13:00:002023-06-019999-12-31
2jason555男2023-06-01 13:00:002023-06-03 14:00:002023-06-039999-12-31
3tom444男2023-06-01 13:00:002023-06-02 09:00:002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:002023-06-029999-12-31

3.1.2、建表设计

在Doris中的表设计中，采用了Unique数据模型，这个决策的背后有一个关键因素，即利用唯一Key来处理Flink作业崩溃和重新启动时的数据覆盖操作，以及通过下游的幂等性来确保端到端的数据一致性。

唯一Key的选择在这里起到了至关重要的作用。在拉链表中，由于用户ID可能重复出现的情况【例如2023-06-02号tom就有两条数据】，故选择了一个组合Key: UNIQUE KEY(id, update_time) 来确保数据的唯一性。这种设计使得无论在什么情况下，我们都能够通过这个唯一Key来维护数据的一致性，即使在处理实时数据时发生了异常情况或重新启动作业时也不会出现问题。

  • 以上述为例建表语句如下：
CREATE TABLE IF NOT EXISTS example_user_zip
(`id` LARGEINT NOT NULL COMMENT "用户id",`update_time` DATETIME COMMENT "用户更新时间",`create_time` DATETIME COMMENT "用户注册时间",`name` VARCHAR(50) NOT NULL COMMENT "用户昵称",`phone` LARGEINT COMMENT "手机号",`gender` VARCHAR(5) COMMENT "用户性别",`expire` TINYINT DEFAULT '0' COMMENT "数据是否过期:0为有效,1为过期",`start_date` DATE COMMENT "开始时间",`end_date` DATE COMMENT "有效时间"
)
UNIQUE KEY(`id`, `update_time`) -- UNIQUE模型
COMMENT "用户拉链表"
DISTRIBUTED BY HASH(`id`) BUCKETS 32
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);

关于doris更多数据模型可参考官网

3.2、实时同步逻辑【重要】

为了更清晰地解释拉链表的同步逻辑，我将以场景的方式逐步说明，如下：

  1. 全量更新

  2. 增量更新

    1. 新增数据
    2. 跨天更新数据
    3. 某条数据当天多次更新
    4. 删除数据

  3. 并发更新

3.2.1、全量更新

  1. 需先明确一点：拉链表的历史数据查询范围是从实时任务同步的那天开始，因为只有在实时任务开始同步的那一天之后，拉链表才正式形成，之前的历史数据是不可查询的。因此，当进行第一次全量同步时，我们会将 start_date 设置为当前系统日期。

  2. 另外，由于实时拉链表同步需要明确区分全量和增量更新，以及后续对 binlog 数据进行解析及判断增量更新操作类型，因此，Flink CDC SQL 方式的表建立不再满足我们的要求。为了更好地实现这一功能，我们需要采用 API 方式来构建解决方案，代码如下：

import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
import com.ververica.cdc.connectors.mysql.source.MySqlSource;public class MySqlSourceExample {public static void main(String[] args) throws Exception {MySqlSource<String> mySqlSource = MySqlSource.<String>builder().hostname("yourHostname").port(yourPort).databaseList("yourDatabaseName") // 设置捕获的数据库， 如果需要同步整个数据库，请将 tableList 设置为 ".*"..tableList("yourDatabaseName.yourTableName") // 设置捕获的表.username("yourUsername").password("yourPassword").deserializer(new JsonDebeziumDeserializationSchema()) // 将 SourceRecord 转换为 JSON 字符串.build();StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();// 设置 3s 的 checkpoint 间隔env.enableCheckpointing(3000);env.fromSource(mySqlSource, WatermarkStrategy.noWatermarks(), "MySQL Source")// 设置 source 节点的并行度为 4.setParallelism(4).print().setParallelism(1); // 设置 sink 节点并行度为 1 env.execute("Print MySQL Snapshot + Binlog");}
}

代码摘自mysql-cdc-connector官网示例

  1. 这里我们仍以2023-06-01的[Mysql]业务数据为例：
idnamephonegendercreate_timeupdate_time
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason222男2023-06-01 13:00:002023-06-01 13:00:00
3tom333男2023-06-01 13:00:002023-06-01 13:00:00
  1. 此时Flink应用获取到的数据如下：仅展示一条
{"before": null,"after": {		 # 实际数据"id": 1,"name": "jack","phone": "111","gender": "男","create_time": "2023-06-01T05:00:00Z",  # 该日期是UTC时间,只需增加8小时即可转化为北京时间"update_time": "2023-06-01T05:00:00Z"	# 该日期是UTC时间,只需增加8小时即可转化为北京时间},"source": {		 # 元数据"version": "1.6.4.Final","connector": "mysql","name": "mysql_binlog_source","ts_ms": 0,"snapshot": "false","db": "yushu_dds","sequence": null,"table": "user","server_id": 0,"gtid": null,"file": "","pos": 0,"row": 0,"thread": null,"query": null},"op": "r",  	 # 记录每条数据的操作类型[重要]"ts_ms": 1705471382867,"transaction": null
}
  1. 在我们使用 Flink CDC MySQL 同步数据时，默认采用 initial 模式，这意味着首先进行全量同步，然后再进行增量同步。因此，在区分全量和增量同步时，关键在于观察获取到的数据中的 op 字段。op 字段是用来记录每条数据的操作类型的标志。具体的操作类型如下：
    • op=d 代表删除操作
    • op=u 代表更新操作
    • op=c 代表新增操作
    • op=r 代表全量读取，而不是来自 binlog 的增量读取
  2. 在 Flink 程序中，只需要通过 op=r 即可筛选出全量数据。在全量数据同步阶段，Doris 拉链表的 start_date 字段设置为系统当前日期，而 end_date 字段则设置为 ‘9999-12-31’。导入语句如下：
INSERT INTO example_user_zip (id, update_time, create_time, name, phone, gender, expire, start_date, end_date)
VALUES 
(1, '2023-06-01 13:00:00', '2023-06-01 13:00:00', 'jack', 111, '男', 0, '2023-06-01', '9999-12-31'),
(2, '2023-06-01 13:00:00', '2023-06-01 13:00:00', 'jason', 222, '男', 0, '2023-06-01', '9999-12-31'),
(3, '2023-06-01 13:00:00', '2023-06-01 13:00:00', 'tom', 333, '男', 0, '2023-06-01', '9999-12-31');
  1. 此时doris拉链表数据如下所示：
idnamephonegendercreate_timeupdate_timeexpirestart_dateend date
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31

3.2.2、增量更新

当全量更新结束后即为增量更新，请注意以下内容：

  1. 在增量更新时，Doris 拉链表中的 start_date 字段【即开始时间】不再使用系统时间，而是业务数据的 update_time 截取后的日期。例如，update_time 为 “2023-06-02 13:00:00”，则对应的 start_date 为 “2023-06-02”。这么做的目的是为了确保使用事件时间来划分数据的开始时间，而不是系统时间。
  2. 举例来说，如果采用系统时间，假设实时同步任务某一天宕机并且没有重启，等到隔天再重启，那么 start_date 就会变成隔天日期，从而导致昨天的数据丢失。
  3. 为什么不使用业务数据的 create_time 作为拉链表的 start_date 呢？这是因为在业务数据更改时，通常只会更新 update_time。例如，2023-06-02 日更新了 “Tom” 的手机号码，此时同步到 Doris 新增的拉链数据如果使用 create_time，那么 start_date 仍然会是 “2023-06-01”，而实际上该条数据应该从 “2023-06-02” 日开始生效。因此，使用 update_time 更加合理，确保拉链表中的数据始终按照业务数据的更新时间来进行正确的版本管理。

接下来，我们将逐一讲解以下四个场景：新增更新、跨天更新、某条数据当天多次更新以及删除更新。

3.2.2.1、新增更新
  1. 我们仍以最初的示例为例：[Mysql] 2023-06-02 业务数据新增了一名用户，此时表数据如下：
idnamephonegendercreate_timeupdate_time
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason222男2023-06-01 13:00:002023-06-01 13:00:00
3tom333男2023-06-01 13:00:002023-06-01 13:00:00
4tony555男2023-06-02 10:00:002023-06-02 10:00:00

加粗为更新/新增数据

  1. 此时Flink应用获取到的数据如下所示：
{"before": null,"after": {"id": 4,"name": "tony","phone": "555","gender": "男","create_time": "2023-06-02T02:00:00Z","update_time": "2023-06-02T02:00:00Z"},"source": {# 此处元数据省略},"op": "c","ts_ms": 1705477497504,"transaction": null
}
  1. 可以看到op=c 代表新增操作，对于新增操作doris拉链表的start_end为业务数据的update_time，而end_date均设置为9999-12-31，导入语句如下：
INSERT INTO example_user_zip (id, update_time, create_time, name, phone, gender, expire, start_date, end_date)
VALUES 
(4, '2023-06-02 10:00:00', '2023-06-02 10:00:00', 'tony', 555, '男', 0, '2023-06-02', '9999-12-31');
  1. 此时doris拉链表内容如下所示：
idnamephonegendercreate_timeupdate_timeexpirestart_dateend_date
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:0002023-06-029999-12-31

加粗表示更新/新增数据

3.2.2.2、跨天更新

首先，解释一下为何要需要区分两种不同的更新场景：跨天更新和当天多次更新。这涉及到拉链表的历史数据粒度，拉链表通常以天为单位。如果一条数据在同一天内多次更新，那么每次更新后的数据的生存时间将只有几小时甚至几分钟。在这种情况下，我们希望在拉链表中将这种多次更新的临时数据设为过期数据；细节在后续会有讲解，先来解释跨天更新场景。

  1. 我们仍以最初的示例为例：[Mysql] 2023-06-02 业务数据更新了tom的手机号，此时表数据如下：
idnamephonegendercreate_timeupdate_time
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason222男2023-06-01 13:00:002023-06-01 13:00:00
3tom444男2023-06-01 13:00:002023-06-02 09:00:00
4tony555男2023-06-02 10:00:002023-06-02 10:00:00

加粗为更新/新增数据

  1. 此时Flink应用获取到的数据如下所示：
{"before": {	 # 更新前的数据"id": 3,"name": "tom","phone": "333","gender": "男","create_time": "2023-06-01T05:00:00Z","update_time": "2023-06-01T05:00:00Z"},"after": {	# 更新后的数据"id": 3,"name": "tom","phone": "444",  # 手机号更新"gender": "男","create_time": "2023-06-01T05:00:00Z","update_time": "2023-06-02T01:00:00Z"  # 更新时间更新},"source": {# 此处元数据省略},"op": "u","ts_ms": 1705479637926,"transaction": null
}
  1. 当我们在Flink应用中遇到op=u（代表更新操作）时，首先需要检查before和after字段中的update_time是否跨越了天粒度。可能跨越一天，也可能跨越多天，我们将在Doris拉链表中执行两条SQL语句：一条更新语句和一条插入语句。
    1. 对于更新语句，我们将更新拉链表中旧数据id的end_date字段，将其设置为after字段中update_time的前一天2023-06-01。
    2. 对于插入语句，我们将插入after字段中的新数据，将start_date设置为update_time的日期，end_date设置9999-12-31），以确保该数据在拉链表中一直有效。
    3. sql如下所示：
-- 更新语句：
UPDATE example_user_zip SET end_date = '2023-06-01' WHERE `id`=3 AND `update_time`='2023-06-01 13:00:00';-- 插入语句：
INSERT INTO example_user_zip (id, update_time, create_time, name, phone, gender, expire, start_date, end_date)
VALUES 
(3, '2023-06-02 09:00:00', '2023-06-01 13:00:00', 'tom', 444, '男', 0, '2023-06-02', '9999-12-31');
  1. 此时doris拉链表内容如下所示：
idnamephonegendercreate_timeupdate_timeexpirestart_dateend_date
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-01
3tom444男2023-06-01 13:00:002023-06-02 09:00:0002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:0002023-06-029999-12-31

加粗表示更新/新增数据

  1. 此时若要查看2023-06-01历史数据只需执行：
SELECT * FROM example_user_zip WHERE start_date <= '2023-06-01' AND end_date >= '2023-06-01' AND expire = 0;
idnamephonegendercreate_timeupdate_timeexpirestart dateend date
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-01
3.2.2.3、某条数据当天多次更新

在我们的拉链表中，数据的粒度是以天为单位。如果一条数据在同一天内多次更新，我们的处理策略是取最后一次更新为有效数据，而将之前的更新标记为过期数据。为了标记数据是否过期，我们会将过期数据的expire字段设置为1。

  1. 我们仍以最初的示例为例：[Mysql] 2023-06-03 当天多次更新业务数据jason用户的手机号，sql及表数据如下：
UPDATE `user` SET `phone`='333', `update_time`='2023-06-03 10:00:00' WHERE `id`=2;
UPDATE `user` SET `phone`='444', `update_time`='2023-06-03 12:00:00' WHERE `id`=2;
UPDATE `user` SET `phone`='555', `update_time`='2023-06-03 14:00:00' WHERE `id`=2;
idnamephonegendercreate_timeupdate_time备注
1jack111男2023-06-01 13:00:002023-06-01 13:00:00
2jason555男2023-06-01 13:00:002023-06-03 14:00:00(jason手机号从222 -> 333 -> 444 -> 555更改了三次)
3tom444男2023-06-01 13:00:002023-06-02 09:00:00
4tony555男2023-06-02 10:00:002023-06-02 10:00:00
  1. 此时Flink应用获取到的数据如下所示：
{"before": {"id": 2,"name": "jason","phone": "222","gender": "男","create_time": "2023-06-01T05:00:00Z","update_time": "2023-06-01T05:00:00Z"},"after": {"id": 2,"name": "jason","phone": "333","gender": "男","create_time": "2023-06-01T05:00:00Z","update_time": "2023-06-03T02:00:00Z"},"source": {# 元数据忽略		},"op": "u","ts_ms": 1705548298335,"transaction": null
},
{"before": {"id": 2,"name": "jason","phone": "333","gender": "男","create_time": "2023-06-01T05:00:00Z","update_time": "2023-06-03T02:00:00Z"},"after": {"id": 2,"name": "jason","phone": "444","gender": "男","create_time": "2023-06-01T05:00:00Z","update_time": "2023-06-03T04:00:00Z"},"source": {# 元数据忽略		},"op": "u","ts_ms": 1705548298392,"transaction": null
},
{"before": {"id": 2,"name": "jason","phone": "444","gender": "男","create_time": "2023-06-01T05:00:00Z","update_time": "2023-06-03T04:00:00Z"},"after": {"id": 2,"name": "jason","phone": "555","gender": "男","create_time": "2023-06-01T05:00:00Z","update_time": "2023-06-03T06:00:00Z"},"source": {# 元数据忽略},"op": "u","ts_ms": 1705548298484,"transaction": null
}

  1. 当我们在Flink应用中遇到op=u（代表更新操作），且检查before和after字段中的update_time属于同一天，我们将在Doris拉链表中执行两条SQL语句：一条更新语句和一条插入语句。

    1. 对于更新语句，我们将更新拉链表中旧数据id的expire字段设置为1，将其设置为end_date字段值设置为update_time的当天日期2023-06-03。
    2. 对于插入语句，我们将插入after字段中的新数据，将start_date设置为update_time的当天日期，end_date设置9999-12-31），以确保该数据在拉链表中一直有效。
    3. sql如下所示：
    -- 222 -> 333 跨天更新语句：
UPDATE example_user_zip SET end_date = '2023-06-02' WHERE `id`=2 AND `update_time`='2023-06-01 13:00:00';-- 222 -> 333 跨天插入语句：
INSERT INTO example_user_zip (id, update_time, create_time, name, phone, gender, expire, start_date, end_date)
VALUES 
(2, '2023-06-03 10:00:00', '2023-06-01 13:00:00', 'jason', 333, '男', 0, '2023-06-03', '9999-12-31');-- 333 -> 444 同一天更新语句：
UPDATE example_user_zip SET expire = 1, end_date = '2023-06-03' WHERE `id`=2 AND `update_time`='2023-06-03 10:00:00';-- 333 -> 444 同一天插入语句：
INSERT INTO example_user_zip (id, update_time, create_time, name, phone, gender, expire, start_date, end_date)
VALUES 
(2, '2023-06-03 12:00:00', '2023-06-01 13:00:00', 'jason', 444, '男', 0, '2023-06-03', '9999-12-31');-- 444 -> 555 同一天更新语句：
UPDATE example_user_zip SET expire = 1, end_date = '2023-06-03' WHERE `id`=2 AND `update_time`='2023-06-03 12:00:00';-- 444 -> 555 同一天插入语句：
INSERT INTO example_user_zip (id, update_time, create_time, name, phone, gender, expire, start_date, end_date)
VALUES 
(2, '2023-06-03 14:00:00', '2023-06-01 13:00:00', 'jason', 555, '男', 0, '2023-06-03', '9999-12-31');

  2. 此时doris拉链表内容如下所示：

idnamephonegendercreate_timeupdate_timeexpirestart_dateend_date备注
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-02(由9999-12-31改为2023-06-02)
2jason333男2023-06-01 13:00:002023-06-03 10:00:0012023-06-032023-06-03(当天更新多次的过期数据)
2jason444男2023-06-01 13:00:002023-06-03 12:00:0012023-06-032023-06-03(当天更新多次的过期数据)
2jason555男2023-06-01 13:00:002023-06-03 14:00:0002023-06-039999-12-31(新增一条最新数据)
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-01
3tom444男2023-06-01 13:00:002023-06-02 09:00:0002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:0002023-06-029999-12-31
  1. 此时若要查看2023-06-03历史数据只需执行：
SELECT * FROM example_user_zip WHERE start_date <= '2023-06-03' AND end_date >= '2023-06-03' AND expire = 0;
idnamephonegendercreate_timeupdate_timestart_dateend_date
1jack111男2023-06-01 13:00:002023-06-01 13:00:002023-06-019999-12-31
2jason222男2023-06-01 13:00:002023-06-01 13:00:002023-06-012023-06-02
3tom444男2023-06-01 13:00:002023-06-02 09:00:002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:002023-06-029999-12-31
3.2.2.4、删除更新

由于[Mysql]业务数据都具备唯一键，故业务数据的删除同步至拉链表无需判断是否跨天，只需更新删除数据的end_date日期为前一天即可。

  1. [Mysql] 2023-06-04 当天删除业务数据jack，表数据如下：
idnamephonegendercreate_timeupdate_time备注
2jason555男2023-06-01 13:00:002023-06-03 14:00:00(jason手机号从222 -> 333 -> 444 -> 555更改了三次)
3tom444男2023-06-01 13:00:002023-06-02 09:00:00
4tony555男2023-06-02 10:00:002023-06-02 10:00:00
  1. 此时Flink应用获取到的数据如下所示：
{"before": {"id": 1,"name": "jack","phone": "111","gender": "男","create_time": "2023-06-01T05:00:00Z","update_time": "2023-06-01T05:00:00Z"},"after": null,"source": {# 忽略元数据},"op": "d", 	# 操作类型"ts_ms": 1705561813650,"transaction": null
}
  1. 可以看到op=d 代表删除操作，对于删除操作doris拉链表只需将before数据的date_date日期更新为前一日2023-06-03，导入语句如下：
-- 更新语句
UPDATE example_user_zip SET end_date = '2023-06-03' WHERE `id`=1 AND `update_time`='2023-06-01 13:00:00';
  1. 此时doris拉链表内容如下所示：
idnamephonegendercreate_timeupdate_timeexpirestart_dateend_date备注
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-03(由9999-12-31改为2023-06-03)
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-02
2jason333男2023-06-01 13:00:002023-06-03 10:00:0012023-06-032023-06-03
2jason444男2023-06-01 13:00:002023-06-03 12:00:0012023-06-032023-06-03
2jason555男2023-06-01 13:00:002023-06-03 14:00:0002023-06-039999-12-31
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-01
3tom444男2023-06-01 13:00:002023-06-02 09:00:0002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:0002023-06-029999-12-31
  1. 此时若要查看2023-06-04数据只需执行：
SELECT * FROM example_user_zip WHERE start_date <= '2023-06-04' AND end_date >= '2023-06-04' AND expire = 0;
idnamephonegendercreate_timeupdate_timestart_dateend_date
2jason222男2023-06-01 13:00:002023-06-01 13:00:002023-06-012023-06-02
3tom444男2023-06-01 13:00:002023-06-02 09:00:002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:002023-06-029999-12-31

3.2.3、并发更新

这里单独强调并发更新场景是因为在关系型数据库中，例如MySQL，通常使用timestamp类型来表示update_time，而该数据类型的最细粒度是秒。因此，当多个并发操作同时更新同一条数据时，update_time的值只会发生一次变化，但会产生多条binlog日志。由于Doris的拉链表以id + update_time作为唯一键，这种情况下会导致同一条数据多次更新。因此，这里单独讲解并发更新的情况。

需要注意的是，并发问题只存在于更新操作，删除和创建操作不会出现上述问题。

  1. [Mysql] 2023-06-05 当天 15:00:00 并发更新业务数据tony的手机号，表数据如下：
idnamephonegendercreate_timeupdate_time备注
2jason555男2023-06-01 13:00:002023-06-03 14:00:00
3tom444男2023-06-01 13:00:002023-06-02 09:00:00
4tony777男2023-06-02 10:00:002023-06-05 15:00:00(tony手机号从555-> 666-> 777 并发更改两次)
  1. 此时Flink应用获取到的数据如下所示：
{"before": {"id": 4,"name": "tony","phone": "555","gender": "男","create_time": "2023-06-02T02:00:00Z","update_time": "2023-06-02T02:00:00Z"},"after": {"id": 4,"name": "tony","phone": "666","gender": "男","create_time": "2023-06-02T02:00:00Z","update_time": "2023-06-05T07:00:00Z"},"source": {# 元数据忽略},"op": "u","ts_ms": 1705564093414,"transaction": null
},
{"before": {"id": 4,"name": "tony","phone": "666","gender": "男","create_time": "2023-06-02T02:00:00Z","update_time": "2023-06-05T07:00:00Z"},"after": {"id": 4,"name": "tony","phone": "777","gender": "男","create_time": "2023-06-02T02:00:00Z","update_time": "2023-06-05T07:00:00Z"},"source": {# 元数据忽略},"op": "u","ts_ms": 1705564093478,"transaction": null
}
  1. 可以看到op=u 代表更新操作，这里我们仍沿用增量更新的逻辑，第一条日志中业务数据555->666属于跨天更新，第二条日志中业务数据666->777属于一条数据当天多次更新，DorisSql如下所示：
-- 555 -> 666 跨天更新语句：
UPDATE example_user_zip SET end_date = '2023-06-04' WHERE `id`=4 AND `update_time`='2023-06-02 10:00:00';-- 555 -> 666 跨天插入语句：
INSERT INTO example_user_zip (id, update_time, create_time, name, phone, gender, expire, start_date, end_date)
VALUES 
(4, '2023-06-05 15:00:00', '2023-06-02 10:00:00', 'tony', 666, '男', 0, '2023-06-05', '9999-12-31');-- 666 -> 777 同一天更新语句：
UPDATE example_user_zip SET expire = 1, end_date = '2023-06-05' WHERE `id`=4 AND `update_time`='2023-06-05 15:00:00';-- 666 -> 777 同一天插入语句：
INSERT INTO example_user_zip (id, update_time, create_time, name, phone, gender, expire, start_date, end_date)
VALUES 
(4, '2023-06-05 15:00:00', '2023-06-02 10:00:00', 'tony', 777, '男', 0, '2023-06-05', '9999-12-31');
  1. 此时doris拉链表内容如下所示：
idnamephonegendercreate_timeupdate_timeexpirestart_dateend_date备注
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-03
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-02
2jason333男2023-06-01 13:00:002023-06-03 10:00:0012023-06-032023-06-03
2jason444男2023-06-01 13:00:002023-06-03 12:00:0012023-06-032023-06-03
2jason555男2023-06-01 13:00:002023-06-03 14:00:0002023-06-039999-12-31
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-01
3tom444男2023-06-01 13:00:002023-06-02 09:00:0002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:0002023-06-022023-06-04(由9999-12-31改为2023-06-04)
4tony777男2023-06-02 10:00:002023-06-05 15:00:0002023-06-059999-12-31(新增一条最新数据)

此时可以看到新增了一条Tony的数据，有些人可能注意到少了一条姓名为Tony、手机号为666、expire字段为1的数据。这是因为最后的更新和插入语句中的id + update_time完全一致，触发了Doris的replace替换操作。因此，最后一条插入语句覆盖了前一条更新语句，即"Tony, 666, expire=1"的数据被覆盖掉了。而这种替换操作反而变相解决了并发更新的问题。

  1. 此时若要查看2023-06-04数据只需执行：
SELECT * FROM example_user_zip WHERE start_date <= '2023-06-05' AND end_date >= '2023-06-05' AND expire = 0;
idnamephonegendercreate_timeupdate_timestart_dateend_date
2jason222男2023-06-01 13:00:002023-06-01 13:00:002023-06-012023-06-02
3tom444男2023-06-01 13:00:002023-06-02 09:00:002023-06-029999-12-31
4tony777男2023-06-02 10:00:002023-06-05 15:00:002023-06-059999-12-31
  1. 此时有些同学会提出问题，即这个情况和上文中的跨天更新以及当天多次更新的逻辑有何不同? 似乎没有特殊的操作逻辑。确实，从逻辑上看，这两种情况是一致的。这是因为我们先执行更新操作，然后再执行新增操作。如果我们反过来，先执行新增操作，然后再执行更新操作，就会导致数据丢失。接下来，让我们看一下如果先执行新增操作再执行更新操作会发生什么情况。首先，我们将Doris拉链表恢复到前一天，如下所示：
idnamephonegendercreate_timeupdate_timeexpirestart_dateend_date备注
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-03(由9999-12-31改为2023-06-03)
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-02
2jason333男2023-06-01 13:00:002023-06-03 10:00:0012023-06-032023-06-03
2jason444男2023-06-01 13:00:002023-06-03 12:00:0012023-06-032023-06-03
2jason555男2023-06-01 13:00:002023-06-03 14:00:0002023-06-039999-12-31
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-01
3tom444男2023-06-01 13:00:002023-06-02 09:00:0002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:0002023-06-029999-12-31
  1. 接下来我们将更新插入操作调换顺序，sql如下所示：
-- 555 -> 666 跨天插入语句：
INSERT INTO example_user_zip (id, update_time, create_time, name, phone, gender, expire, start_date, end_date)
VALUES 
(4, '2023-06-05 15:00:00', '2023-06-02 10:00:00', 'tony', 666, '男', 0, '2023-06-05', '9999-12-31');-- 555 -> 666 跨天更新语句：
UPDATE example_user_zip SET end_date = '2023-06-04' WHERE `id`=4 AND `update_time`='2023-06-02 10:00:00';-- 666 -> 777 同一天插入语句：
INSERT INTO example_user_zip (id, update_time, create_time, name, phone, gender, expire, start_date, end_date)
VALUES 
(4, '2023-06-05 15:00:00', '2023-06-02 10:00:00', 'tony', 777, '男', 0, '2023-06-05', '9999-12-31');-- 666 -> 777 同一天更新语句：
UPDATE example_user_zip SET expire = 1, end_date = '2023-06-05' WHERE `id`=4 AND `update_time`='2023-06-05 15:00:00';
  1. 此时doris拉链表内容如下所示：
idnamephonegendercreate_timeupdate_timeexpirestart_dateend_date备注
1jack111男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-03
2jason222男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-02
2jason333男2023-06-01 13:00:002023-06-03 10:00:0012023-06-032023-06-03
2jason444男2023-06-01 13:00:002023-06-03 12:00:0012023-06-032023-06-03
2jason555男2023-06-01 13:00:002023-06-03 14:00:0002023-06-039999-12-31
3tom333男2023-06-01 13:00:002023-06-01 13:00:0002023-06-012023-06-01
3tom444男2023-06-01 13:00:002023-06-02 09:00:0002023-06-029999-12-31
4tony555男2023-06-02 10:00:002023-06-02 10:00:0002023-06-022023-06-04(由9999-12-31改为2023-06-04)
4tony777男2023-06-02 10:00:002023-06-05 15:00:0012023-06-052023-06-05(更新拉链数据)

可以看到已经没有tony的最新数据了。

  1. 此时查看2023-06-05数据执行：只有两条数据
SELECT * FROM example_user_zip WHERE start_date <= '2023-06-05' AND end_date >= '2023-06-05' AND expire = 0;
idnamephonegendercreate_timeupdate_timestart_dateend_date
2jason222男2023-06-01 13:00:002023-06-01 13:00:002023-06-012023-06-02
3tom444男2023-06-01 13:00:002023-06-02 09:00:002023-06-029999-12-31

根据以上的测试结果，我们可以得出以下结论：当涉及到更新操作时，最好的做法是先执行更新，然后再执行插入操作。这种顺序可以有效避免并发更新问题。

此外，在实时引擎中处理数据通常涉及到分布式计算，因此需要特别注意确保相同ID的数据只在一个线程中按顺序执行，而不是让执行器01执行Tony的更新操作，而执行器02执行Tony的插入操作。相反，应该将具有相同ID的数据放置在同一个执行器中执行，以确保顺序性和一致性。这对于处理并发更新场景非常重要。

四、总结

本文我们深入探讨了如何使用Apache Flink实现实时数据仓库中拉链表的同步。拉链表是一种重要的数据模型，用于跟踪数据的历史变化，以便在分析和报告中提供准确的历史视图。我们介绍了如何借助Flink以及其他相关技术构建一个强大的实时同步引擎，以应对多种数据同步场景。

我们首先介绍了传统Lambda架构到实时同步+拉链表单引擎架构它们之间的区别。随后，我们深入讨论了Flink CDC（Change Data Capture）和Doris数据库的结合使用，以实现实时数据同步的基础架构。我们详细讨论了全量同步和增量同步两种关键同步模式，以及如何应对不同的更新场景。

在全文中，强调了以下关键点：

  • 实时同步+拉链表单引擎架构的设计和实施。
  • 全量同步和增量同步是实时数据仓库同步的两种关键模式，详细介绍了它们的实现逻辑。
  • 跨天更新和当天多次更新是需要特别注意的场景，提供了解决方案以确保数据的完整性。
  • 并发更新可能导致数据重复，需要采取适当的措施来应对。

通过深入了解实时同步和拉链表的实现细节，读者可以更好地理解如何构建强大的实时数据仓库，并满足不断变化的业务需求。

五、相关资料

  • Doris 数据模型
  • MySQL CDC Connector
  • 深入数仓离线数据同步：问题分析与优化措施

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/635974.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

智能AI写作到底怎么样？这几款AI写作非常好用

智能AI写作到底怎么样？这几款AI写作非常好用

近年来&#xff0c;人工智能&#xff08;AI&#xff09;技术的快速发展已经渗透到各个领域&#xff0c;包括写作领域。AI写作软件通过模仿指定作家的风格和语言&#xff0c;能够生成高质量的文章。这种技术的出现引发了广泛的讨论和争议。本文将探讨AI写作的优点&#xff0c;并…
阅读更多...
Windows给docker设置阿里源

Windows给docker设置阿里源

windows环境搭建专栏&#x1f517;点击跳转 Windows系统的docker设置阿里源 文章目录 Windows系统的docker设置阿里源1.获得镜像加速器2.配置docker 由于我们生活在中国大陆&#xff0c;所以外网的访问总是那么慢又困难&#xff0c;用docker拉取几兆的小镜象还能忍受&#xff…
阅读更多...
单元测试之Stub和Mock

单元测试之Stub和Mock

实例 Analyze类会检查filename的长度&#xff0c;如果小于8&#xff0c;我们就会使用一个实现IWebService的类来记录错误. 我们需要给Analyze方法写单元测试。 public class LogAnalyzer {private IWebService service;private IEmailService email;public IWebService Serv…
阅读更多...
软考十大管理领域49个过程开展频次总结

软考十大管理领域49个过程开展频次总结

1、仅开展一次或仅在预定义时点开展的项目管理过程 序号 过程 过程组 说明 1 制定项目章程 启动 项目章程尽量在整个项目期间保持不变 2 制订项目管理计划 计划 各种管理(程序性)计划和项目基准尽量在整个项目期间保持不变 3 规划范围管理 除规划沟通管…
阅读更多...
【微信小程序开发】环境介绍和基本使用

【微信小程序开发】环境介绍和基本使用

文章目录 前言1. 项目的基本组成结构1.1 JSON 配置文件的作用1.2 如何新建小程序页面1.3 修改项目首页1.4 WXML 模板1.5 WXSS 样式1.6 JS 逻辑交互 2. 宿主环境2.1 什么是宿主环境2.2 通信模型2.3 运行机制2.4 组件2.4.1 view 组件的基本使用&#xff1a;2.4.2 scroll-view 组件…
阅读更多...
强网杯2023 crypto

强网杯2023 crypto

speed up 当时看到这个题目 也是觉得易懂 并且可以解出来的 但是数字实在是过大了兄弟 题目意思是计算2^27的阶乘,并获取得到每一位数的数字之和,flag即为该数字的sha256编码 2^27为134217728 gmpy2包是支持大数运算的,故利用其fac方法进行尝试,在等待一段时间后可以得到对…
阅读更多...
2024第十二届中国(上海)国际流体机械展览会(CFME2024)

2024第十二届中国(上海)国际流体机械展览会(CFME2024)

2024上海流体机械展|泵展|风机展|压缩机展 2024第十二届中国(上海)国际流体机械展览会(CFME2024) 泵阀门风机压缩机减变速机真空干燥设备展 时间&#xff1a;2024年11月25日-27日 地点&#xff1a;国家会展中心&#xff08;上海虹桥&#xff09; ◆展会背景&#xff1a; &q…
阅读更多...
从 Context 看 Go 设计模式：接口、封装和并发控制

从 Context 看 Go 设计模式：接口、封装和并发控制

文章目录 Context 的基本结构Context 的实现和传递机制为什么 Context 不直接传递指针案例&#xff1a;DataStore结论 在 Go 语言中&#xff0c; context 包是并发编程的核心&#xff0c;用于传递取消信号和请求范围的值。但其传值机制&#xff0c;特别是为什么不通过指针传递…
阅读更多...
智慧工地解决方案及案例：PPT全文26页，附下载

智慧工地解决方案及案例：PPT全文26页，附下载

关键词&#xff1a;智慧工地解决方案&#xff0c;智慧工地建设&#xff0c;智慧工地整体架构&#xff0c;数字化工地&#xff0c;智慧工程 一、智慧工地建设对传统建筑业的影响 1、提高了施工效率和质量&#xff1a;智慧工地建设采用了先进的信息技术和管理方法&#xff0c;可…
阅读更多...
力扣343. 整数拆分（动态规划）

力扣343. 整数拆分（动态规划）

Problem: 343. 整数拆分 文章目录 题目描述思路解题方法复杂度Code 题目描述 思路 该题目可以抽象成动态规划中的爬楼梯模型&#xff0c;将整数的拆分类比为上台阶&#xff1a; 1.每个阶段可以从整数中划分出1、2、…k的一个整数 2.int dp[n 1] dp[i]表示为i的整数划分的最大…
阅读更多...
Next-GPT: Any-to-Any Multimodal LLM

Next-GPT: Any-to-Any Multimodal LLM

Next-GPT: Any-to-Any Multimodal LLM 最近在调研一些多模态大模型相关的论文&#xff0c;发现Arxiv上出的论文根本看不过来&#xff0c;遂决定开辟一个新坑《一页PPT说清一篇论文》。自己在读论文的过程中会用一页PPT梳理其脉络和重点信息&#xff0c;旨在帮助自己和读者快速了…
阅读更多...
线程池的简单介绍及使用

线程池的简单介绍及使用

线程池 线程池的参数介绍拒绝策略 线程池的任务处理流程使用Executors创建常见的线程池 线程池的参数介绍 corePoolSize: (核心线程数)这是线程池中始终存在的线程数&#xff0c;即使这些线程处于空闲状态。maximumPoolSize:(最大线程数) 是线程池允许的最大线程数。keepAliveT…
阅读更多...
免费200万Tokens 用科大讯飞API调用星火大模型服务

免费200万Tokens 用科大讯飞API调用星火大模型服务

简介 自ChatGPT火了之后&#xff0c;国内的大模型发展如雨后春笋。其中的佼佼者之一就是科大讯飞研发的星火大模型,现在大模型已经更新到V3 版本&#xff0c;而且对开发者也是相当友好&#xff0c;注册就送200万tokens,讯飞1tokens 约等于 1.5 个中文汉字 或者 0.8 个英文单词…
阅读更多...
安卓开发-day

安卓开发-day

一、安卓项目结构 1、manifests文件夹 Android系统配置文件夹&#xff0c;包含一个AndroidManifest.xml文件&#xff1b; AndroidMainifest.xml文件是每个android项目必须要包含的文件&#xff08;项目唯一&#xff09;&#xff0c;创建项目时默认就会生成这个文件&#xff0…
阅读更多...
【Python学习】Python学习21- 正则表达式（1）

【Python学习】Python学习21- 正则表达式（1）

目录 【Python学习】Python学习21- 正则表达式&#xff08;1&#xff09; 前言re.match函数实例 re.search方法re.match与re.search的区别参考 文章所属专区 Python学习 前言 本章节主要说明Python的正则表达式。 正则表达式是一个特殊的字符序列&#xff0c;它能帮助你方便的…
阅读更多...
HarmonyOS 页面跳转控制整个界面的转场动画

HarmonyOS 页面跳转控制整个界面的转场动画

好 本文 我们来说 页面间的转场动画 就是 第一个界面到另一个界面 第一个界面的退场和第二个界面的进场效果 首先 我这里 创建了两个页面文件 Index.ets和AppView.ets index组件 编写代码如下 import router from "ohos.router" Entry Component struct Index {b…
阅读更多...
解决你所有ArcGIS标注问题！二分式、三分式、条件分类标注、上下标、牵引线、文字格式化…

解决你所有ArcGIS标注问题！二分式、三分式、条件分类标注、上下标、牵引线、文字格式化…

解决你所有ArcGIS标注问题&#xff01;二分式、三分式、条件分类标注、上下标、牵引线、文字格式化… 标注是将描述性文本放置在地图中的要素上或要素旁的过程。 本文整理了ArcGIS中的各种标注方法、可能遇到的问题和细节&#xff0c;内容比较杂&#xff0c;想到哪写到哪。 …
阅读更多...
tui.calender日历创建、删除、编辑事件、自定义样式

tui.calender日历创建、删除、编辑事件、自定义样式

全是坑&#x1f573;&#xff01;全是坑&#x1f573;&#xff01;全是坑&#x1f573;&#xff01;能不用就不用&#xff01; 官方文档&#xff1a;https://github.com/nhn/tui.calendar/blob/main/docs/en/apis/calendar.md 实例的一些方法&#xff0c;比如创建、删除、修改、…
阅读更多...
python使用jupyter记笔记

python使用jupyter记笔记

目录 一、安装 二、运行jupyter 三、使用 四、记笔记 Jupyter Notebook&#xff08;此前被称为 IPython notebook&#xff09;是一个交互式笔记本&#xff0c;支持运行 40 多种编程语言。 Jupyter Notebook 的本质是一个 Web 应用程序&#xff0c;便于创建和共享程序文档&a…
阅读更多...
位运算的奇技淫巧

位运算的奇技淫巧

常见位运算总结&#xff1a; 1、基础位运算 左移<<运算 将二进制数向左移位操作&#xff0c;高位溢出则丢弃&#xff0c;低位补0。 右移>>运算 右移位运算中&#xff0c;无符号数和有符号数的运算并不相同。对于无符号数&#xff0c;右移之后高位补0&#xff…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023