DM 的断点续传测试

作者: 大鱼海棠 原文来源: https://tidb.net/blog/4540ae34

一、概述

DM有all、full、incremental三种数据迁移同步方式(task-mode),在all同步模式下,因一些特殊情况,需要变更上游MySQL的数据源IP,一般有如下几种处理方式:

  1. 放弃已同步的数据,重新用all模式同步(适合数据量比较小的场景,操作简单)
  2. 记录同步到的位点信息,停掉task和数据源,将同步模式改为incremental并在task配置中指定MySQL示例的位点信息重新拉起任务

task中meta配置下游数据库的 checkpoint 不存在时 binlog 迁移开始的位置; 如果 checkpoint 存在,则以 checkpoint 为准。如果 meta 项和下游数据库的 checkpoint 都不存在,则从上游当前最新的 binlog 位置开始迁移

  1. 不修改task-mode的情况下,基于检查点断点续传, 本文主要基于该场景测试

二、MySQL环境准备

mysql

set global validate_password_mixed_case_count=0;
set global validate_password_policy='LOW'; 
set global validate_password_number_count=0; 
set global validate_password_special_char_count=0;
set global validate_password_length=4;
alter user root@'localhost' identified by 'dm_test'; 

配置文件

[mysqld]                                                                                                                                                                        
datadir=/mysql57/data                                                                                                                                                           
socket=/var/lib/mysql/mysql.sock                                                                                                                                                
symbolic-links=0                                                                                                                                                                
binlog_format=ROW                                                                                                                                                               
log_bin=/mysql57/logbin/logbin                                                                                                                                                  
log-error=/mysql57/log/mysqld.log                                                                                                                                               
pid-file=/var/run/mysqld/mysqld.pid                                                                                                                                             
gtid_mode=ON                                                                                                                                                                    
enforce_gtid_consistency=ON  
# 主从使用不同的server_id                                                                                                                                                   
server_id=2 
# 从库开启binlog记录                                                                                                                                                                 
log-slave-updates = 1

主从搭建

reset master;
change master to master_host='172.1.1.4', master_user='root', master_password='dm_test', master_port=3306, master_auto_position=1;
start slave;
show slave status\G

三、DM任务创建

1. 创建数据源

创建数据源配置文件

[tidb@vm10-2-103-112 ~]$ cat source-01.yaml                                                                                                                                     
source-id: "mysql-01"
enable-gtid: true                                                                                                                                                           from:                                                                                                                                                                           host: "172.1.1.2"                                                                                                                                                          port: 3306                                                                                                                                                                    user: "root"                                                                                                                                                                  password: "dm_test" 

上游数据源账户所需权限

上游数据源用户所需权限:

  1. information_schem和需要同步的表的select权限
  2. reload权限
  3. REPLICATION CLIENT、REPLICATION SLAVE

创建数据源

tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 operate-source create ./source-01.yaml

查看创建的数据源

tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 config source mysql-01

2. 创建同步任务

task配置文件准备

vim task01.yamlname: test1                      
task-mode: all                  
shard-mode: "pessimistic"       meta-schema: "dm_meta1"          
# timezone: "Asia/Shanghai"     case-sensitive: false           
online-ddl: true               
clean-dump-file: true           # 是否清理 dump 阶段产生的文件,包括 metadata 文件、建库建表 SQL 文件以及数据导入 SQL 文件
collation_compatible: "loose"   # 同步 CREATE 语句中缺省 Collation 的方式,可选 "loose" 和 "strict",默认为 "loose"。"loose" 模式不会显式补充上游缺省的 Collation,"strict" 会显式补充上游缺省的 Collation。当使用 "strict" 模式,但下游不支持上游缺省的 Collation 时,下游可能会报错。
ignore-checking-items: []       target-database:host: "172.1.1.4"port: 4000user: "dm_test"password: "dm_test"  block-allow-list:                    bw-rule-1:                         do-dbs: ["dm_test.*"]mydumpers:                           global:                            threads: 4                       chunk-filesize: 64               extra-args: "--consistency auto" loaders:                             global:                            pool-size: 16dir: "./dumped_data"import-mode: "logical"on-duplicate-logical: "replace"syncers:                             global:                            worker-count: 16                 batch: 100                       safe-mode: falsesafe-mode-duration: "60s"compact: falsemultiple-rows: false
# ----------- 实例配置 -----------
mysql-instances:-source-id: "mysql-01"block-allow-list:  "bw-rule-1"mydumper-config-name: "global"loader-config-name: "global"syncer-config-name: "global"

下游tidb同步用户所需权限:

  1. 待同步库表的SELECT、INSERT、UPDATE、DELETE、CREATE、DROP、ALTER、INDEX权限
  2. dm元数据库表的 ALL 权限

前置检查

tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 check-task ./task01.yaml

创建task

tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 start-task ./task01.yaml

查看同步状态

tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 query-status test1

四、单实例更换数据源IP

验证不修改task配置,直接更换数据源IP

1. 不修改source-id

Stop 任务和数据源

tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 stop-task test1 
tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 operate-source stop mysql-01

仅修改数据源IP

source-id: "mysql-01"                                                                                                                                                           
enable-gtid: true                                                                                                                                                               from:                                                                                                                                                                           host: "120.1.1.115"                                                                                                                                                         port: 3306                                                                                                                                                                    user: "root"                                                                                                                                                                  password: "dm_test"

创建数据源和task

tiup dmctl:v7.1.3 --master-addr 172.16.201.4:8261 operate-source create  ./source-01.yaml
tiup dmctl:v7.1.3 --master-addr 172.16.201.4:8261 start-task ./task01.yaml 
tiup dmctl:v7.1.3 --master-addr 172.16.201.4:8261 query-status test1

验证同步无异常

不改变source-id的情况下,dm会去元数据表中找到断点,进行断点续传,不会重新dump数据

2. 修改source-id

tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 stop-task test1 
tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 operate-source stop mysql-01

修改数据源IP和source-id

source-id: "mysql-02"                                                                                                                                                           
enable-gtid: true                                                                                                                                                               from:                                                                                                                                                                           host: "172.1.1.2"                                                                                                                                                          port: 3306                                                                                                                                                                    user: "root"                                                                                                                                                                  password: "dm_test"

创建数据源和task

需要修改task01.yaml的数据源

tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 operate-source create  ./source-01.yaml
tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 start-task ./task01.yaml 
tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 query-status test1

验证同步无异常

修改了source-id的情况下,会触发重新dump全量数据

3. 更换IP期间新增了表

在停掉task和数据源后,模拟MySQL增加表和数据(只修改数据源IP)

mysql> create table t3(id int primary key,b int);                                                                                                                               
Query OK, 0 rows affected (0.04 sec)                                                                                                                                            mysql> insert into t3 values (1,1);                                                                                                                                             
Query OK, 1 row affected (0.01 sec)                                                                                                                                             mysql> insert into t3 values (2,1);                                                                                                                                             
Query OK, 1 row affected (0.01 sec) 

修改数据源IP后,创建task

tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 operate-source create  ./source-01.yaml
tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 start-task ./task01.yaml
tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 query-status test1 

同步无异常,未dump全量数据

检查点分为针对单表的同步位点和数据源的同步位点,如果存在当前表的位点,则基于位点继续同步,如不存在,基于数据源位点往后同步

五、分片集群修改数据源IP

环境准备

基于单实例的环境,新增MySQL节点来测试

数据源配置

source-id: "mysql-04"                                                                                                                                                           
enable-gtid: true                                                                                                                                                               from:                                                                                                                                                                           host: "172.1.1.4"                                                                                                                                                          port: 3306                                                                                                                                                                    user: "root"                                                                                                                                                                  password: "dm_test" 

task配置

name: test2                                                                                                                                                                     
task-mode: all                                                                                                                                                                  
shard-mode: "pessimistic"                                                                                                                                                       meta-schema: "dm_meta2"                                                                                                                                                         
# timezone: "Asia/Shanghai"                                                                                                                                                     case-sensitive: false                                                                                                                                                           
online-ddl: true                                                                                                                                                                
clean-dump-file: false           # 是否清理 dump 阶段产生的文件,包括 metadata 文件、建库建表 SQL 文件以及数据导入 SQL 文件                                                     
collation_compatible: "loose"   # 同步 CREATE 语句中缺省 Collation 的方式,可选 "loose" 和 "strict",默认为 "loose"。"loose" 模式不会显式补充上游缺省的 Collation,"strict" 会显
式补充上游缺省的 Collation。当使用 "strict" 模式,但下游不支持上游缺省的 Collation 时,下游可能会报错。                                                                         
ignore-checking-items: []                                                                                                                                                       target-database:                                                                                                                                                                host: "172.1.1.4"                                                                                                                                                          port: 4000                                                                                                                                                                    user: "dm_test"                                                                                                                                                               password: "dm_test"                                                                                                                                                           block-allow-list:                                                                                                                                                               bw-rule-1:                                                                                                                                                                    do-dbs: ["dm_test"]                                                                                                                                                      mydumpers:                                                                                                                                                                      global:                                                                                                                                                                       threads: 4                                                                                                                                                                  chunk-filesize: 64                                                                                                                                                          extra-args: "--consistency auto"                                                                                                                                            loaders:                                                                                                                                                                        global:                                                                                                                                                                       pool-size: 16                                                                                                                                                               dir: "./dumped_data"                                                                                                                                                        import-mode: "logical"                                                                                                                                                      on-duplicate-logical: "replace"                                                                                                                                             syncers:                                                                                                                                                                        global:                                                                                                                                                                       worker-count: 16                                                                                                                                                            batch: 100                                                                                                                                                                  safe-mode: false                                                                                                                                                            safe-mode-duration: "60s"                                                                                                                                                   compact: false                                                                                                                                                              multiple-rows: false                                                                                                                                                        
# ----------- 实例配置 -----------                                                                                                                                              
mysql-instances:                                                                                                                                                                -                                                                                                                                                                             source-id: "mysql-04"                                                                                                                                                       block-allow-list:  "bw-rule-1"                                                                                                                                              mydumper-config-name: "global"                                                                                                                                              loader-config-name: "global"                                                                                                                                                syncer-config-name: "global"  

创建数据源和任务

tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 operate-source create  ./source-02.yaml                                                                                
tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 start-task ./task01.yaml                                                                                               
tiup dmctl:v7.1.3 --master-addr 172.1.1.4:8261 query-status test2 

重复单实例数据源IP修改过程,验证结果与单实例一致

六、总结

断点续传来源于dm元数据信息(dm_meta库的表记录信息),主要包含以下几点

  1. task.yaml的name的值
  2. task.yaml的meta-schema是否改变
  3. 数据源配置中source-id是否改变

如有其他变更项,可结合检查点进行分析,通过检查点信息是否改变来判断是否可以断点续传

前提:

  1. 使用 query-status 命令获取当前 binlog replication 处理单元已复制到下游的 binlog 对应的 GTID sets ( syncerBinlogGtid ),记为 gtid-S

  2. 在将要切换到的 MySQL 实例上使用 SELECT @@GLOBAL.gtid_purged; 获取已经被 purged 的 binlog 对应的 GTID sets,记为 gtid-P

  3. 在将要切换到的 MySQL 实例上使用 SELECT @@GLOBAL.gtid_executed; 获取所有已经执行成功的事务对应的 GTID sets,记为 gtid-E

  4. 确保满足以下关系,否则不支持将 DM-worker 连接切换到相应的 MySQL 实例:

    1. gtid-S 包含 gtid-P gtid-P 可以为空)
    2. gtid-E 包含 gtid-S

七、附加测试

1. 测试一

数据源的配置文件默认 enable-gtid: false ,现验证同步过程中,是否可修改该参数

验证修改后同步正常,在 enable-gtid: false 情况下,检查点会同时携带position信息和gitd信息,修改后可基于位点断点续传

2. 测试二

DM配置文件 extra-args: "--consistency none" 默认值为none,none的官网解释是不做一致性保障

none模式下

2024-06-21T08:23:44.159963Z     18511 Query     SELECT @@max_allowed_packet                                                                                                     
2024-06-21T08:23:44.160052Z     18511 Query     SET time_zone = '+08:00'                                                                                                        
2024-06-21T08:23:44.160149Z     18511 Query     SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ                                                                         
2024-06-21T08:23:44.160242Z     18511 Query     START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */                                                                          
2024-06-21T08:23:44.160343Z     18511 Query     SHOW MASTER STATUS                                                                                                              
2024-06-21T08:23:44.160534Z     18511 Query     SHOW SLAVE STATUS                                                                                                               
2024-06-21T08:23:44.160731Z     18511 Query     SHOW DATABASES                                                                                                                  2024-06-21T08:23:44.161956Z     18511 Query     SELECT COUNT(1) as c FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_TYPE='SEQUENCE'                                                 
2024-06-21T08:23:44.171027Z     18511 Query     SHOW TABLE STATUS FROM `dm_test`                                                                                             
2024-06-21T08:23:44.174675Z     18511 Query     SHOW MASTER STATUS                                                                                                              
2024-06-21T08:23:44.174826Z     18511 Query     SHOW CREATE DATABASE `dm_test`                                                                                               
2024-06-21T08:23:44.174981Z     18511 Query     SHOW COLUMNS FROM `dm_test`.`customer`                                                                                       
2024-06-21T08:23:44.175584Z     18511 Query     SELECT `c_id`,`c_d_id`,`c_w_id`,`c_first`,`c_middle`,`c_last`,`c_street_1`,`c_street_2`,`c_city`,`c_state`,`c_zip`,`c_phone`,`c_
since`,`c_credit`,`c_credit_lim`,`c_discount`,`c_balance`,`c_ytd_payment`,`c_payment_cnt`,`c_delivery_cnt`,`c_data` FROM `dm_test`.`customer` LIMIT 1                        
2024-06-21T08:23:44.178285Z     18511 Query     SHOW CREATE TABLE `dm_test`.`customer`                                                                                       
2024-06-21T08:23:44.178529Z     18511 Query     SHOW INDEX FROM `dm_test`.`customer`                                                                                         
2024-06-21T08:23:44.178805Z     18511 Query     EXPLAIN SELECT `c_w_id` FROM `dm_test`.`customer`                                                                            
2024-06-21T08:23:44.179002Z     18511 Query     SHOW INDEX FROM `dm_test`.`customer`                                                                                         
2024-06-21T08:23:44.179269Z     18511 Query     SHOW INDEX FROM `dm_test`.`customer`                                                                                         
2024-06-21T08:23:44.179510Z     18511 Query     EXPLAIN SELECT `c_w_id` FROM `dm_test`.`customer`                                                                            
2024-06-21T08:23:44.179748Z     18511 Query     SELECT MIN(`c_w_id`),MAX(`c_w_id`) FROM `dm_test`.`customer` 2024-06-21T08:23:44.173952Z     18512 Query     SELECT @@max_allowed_packet                                                                                                     
2024-06-21T08:23:44.174104Z     18512 Query     SET time_zone = '+08:00'                                                                                                        
2024-06-21T08:23:44.174281Z     18512 Query     SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ                                                                         
2024-06-21T08:23:44.174546Z     18512 Query     START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */                                                                          
2024-06-21T08:23:44.182494Z     18512 Query     SELECT `c_id`,`c_d_id`,`c_w_id`,`c_first`,`c_middle`,`c_last`,`c_street_1`,`c_street_2`,`c_city`,`c_state`,`c_zip`,`c_phone`,`c_
2024-06-21T08:23:45.888538Z     18512 Query     SELECT `d_id`,`d_w_id`,`d_name`,`d_street_1`,`d_street_2`,`d_city`,`d_state`,`d_zip`,`d_tax`,`d_ytd`,`d_next_o_id` FROM `dm_test`.`district` ORDER BY `d_w_id`,`d_id`                                                                                                                                        
2024-06-21T08:23:45.889394Z     18512 Query     SELECT `h_c_id`,`h_c_d_id`,`h_c_w_id`,`h_d_id`,`h_w_id`,`h_date`,`h_amount`,`h_data` FROM `dm_test`.`history` WHERE `h_w_id` IS NULL OR (`h_w_id` >= 1 AND `h_w_id` < 11)                                                                                                                                    
2024-06-21T08:23:46.281664Z     18512 Query     SELECT `i_id`,`i_im_id`,`i_name`,`i_price`,`i_data` FROM `dm_test`.`item` ORDER BY `i_id`                                    
2024-06-21T08:23:46.352202Z     18512 Query     SELECT `no_o_id`,`no_d_id`,`no_w_id` FROM `dm_test`.`new_order` ORDER BY `no_w_id`,`no_d_id`,`no_o_id`                         

image.png

image.png

none模式使用 SESSION RR 隔离级别 和 START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */ 来构建一致性视图,不存在非事务引擎表的时候,操作比FTWRL轻量

注意:

  1. 备份期间有DDL的话,有几率触发锁等待,原因为DM开启了两个 START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */ SESSION ,一个用来看表结构、构造导出执行计划、查看索引等;另外一个用来dump数据,如果期间有DDL,有几率出现等MDL锁的情况(图一)
  2. 不开启FTWRL的话,那么backupmeta的gtid信息有可能是不准的(show master status获取的是当前值,不受 START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */ 限制)。备份文件 metadata 记录的位点可能比 dumped data 要早,可以开启safe-mode来规避(不能完全避免),DM会自行记录两次 show master status 位点信息来判断是否进入safe-mode,以及何时退出safe-mode。

auto模式下

2024-06-21T09:31:56.773773Z     18684 Connect   root@vm10-2-103-3 on  using SSL/TLS                                                                                             
2024-06-21T09:31:56.776319Z     18684 Query     SELECT version()                                                                                                                
2024-06-21T09:31:56.776529Z     18684 Query     FLUSH TABLES WITH READ LOCK                                                                                                     
2024-06-21T09:31:56.778052Z     18684 Query     UNLOCK TABLES                                                                                                                   
2024-06-21T09:31:56.778166Z     18684 Query     SET SESSION time_zone = '+08:00'                                                                                                
2024-06-21T09:31:56.778236Z     18684 Quit                                                                                                                                      
2024-06-21T09:31:56.780010Z     18685 Connect   root@vm10-2-103-3 on  using SSL/TLS                                                                                             
2024-06-21T09:31:56.780202Z     18685 Query     SET time_zone = '+08:00'                                                                                                        
2024-06-21T09:31:56.780405Z     18685 Query     FLUSH TABLES WITH READ LOCK                                                                                                     
2024-06-21T09:31:56.783146Z     18686 Connect   root@vm10-2-103-3 on  using SSL/TLS                                                                                             
2024-06-21T09:31:56.783335Z     18686 Query     SET time_zone = '+08:00'                                                                                                        
2024-06-21T09:31:56.783421Z     18686 Query     SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ                                                                         
2024-06-21T09:31:56.783518Z     18686 Query     START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */                                                                          
2024-06-21T09:31:56.783611Z     18686 Query     SHOW MASTER STATUS                                                                                                              
2024-06-21T09:31:56.783755Z     18686 Query     SHOW SLAVE STATUS                                                                                                               
2024-06-21T09:31:56.786107Z     18686 Query     SHOW DATABASES                                                                                                                  
2024-06-21T09:31:56.786563Z     18686 Query     SELECT COUNT(1) as c FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_TYPE='SEQUENCE'                                                 
2024-06-21T09:31:56.916141Z     18686 Query     SHOW TABLE STATUS FROM `dm_test`                                                                                             
2024-06-21T09:31:56.919220Z     18687 Connect   root@vm10-2-103-3 on  using SSL/TLS                                                                                             
2024-06-21T09:31:56.919398Z     18687 Query     SET time_zone = '+08:00'                                                                                                        
2024-06-21T09:31:56.919483Z     18687 Query     SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ                                                                         
2024-06-21T09:31:56.919570Z     18687 Query     START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */                                                                          
2024-06-21T09:31:56.919726Z     18685 Query     UNLOCK TABLES                   

相对于mysqldump少了flush table的步骤(mysqldump在执行FTWRL前会执行flush tables),直接执行了FTWRL,第一次做权限探测,第二次执行备份

结论

结合业务应用情况综合考虑,选择auto/none模式

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/37109.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LDO产品的基础知识解析

低压降稳压器 (LDO)是一种用于调节较高电压输入产生的输出电压的简单方法。在大多数情况下&#xff0c;低压降稳压器都易于设计和使用。然而&#xff0c;如今的现代应用都包括各种各样的模拟和数字系统&#xff0c;而有些系统和工作条件将决定哪种LDO最适合相关电路&#xff0c…

邓普顿的五大投资原则

在《逆向投资 邓普顿的长赢投资法》的推荐序《“逆向投资大神”邓普顿五大投资原则》中&#xff0c;刘建位总结了邓普顿的五大投资原则&#xff0c;分别是“以逆向投资为中心”“以价值投资为选股根本”“以分散投资为组合稳定器”“以全球投资来扩大机会池”“以极度悲观点投资…

rust单元测试顺序执行

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到网站。 存在的问题 有时候&#xff0c;不同单元测试之间可能会竞争相同的资源&#xff0c;比如读写相同的文件。在这种情况下&#xff0c;如果…

springboot的特点是什么?

Spring Boot是一个基于Spring框架的开源项目&#xff0c;它旨在简化Spring应用的初始搭建和开发过程。以下是Spring Boot的一些主要特点&#xff1a; 快速开发&#xff1a; Spring Boot提供了许多默认配置&#xff0c;使得开发者可以更快地开始开发应用程序&#xff0c;而无需…

秋招突击——6/28、6.29——复习{数位DP——度的数量}——新作{}

文章目录 引言复习数位DP——度的数量个人实现参考实现 总结 引言 头一次产生了那么强烈的动摇&#xff0c;对于未来没有任何的感觉的&#xff0c;不知道将会往哪里走&#xff0c;不知道怎么办。可能还是因为实习吧&#xff0c;再加上最近复习也没有什么进展&#xff0c;并不知…

Vmware Windows虚拟机卡死了

每次遇到这个问题我都想骂娘&#xff01;&#xff01;&#xff01;&#xff01; 这一次是怎么解决的呢&#xff1f; 解决&#xff1a;我给虚拟机连上网就好了&#xff01; 重启&#xff0c;开关机&#xff0c;一点用都没有。

前端 JS 经典:箭头函数的意义

箭头函数是为了消除函数的二义性。 1. 二义性 函数的二义性指函数有不同的两种用法&#xff0c;就造成了二义性&#xff0c;函数的两种用法&#xff1a;1. 指令序列。2. 构造器 1.1 指令序列 就是调用函数&#xff0c;相当于将函数内部的代码再从头执行一次。 1.2 构造器 …

【Linux 工具 】 tcpdump详细使用说明

目录 1. 安装 tcpdump 2. 使用 tcpdump 命令 3. 监听所有网络接口 4. 监听指定网络接口 5. 保存数据包到文件 6. 读取保存的数据包文件 7. 过滤数据包 过滤源 IP 地址: 过滤目标 IP 地址: 过滤源和目标 IP 地址: 过滤指定端口: 过滤指定协议: 8. 显示数据包详…

爬虫实战:使用PHP爬取携程旅游信息

随着旅游业的不断发展&#xff0c;旅游信息变得非常丰富。为了方便大家获取更全面、准确的旅游信息&#xff0c;我们可以使用爬虫来抓取旅游网站上的数据&#xff0c;并进行分析和处理。本文将介绍如何使用php爬取携程旅游信息。 爬虫基础知识 爬虫是一种自动化程序&#xff…

Android SurfaceFlinger——OpenGL ES基础介绍(十二)

前面的文章我们介绍了 HWC,知道他在 Android 系统中用于硬件加速屏幕合成的一个组件。负责将多个 Surface(包括那些可能通过 OpenGL ES 渲染的内容)合成到一起,并输出到屏幕。HWC 利用底层硬件(如 GPU)来执行合成操作,减少 CPU 的负担,提高效率和电池寿命。 一、概述 …

如何借助 LLM 设计和实现任务型对话 Agent

1 引言 在人工智能的快速发展中&#xff0c;任务型对话 Agent 正成为提升用户体验和工作效率的关键技术。这类系统通过自然语言交互&#xff0c;专注于高效执行特定任务&#xff0c;如预订酒店或查询天气。尽管市场上的开源框架如 Rasa 和 Microsoft Bot Framework 在对话理解…

【笔记】一些PDN建立成功后返回的IP地址情况及日志分析

背景 Protocol满足运营商需求,即便是PDN的通的,也可能因为网络问题导致MMS、热点等业务无法正常工作。(丢包?网络无响应?服务器异常) 或者Protocol跟运营商需求不一致,直接SETUP_DATA_CALL失败了。 一般而言,如果APN Protocol 参数配置不符合运营商要求,在 PDN 建立…

正则表达式结合自定义function使用replace

replace使用正则表达式和function替换 js代码 html代码 场景描述 输入不同数量的人名&#xff0c;根据不同的人数打印不同的描述 代码分析 首先在js代码中使用templates定义了5个模板&#xff0c;通过 var idx Math.min(names.length, 4)根据人数获取对应的模板的索引&…

tqdm库教程 - 进度条可视化利器

tqdm库教程 - 进度条可视化利器 1. 什么是tqdm?2. tqdm的基本用法3. tqdm的高级用法3.1 自定义描述3.2 手动更新进度条3.3 在文件处理中使用tqdm 4. tqdm的其他特性4.1 嵌套进度条4.2 在Jupyter Notebook中使用 5. 总结 1. 什么是tqdm? tqdm是一个Python库,用于在循环或长时…

揭秘多年免费听音乐、直播、影视的自用方案:手机、电视、电脑多平台0成本实现媒体自由(内含相关资源)

文章目录 📖 介绍 📖🏡 演示环境 🏡📒 多媒体自由 📒🎧 音乐资源📱安卓平台🍎 苹果平台💻 PC平台🎥 影视资源📱 安卓平台🍎 苹果平台📺 电视盒子💻 PC平台📥 电影下载📺 直播资源📱 手机平台💻 PC平台📺 电视盒子⚓️ 相关链接 ⚓️�…

秋招力扣刷题——数据流的中位数

一、题目要求 中位数是有序整数列表中的中间值。如果列表的大小是偶数&#xff0c;则没有中间值&#xff0c;中位数是两个中间值的平均值。 例如 arr [2,3,4] 的中位数是 3 。 例如 arr [2,3] 的中位数是 (2 3) / 2 2.5 。 实现 MedianFinder 类: MedianFinder() 初始化 …

ISS检测原理

ISS(Intrinsic Shape Signatures)是由Yu Zhong于2009年提出的一种三维形状描述子,用于描述局部或半局部区域的点云,局部区域可以理解为以一个点云中某点为球心,以一定半径构成的可以包含多个内点的球形区域,半局部则是半个球形区域。ISS可用于不同视角点云的配准、快速姿…

大数据面试题之Spark(4)

目录 RDD的容错 Executor内存分配? Spark的batchsize&#xff0c;怎么解决小文件合并问题? Spark参数(性能)调优 介绍一下Spark怎么基于内存计算的 说下什么是RDD(对RDD的理解)?RDD有哪些特点?说下知道的RDD算子 RDD底层原理 RDD属性 RDD的缓存级别? Spark广播变…

MongoDB笔记02

MongoDB中的数据具有灵活的模式&#xff0c;文档在同一集合&#xff0c;但他们不需要具有相同的字段或结构集合&#xff0c;集合文档中的公共字段可以包含不同类型的数据 MongoDB中的数据具有灵活的模式&#xff0c;与sql数据库不同&#xff0c;sql数据库必须在插入数据之前确…

Nuxt3 的生命周期和钩子函数(六)

title: Nuxt3 的生命周期和钩子函数&#xff08;六&#xff09; date: 2024/6/30 updated: 2024/6/30 author: cmdragon excerpt: 摘要&#xff1a;本文深入解析了Nuxt3框架中的多个核心生命周期钩子和组件注册功能&#xff0c;包括imports:sources、imports:extend、import…