开源的数据库增量订阅和消费的中间件——Cancl

目录

工作原理

MySQL主备复制原理

Canal 工作原理

主要功能和特点

应用场景

实验准备

安装JDK11

下载MySQL8.0

配置canal.admin

配置canal-deployer

测试数据读取

新增一台主机用做被同步的目标机器测试

官方地址：https://github.com/alibaba/canal?tab=readme-ov-file 

Canal 是一个阿里巴巴开源的数据同步工具，主要用于 MySQL 数据库的增量数据捕获（Change Data Capture, CDC）。Canal 能够模拟 MySQL 的主从复制协议，解析 MySQL 的 binlog 日志，实时捕获数据库的增量数据变化，并将这些变化数据提供给其他系统。  

 

工作原理

MySQL主备复制原理
  • MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)。MySQL 的 binlog 日志记录的是二进制格式的数据，但这些二进制数据并不直接是机器码或类似的低级别编码，而是 MySQL 自己定义的一种结构化二进制格式。
  • MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
  • MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据
Canal 工作原理

  • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
  • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
  • canal 解析 binary log 对象(原始为 byte 流)

 

主要功能和特点

 

实时捕获数据变更：

  • Canal 能够通过解析 MySQL binlog 实时捕获数据库的数据变更，如增、删、改操作。

支持多种目标数据源：

  • 捕获的数据变更可以同步到各种目标数据源，如 Elasticsearch、Kafka、RocketMQ、HBase 等，满足不同的实时数据处理需求。

主从复制机制模拟：

  • Canal 模拟 MySQL 的从库，通过基于主从复制协议的方式来订阅和解析 binlog，实现数据捕获。

高可用与容错：

  • 支持集群部署和高可用配置，能保证在单节点故障时，其他节点继续工作。

多种数据格式支持：

  • 支持 JSON、Protobuf 等多种数据格式，方便与不同的数据处理系统集成。

 

应用场景

 

数据同步：

  • 实现 MySQL 数据到其他数据库或大数据系统（如 HBase、Elasticsearch）的实时同步。

数据增量推送：

  • 实现将 MySQL 数据库的增量更新实时推送到消息队列或缓存系统，以应对高并发读写场景。

多活数据中心：

  • 通过 Canal 实现多个数据中心间的数据同步，保证各数据中心的数据一致性。

实时分析：

  • 实现 MySQL 数据的实时采集与分析，常用于实时监控、报警等场景。

 

实验准备

 

一台新虚拟机，关闭防火墙和selinux，进行时间同步

主机名系统IP配置工具版本
master

Rocky_linux9.4

192.168.226.262核心4G内存-20G磁盘

MySQL8.0

canal.admin-1.1.7
canal.deployer-1.1.7

同步阿里云的镜像源

sed -e 's|^mirrorlist=|#mirrorlist=|g' \-e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.aliyun.com/rockylinux|g' \-i.bak \/etc/yum.repos.d/rocky*.repo	  tput boldtput setaf 2echo "YUM 源配置已更新。"tput sgr0dnf makecacheyum -y install epel-release

安装JDK11

Java Archive Downloads - Java SE 11

这里我已经上传好了

[root@master ~]# ll
total 164856
-rw-------. 1 root root       815 Jun  6 14:00 anaconda-ks.cfg
-rw-r--r--  1 root root 168807248 Jul 29 19:31 jdk-11.0.23_linux-x64_bin.rpm

安装

[root@master ~]# yum install -y jdk-11.0.23_linux-x64_bin.rpm[root@master ~]# java -version
java version "11.0.23" 2024-04-16 LTS
Java(TM) SE Runtime Environment 18.9 (build 11.0.23+7-LTS-222)
Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.23+7-LTS-222, mixed mode)

JDK的默认安装目录位置在：/usr/lib/jvm/jdk-11-oracle-x64/ 

下载MySQL8.0

 

下载mysql8.0

[root@master ~]# yum install -y mysql-server

修改配置文件

[root@master ~]# vim /etc/my.cnf.d/mysql-server.cnf   #最后面加入下述配置
default-authentication-plugin=mysql_native_password
server_id=1
log_bin=binlog
binlog_format=ROW

启动并设置开机自启

[root@master ~]# systemctl enable --now mysqld

登陆mysql，进行初始化配置

[root@master ~]# mysql
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 8
Server version: 8.0.36 Source distributionCopyright (c) 2000, 2024, Oracle and/or its affiliates.Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '1234';   -- 修改 root 用户的密码为 '1234'
Query OK, 0 rows affected (0.01 sec)mysql> CREATE USER canal IDENTIFIED BY 'canal';    -- 创建一个名为 canal 的新用户，密码为 'canal'
Query OK, 0 rows affected (0.01 sec)mysql> GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' WITH GRANT OPTION;  --给canal用户授权
Query OK, 0 rows affected (0.01 sec)mysql> FLUSH PRIVILEGES;   -- 刷新权限表，使前面的更改生效
Query OK, 0 rows affected (0.00 sec)

配置canal.admin

 

下载当前时间最新稳定版本canal-1.1.7

https://github.com/alibaba/canal/releases/tag/canal-1.1.7

上传至虚拟机，这里我上传好了

[root@master ~]# ll
total 150272
-rw-------. 1 root root       815 Jun  6 14:00 anaconda-ks.cfg
-rw-r--r--  1 root root  45956395 Aug 16 13:19 canal.admin-1.1.7.tar.gz
-rw-r--r--  1 root root 107915086 Aug 16 13:20 canal.deployer-1.1.7.tar.gz

创建canal文件夹

[root@master ~]# mkdir -p /usr/local/canal/{canal-admin,canal-deployer}

解压canal.admin

[root@master ~]# tar -xf canal.admin-1.1.7.tar.gz -C /usr/local/canal/canal-admin/

配置文件

[root@master ~]# vim /usr/local/canal/canal-admin/conf/application.yml  # 修改如下配置
server:port: 8089
spring:jackson:date-format: yyyy-MM-dd HH:mm:sstime-zone: GMT+8spring.datasource:address: 127.0.0.1:3306   # mysql主机的ip和端口，这里就是在本机上database: canal_managerusername: canalpassword: canaldriver-class-name: com.mysql.jdbc.Driverurl: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true  # 注意，在这里添加了时区和对mysql8.0的适配，useSSL=false后面的内容在mysql5.7中可以删除hikari:maximum-pool-size: 30minimum-idle: 1canal:adminUser: adminadminPasswd: admin

导入sql

[root@master ~]# mysql -p1234 < /usr/local/canal/canal-admin/conf/canal_manager.sql

启动 Canal Admin 服务

[root@master ~]# cd /usr/local/canal/canal-admin/bin[root@master bin]# sh startup.sh[root@master bin]# ss -tnlp
State          Recv-Q         Send-Q                 Local Address:Port                   Peer Address:Port         Process                                     
LISTEN         0              128                          0.0.0.0:22                          0.0.0.0:*             users:(("sshd",pid=827,fd=3))              
LISTEN         0              100                          0.0.0.0:8089                        0.0.0.0:*             users:(("java",pid=15192,fd=108))          
LISTEN         0              70                                 *:33060                             *:*             users:(("mysqld",pid=15114,fd=21))         
LISTEN         0              128                             [::]:22                             [::]:*             users:(("sshd",pid=827,fd=4))              
LISTEN         0              151                                *:3306                              *:*             users:(("mysqld",pid=15114,fd=23))

日志目录：/usr/local/canal/canal-admin/logs 

浏览器访问IP+8089端口， 这里我访问：http://192.168.226.26:8089/

默认用户名：admin   默认登陆密码：123456

 

配置canal-deployer

部署canal-deployer

[root@master bin]# cd [root@master ~]# tar -xf canal.deployer-1.1.7.tar.gz -C /usr/local/canal/canal-deployer/

 配置文件

[root@master ~]# vim /usr/local/canal/canal-deployer/conf/canal_local.properties
# register ip
canal.register.ip = 192.168.226.26# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =
canal.admin.register.name = canal-admin

启动 Canal 部署器

[root@master ~]# cd /usr/local/canal/canal-deployer/bin/[root@master bin]# sh startup.sh local[root@master bin]# ss -tnlp
State          Recv-Q         Send-Q                 Local Address:Port                   Peer Address:Port         Process                                     
LISTEN         0              50                           0.0.0.0:11111                       0.0.0.0:*             users:(("java",pid=15793,fd=86))           
LISTEN         0              50                           0.0.0.0:11110                       0.0.0.0:*             users:(("java",pid=15793,fd=90))           
LISTEN         0              3                            0.0.0.0:11112                       0.0.0.0:*             users:(("java",pid=15793,fd=77))           
LISTEN         0              128                          0.0.0.0:22                          0.0.0.0:*             users:(("sshd",pid=827,fd=3))              
LISTEN         0              100                          0.0.0.0:8089                        0.0.0.0:*             users:(("java",pid=15192,fd=108))          
LISTEN         0              70                                 *:33060                             *:*             users:(("mysqld",pid=15114,fd=21))         
LISTEN         0              128                             [::]:22                             [::]:*             users:(("sshd",pid=827,fd=4))              
LISTEN         0              151                                *:3306                              *:*             users:(("mysqld",pid=15114,fd=23))

日志目录：/usr/local/canal/canal-deployer/logs/canal 

​
# 登录mysql查看binlog日志
[root@master ~]# mysql -p1234
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 71
Server version: 8.0.36 Source distributionCopyright (c) 2000, 2024, Oracle and/or its affiliates.Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> SHOW MASTER STATUS;    --查看当前正在使用的 binlog 文件
+---------------+----------+--------------+------------------+-------------------+
| File          | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+---------------+----------+--------------+------------------+-------------------+
| binlog.000003 |    29771 |              |                  |                   |
+---------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)# 修改配置，将上方查到的binlog日志和位置数写进去
[root@master ~]# vim /usr/local/canal/canal-deployer/conf/example/instance.propertiescanal.instance.master.journal.name=binlog.000003
canal.instance.master.position=29771

 

 页面查看server注册

 

 

测试数据读取

[root@master conf]# cd[root@master ~]# yum install -y python-pip[root@master ~]# pip3 install protobuf==3.20.1 canal-python -i https://mirrors.aliyun.com/pypi/simple/
[root@master ~]# vim client.py
import time# 从 canal.client 和 canal.protocol 导入所需的模块
from canal.client import Client
from canal.protocol import EntryProtocol_pb2
from canal.protocol import CanalProtocol_pb2# 创建 Canal 客户端实例
client = Client()# 连接到 Canal 服务器
client.connect(host='127.0.0.1', port=11111)# 检查客户端连接是否有效（无需提供用户名和密码）
client.check_valid(username=b'', password=b'')# 订阅 Canal 实例（destination）和表的变更（filter）
client.subscribe(client_id=b'1001', destination=b'example', filter=b'.*\\..*')# 循环获取数据并处理
while True:# 从 Canal 服务器获取数据，最多获取 100 条消息message = client.get(100)entries = message['entries']  # 提取消息中的 entries（数据库变更条目）# 遍历所有条目for entry in entries:entry_type = entry.entryType  # 获取条目的类型# 如果条目是事务开始或事务结束，则跳过if entry_type in [EntryProtocol_pb2.EntryType.TRANSACTIONBEGIN, EntryProtocol_pb2.EntryType.TRANSACTIONEND]:continue# 解析行变更数据row_change = EntryProtocol_pb2.RowChange()row_change.MergeFromString(entry.storeValue)  # 从字节流中解析 RowChange 数据event_type = row_change.eventType  # 获取事件类型header = entry.header  # 获取条目的头部信息database = header.schemaName  # 获取数据库名table = header.tableName  # 获取表名event_type = header.eventType  # 获取事件类型（与 RowChange 中的 eventType 一致）# 遍历所有行数据for row in row_change.rowDatas:format_data = dict()  # 初始化数据格式字典# 根据事件类型处理数据if event_type == EntryProtocol_pb2.EventType.DELETE:# 删除事件：仅处理删除前的数据for column in row.beforeColumns:format_data = {column.name: column.value}elif event_type == EntryProtocol_pb2.EventType.INSERT:# 插入事件：仅处理插入后的数据for column in row.afterColumns:format_data = {column.name: column.value}else:# 更新事件：处理更新前后的数据format_data['before'] = dict()  # 初始化删除前数据字典format_data['after'] = dict()   # 初始化插入后数据字典# 处理删除前数据for column in row.beforeColumns:format_data['before'][column.name] = column.value# 处理插入后数据for column in row.afterColumns:format_data['after'][column.name] = column.value# 构建数据字典data = dict(db=database,  # 数据库名table=table,  # 表名event_type=event_type,  # 事件类型data=format_data,  # 数据)print(data)  # 打印数据# 暂停 1 秒钟time.sleep(1)# 断开与 Canal 服务器的连接
client.disconnect()

运行后会看到终端一些数据弹出，就是在读取展示

[root@master ~]# python3 client.py
connected to 127.0.0.1:11111
Auth succed
Subscribe succed
{'db': 'canal_manager', 'table': 'canal_config', 'event_type': 1, 'data': {'modified_time': '2024-08-16 16:27:01'}}
{'db': 'canal_manager', 'table': 'canal_instance_config', 'event_type': 1, 'data': {'modified_time': '2024-08-16 19:36:10'}}
。。。。。。
。。。
。

此时新开一个终端，尝试写入数据，然后回到运行的python代码终端查看

-- 创建数据库
CREATE DATABASE IF NOT EXISTS test_db;-- 切换到新创建的数据库
USE test_db;-- 创建表
CREATE TABLE IF NOT EXISTS employees (id INT AUTO_INCREMENT PRIMARY KEY,name VARCHAR(100) NOT NULL,position VARCHAR(100),salary DECIMAL(10, 2),hire_date DATE
);-- 插入几条数据
INSERT INTO employees (name, position, salary, hire_date)
VALUES ('Alice', 'Software Engineer', 85000.00, '2023-02-15'),('Bob', 'Project Manager', 95000.00, '2022-11-20'),('Charlie', 'Data Analyst', 70000.00, '2024-01-10');-- 查询表中的所有数据以确认插入成功
SELECT * FROM employees;INSERT INTO employees (name, position, salary, hire_date) 
VALUES ('Charlie Zhang', 'Sales', 68000.00, '2021-12-01');INSERT INTO employees (name, position, salary, hire_date) 
VALUES ('Alice Wang', 'Engineering', 75000.00, '2022-01-15');INSERT INTO employees (name, position, salary, hire_date) 
VALUES ('Bob Li', 'HR', 72000.00, '2022-05-01');UPDATE employees 
SET salary = 80000.00, position = 'Product' 
WHERE name = 'Alice Wang';UPDATE employees 
SET position = 'HR', hire_date = '2022-05-10' 
WHERE name = 'Bob Li';DELETE FROM employees 
WHERE name = 'Charlie Zhang';DELETE FROM employees 
WHERE position = 'Sales';

查看运行python代码的终端

 

新增一台主机用做被同步的目标机器测试

新增一台新虚拟机，关闭防火墙和selinux，进行时间同步，配置阿里云的镜像源，安装jdk，这里不在赘述。

主机名系统IP配置工具版本
localhost

Rocky_linux9.4

192.168.226.292核心4G内存-20G磁盘

MySQL8.0
canal.deployer-1.1.7

下载mysql8.0并配置

[root@localhost ~]# yum install -y mysql-server[root@localhost ~]# vim /etc/my.cnf.d/mysql-server.cnf  #加入下述配置
default-authentication-plugin=mysql_native_password
server_id=2
log_bin=binlog
binlog_format=ROW[root@localhost ~]# systemctl enable --now mysqld[root@localhost ~]# mysql
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 9
Server version: 8.0.36 Source distributionCopyright (c) 2000, 2024, Oracle and/or its affiliates.Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';   -- 修改 root 用户的密码为 '123456'
Query OK, 0 rows affected (0.00 sec)mysql> CREATE USER canal IDENTIFIED BY 'canal';    -- 创建一个名为 canal 的新用户，密码为 'canal'
Query OK, 0 rows affected (0.01 sec)mysql> GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' WITH GRANT OPTION;  --给canal用户授权
Query OK, 0 rows affected (0.01 sec)mysql> FLUSH PRIVILEGES;   -- 刷新权限表，使前面的更改生效
Query OK, 0 rows affected (0.00 sec)

上传并解压canal.deployer-1.1.7.tar.gz

[root@localhost ~]# ll
total 105392
-rw-------. 1 root root       815 Jun  6 14:00 anaconda-ks.cfg
-rw-r--r--  1 root root 107915086 Aug 16 13:20 canal.deployer-1.1.7.tar.gz
[root@localhost ~]# mkdir -p /usr/local/canal
[root@localhost ~]# tar -xf canal.deployer-1.1.7.tar.gz -C /usr/local/canal/

编辑配置文件

# 找到如下三个字段，需要求修改即可
[root@localhost ~]# vim /usr/local/canal/conf/canal_local.properties# Canal 注册的 IP 地址
# 用于 Canal 实例的注册过程中的 IP 地址
canal.register.ip = 192.168.226.29# Canal 管理端的 IP 地址和端口
# 通过此 IP 和端口可以访问 Canal 管理界面
canal.admin.manager = 192.168.226.26:8089# Canal 管理端的注册名称
# 用于标识 Canal 实例在注册过程中使用的名称
canal.admin.register.name = hello

[root@localhost ~]# sh /usr/local/canal/bin/startup.sh local[root@localhost ~]# ss -tnlp
State          Recv-Q         Send-Q                 Local Address:Port                   Peer Address:Port         Process                                     
LISTEN         0              128                          0.0.0.0:22                          0.0.0.0:*             users:(("sshd",pid=850,fd=3))              
LISTEN         0              50                           0.0.0.0:11111                       0.0.0.0:*             users:(("java",pid=2045,fd=85))            
LISTEN         0              50                           0.0.0.0:11110                       0.0.0.0:*             users:(("java",pid=2045,fd=89))            
LISTEN         0              3                            0.0.0.0:11112                       0.0.0.0:*             users:(("java",pid=2045,fd=76))            
LISTEN         0              151                                *:3306                              *:*             users:(("mysqld",pid=14045,fd=24))         
LISTEN         0              70                                 *:33060                             *:*             users:(("mysqld",pid=14045,fd=21))         
LISTEN         0              128                             [::]:22                             [::]:*             users:(("sshd",pid=850,fd=4)) 
[root@localhost ~]# mysql -p123456
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 11
Server version: 8.0.36 Source distributionCopyright (c) 2000, 2024, Oracle and/or its affiliates.Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> SHOW MASTER STATUS;
+---------------+----------+--------------+------------------+-------------------+
| File          | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+---------------+----------+--------------+------------------+-------------------+
| binlog.000002 |     1370 |              |                  |                   |
+---------------+----------+--------------+------------------+-------------------+
1 row in set (0.01 sec)

 

现在回到192.168.226.26主机

[root@master ~]# vim client.py  # 修改这两处地方
client.connect(host='192.168.226.29', port=11111)
client.subscribe(client_id=b'1001', destination=b'hello', filter=b'.*\\..*')

再次运行python文件

[root@master ~]# python3 client.py

再回到192.168.226.29主机的mysql中，执行一些sql语句

-- 创建数据库
CREATE DATABASE people_db;-- 使用数据库
USE people_db;-- 创建表
CREATE TABLE people (id INT AUTO_INCREMENT PRIMARY KEY,first_name VARCHAR(50) NOT NULL,last_name VARCHAR(50) NOT NULL,date_of_birth DATE,email VARCHAR(100),phone_number VARCHAR(15)
);
-- 插入数据
INSERT INTO people (first_name, last_name, date_of_birth, email, phone_number) 
VALUES 
('Alice', 'Smith', '1990-05-15', 'alice.smith@example.com', '123-456-7890'),
('Bob', 'Johnson', '1985-08-20', 'bob.johnson@example.com', '234-567-8901'),
('Charlie', 'Williams', '2000-01-30', 'charlie.williams@example.com', '345-678-9012'),
('Diana', 'Brown', '1992-11-25', 'diana.brown@example.com', '456-789-0123');
-- 更新数据
UPDATE people 
SET email = 'bob.j.newemail@example.com', phone_number = '999-888-7777' 
WHERE first_name = 'Bob' AND last_name = 'Johnson';
-- 删除数据
DELETE FROM people 
WHERE first_name = 'Charlie' AND last_name = 'Williams';
-- 查询所有数据
SELECT * FROM people;

在192.168.226.26主机中，查看python运行代码的终端同步的结果：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/877456.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【gitlab】gitlab-ce:17.3.0-ce.0 1：使用docker engine安装

【gitlab】gitlab-ce:17.3.0-ce.0 1：使用docker engine安装

ce版本必须配置代理。 极狐版本可以直接pull 社区版GitLab不支持Alibaba Cloud Linux 3，本操作以Ubuntu/Debian系统为例进行说明，其他操作系统安装说明，请参见安装社区版GitLab。 docker 环境重启 sudo systemctl daemon-reload sudo systemctl restart docker脚本安装 安裝…
阅读更多...
宝塔面板实现定时任务删除 logs文件 加条件删除 只删除一个月前的日志

宝塔面板实现定时任务删除 logs文件 加条件删除 只删除一个月前的日志

我们在开发中难免用到了日志功能&#xff0c;随着日志越来越多导致占用我们的内存 下面是一个简单的 使用宝塔面板里面的定时任务来实现删除日志案例 第一步 首先我的日志文件目录 都在log文件夹里面&#xff0c; 每个月生成一个日志文件夹 文件夹命名是年月来命名的 第二…
阅读更多...
探索深度学习的力量：从人工智能到计算机视觉的未来科技革命

探索深度学习的力量：从人工智能到计算机视觉的未来科技革命

目录 1. 引言 2. 人工智能的历史背景 3. 深度学习的崛起 3.1 深度神经网络的基本原理 4. 计算机视觉的发展现状 4.1 传统计算机视觉与深度学习的结合 5. 深度学习在计算机视觉中的应用 5.1 图像分类 5.2 目标检测 6. 深度学习引领的未来科技创新与变革 7. 结论 引言…
阅读更多...
【vue3+Typescript】手撸了一个轻量uniapp导航条

【vue3+Typescript】手撸了一个轻量uniapp导航条

最近公共组件写到导航条&#xff0c;本来打算拿已有的改。看了下uniapp市场上已有的组件&#xff0c;一是不支持vue3typescript&#xff0c;二是包装过重。索性自己手撸了一个导航条&#xff0c;不到100行代码全部搞定&#xff0c;因为自己的需求很简单&#xff1a; 1&#xf…
阅读更多...
pycharm2023.1破解

pycharm2023.1破解

下载解压文件&#xff0c;文件夹 /jetbra 复制电脑某个位置 注意&#xff1a; 补丁所属文件夹需单独存放&#xff0c;且放置的路径不要有中文与空格&#xff0c;以免 Pycharm 读取补丁错误。 点击进入 /jetbra 补丁目录&#xff0c;再点击进入 /scripts 文件夹&#xff0c;双…
阅读更多...
javaer快速入门 goweb框架 gin

javaer快速入门 goweb框架 gin

gin 入门 前置条件 安装环境 配置代理 # 配置 GOPROXY 环境变量&#xff0c;以下三选一# 1. 七牛 CDN go env -w GOPROXYhttps://goproxy.cn,direct# 2. 阿里云 go env -w GOPROXYhttps://mirrors.aliyun.com/goproxy/,direct# 3. 官方 go env -w GOPROXYhttps://goproxy.…
阅读更多...
鸿蒙内核源码分析——(自旋锁篇)

鸿蒙内核源码分析——(自旋锁篇)

本篇说清楚自旋锁 读本篇之前建议先读系列篇 进程/线程篇. 内核中哪些地方会用到自旋锁?看图: 概述 自旋锁顾名思义&#xff0c;是一把自动旋转的锁&#xff0c;这很像厕所里的锁&#xff0c;进入前标记是绿色可用的&#xff0c;进入格子间后&#xff0c;手一带&#xff0c…
阅读更多...
10分钟学会LVM逻辑卷

10分钟学会LVM逻辑卷

华子目录 前言认识LVMLVM基本概念LVM整体流程LVM管理命令pvs&#xff0c;vgs&#xff0c;lvs命令pvs基本用法选项示例 vgs基本用法选项示例 lvs基本用法 pvcreate&#xff0c;vgcreate&#xff0c;lvcreate命令pvcreate示例 vgcreate基本用法示例选项 lvcreate基本用法示例 pvr…
阅读更多...
Python爬虫入门教程（非常详细）适合零基础小白

Python爬虫入门教程（非常详细）适合零基础小白

一、什么是爬虫&#xff1f; 1.简单介绍爬虫 爬虫的全称为网络爬虫&#xff0c;简称爬虫&#xff0c;别名有网络机器人&#xff0c;网络蜘蛛等等。 网络爬虫是一种自动获取网页内容的程序&#xff0c;为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术&#xff0c;将…
阅读更多...
【电路笔记】-无源衰减器总结

【电路笔记】-无源衰减器总结

无源衰减器总结 文章目录 无源衰减器总结1、概述2、L-型无源衰减器设计3、T-型无源衰减器设计4、桥接 T 型衰减器设计5、π型无源衰减器设计无源衰减器是一个纯电阻网络，可用于控制输出信号的电平。 1、概述 无源衰减器是一种纯电阻网络，用于削弱或“衰减”传输线的信号电平…
阅读更多...
Element UI中报dateObject.getTime is not a function解决方法~

Element UI中报dateObject.getTime is not a function解决方法~

1、错误信息。 2、该报错原因是Element UI中日期组件的校验规则是type: "date",而一般我们从后台拿到的数据是字符串型的&#xff0c;不满足预期&#xff0c;就会报错。 3、解决方法。 去掉日子组件中的type: "date"校验规则即可。 rules: {newName: [{…
阅读更多...
EasyCVR视频汇聚平台：深度解析GB/T 28181协议下的视频资源整合与应用

EasyCVR视频汇聚平台：深度解析GB/T 28181协议下的视频资源整合与应用

随着安防技术的快速发展和智慧城市建设的推进&#xff0c;视频监控系统作为公共安全、城市管理、企业运营等领域的重要基础设施&#xff0c;其重要性和应用范围不断扩大。在这一过程中&#xff0c;GB/T 28181作为国家标准中关于视频监控设备通信协议的规范&#xff0c;正逐渐受…
阅读更多...
C2M商业模式分析与运营平台建设解决方案（四）

C2M商业模式分析与运营平台建设解决方案（四）

C2M商业模式以消费者需求驱动生产制造&#xff0c;实现个性化与效率的双赢。本解决方案将围绕构建智能化、数据驱动的运营平台&#xff0c;通过精准把握市场需求、优化生产流程、强化供应链管理&#xff0c;打造高效、敏捷、柔性的C2M运营体系&#xff0c;助力企业快速响应市场…
阅读更多...
华为AR1220配置GRE隧道

华为AR1220配置GRE隧道

1.GRE隧道的配置 GRE隧道的配置过程，包括设置接口IP地址、配置GRE隧道接口和参数、配置静态路由以及测试隧道连通性。GRE隧道作为一种标准协议，支持多协议传输，但不提供加密，并且可能导致CPU资源消耗大和调试复杂等问题。本文采用华为AR1220路由器来示例说明。 配置…
阅读更多...
【电路笔记】-桥接 T 型衰减器

【电路笔记】-桥接 T 型衰减器

桥接 T 型衰减器 文章目录 桥接 T 型衰减器1、概述2、桥接 T 型衰减器示例 13、可变桥接 T 型衰减器4、完全可调衰减器5、可切换桥接 T 型衰减器Bridged-T 衰减器是另一种电阻衰减器设计，它是标准对称 T 垫衰减器的变体。 1、概述 顾名思义，桥接 T 形衰减器具有一个额外的电…
阅读更多...
Cesium模型制作，解决Cesium加载glb/GLTF显示太黑不在中心等问题

Cesium模型制作，解决Cesium加载glb/GLTF显示太黑不在中心等问题

Cesium模型制作&#xff0c;解决Cesium加载glb/GLTF显示太黑不在中心等问题 QQ可以联系这里&#xff0c;谢谢
阅读更多...
Spring SSM框架--MVC

Spring SSM框架--MVC

SSM框架–Mybatis 一、介绍 Spring 框架是一个资源整合的框架&#xff0c;可以整合一切可以整合的资源&#xff08;Spring 自身和第三方&#xff09;&#xff0c;是一个庞大的生态&#xff0c;包含很多子框架&#xff1a;Spring Framework、Spring Boot、Spring Data、Spring…
阅读更多...
C++高性能编程：ZeroMQ vs Fast-DDS发布-订阅模式下性能对比与分析

C++高性能编程：ZeroMQ vs Fast-DDS发布-订阅模式下性能对比与分析

文章目录 0. 引言1. 目标&#xff1a;ZeroMQ与Fast-DDS性能对比2. ZeroMQ vs Fast-DDS - 延迟基准测试2.1 一对一发布-订阅延迟2.2 一对多发布-订阅延迟 3. ZeroMQ vs Fast-DDS - 吞吐量基准测试4. 方法论5. 结论6. 参考 0. 引言 高要求的分布式系统催生了对轻量级且高性能中间…
阅读更多...
C#MVC返回DataTable到前端展示。

C#MVC返回DataTable到前端展示。

很久没写博客了&#xff0c;闭关太久&#xff0c;失踪人口回归&#xff0c;给诸位道友整点绝活。 交代下背景&#xff1a;要做一个行转列的汇总统计&#xff0c;而且&#xff0c;由于是行转列&#xff0c;列的数量不固定&#xff0c;所以&#xff0c;没法使用正常的SqlSugar框…
阅读更多...
el-tree树状控件，定位到选中的节点的位置

el-tree树状控件，定位到选中的节点的位置

效果图 在el-tree 控件加 :render-content"renderContent" 在掉接口的方法中 实际有用的是setTimeout 方法和this.$refs.xxxxxx.setCheckedKeys([industrycodeList]) if(res.data.swindustrylist.length>0){res.data.swindustrylist.forEach(item > {industry…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023