大数据—数据采集DataX

一、DataX介绍

官网： DataX/introduction.md at master · alibaba/DataX · GitHub

DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。

DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

DataX 的特点包括：

  1. 支持多种数据源和数据目的地：DataX 支持各种常见的数据源和数据目的地，包括关系型数据库、NoSQL 数据库、数据仓库、云存储等。

  2. 可扩展性：DataX 提供了可扩展的插件机制，用户可以根据需要自定义插件来支持新的数据源或数据目的地。

  3. 高性能：DataX 被设计为高性能的数据处理工具，在处理大规模数据时能够提供较高的性能和吞吐量。

  4. 易用性：DataX 提供了简单易用的配置方式，用户可以通过配置文件来定义数据处理任务，而无需编写复杂的代码。

二、Datax架构说明

        DataX 的架构设计灵活而可扩展，通过调度器、执行器、任务配置、插件等组件的协同工作，实现了高效、可靠的数据交换和处理功能。

        DataX 是一个分布式数据交换系统，其架构设计主要包括以下几个关键组件：

  1. 调度器（Scheduler）：调度器负责协调和管理数据交换任务的执行。它接收用户提交的数据交换任务，并将任务分配给可用的执行器进行处理。调度器还负责监控任务的执行状态，并在需要时重新调度失败的任务或处理异常情况。

  2. 执行器（Executor）：执行器是实际执行数据交换任务的组件。它负责根据调度器分配的任务执行数据抽取（Extract）、转换（Transform）、加载（Load）等操作。执行器可以部署在集群中的多台机器上，以实现并行处理和提高任务执行的效率。

  3. 任务配置（Job Configuration）：任务配置包括用户定义的数据交换任务的配置信息，如数据源、数据目的地、数据转换规则等。任务配置通常采用简单的配置文件或数据流程图的形式进行定义，以便于用户理解和管理。

  4. 数据源和数据目的地（Data Source & Data Sink）：数据源是数据交换任务的来源，可以是关系型数据库、文件系统、NoSQL 数据库等；而数据目的地是数据交换任务的目标，通常是用来存储处理后的数据。DataX 提供了丰富的插件来支持各种常见的数据源和数据目的地。

  5. 插件（Plugin）：插件是 DataX 的核心组件之一，用于实现不同类型数据源和数据目的地的读写操作以及数据转换功能。DataX 提供了丰富的插件体系，用户可以根据需要选择合适的插件来支持特定的数据源或数据目的地。

  6. 资源管理器（Resource Manager）：资源管理器负责管理执行器所需的资源，如内存、CPU 资源等。它可以根据任务的执行情况动态调整资源分配，以实现资源的高效利用和任务的平衡执行。

三、Datax数据处理流程

        DataX 的数据处理流程包括任务配置、任务提交、调度和分配、数据抽取、数据转换、数据加载、任务监控和报告等多个阶段，通过这些阶段的协同工作，实现了高效、可靠的数据交换和处理功能。

        DataX 的数据处理流程通常可以分为以下几个阶段：

  1. 任务配置：用户首先需要定义数据交换任务的配置信息。这包括指定数据源和数据目的地的类型、连接信息、数据转换规则等。任务配置可以通过简单的配置文件或者可视化工具进行定义。

  2. 任务提交：一旦任务配置完成，用户将任务提交给 DataX。这通常通过命令行工具或者调度系统的 API 进行提交。

  3. 调度和分配：调度器接收到用户提交的任务后，会根据任务的优先级和资源情况将任务分配给可用的执行器。如果任务需要在特定的时间点执行，调度器也会相应地进行调度安排。

  4. 数据抽取（Extract）：执行器首先从数据源中读取数据。这可能涉及到连接数据库、读取文件、调用 API 等操作，具体的操作取决于数据源的类型和配置。

  5. 数据转换（Transform）：一旦数据被抽取到内存中，执行器会根据用户定义的转换规则对数据进行处理和转换。这包括数据清洗、格式转换、字段映射等操作，以确保数据符合目标格式和要求。

  6. 数据加载（Load）：处理后的数据将被加载到目标数据存储中。这可能涉及到写入数据库、上传文件、推送到消息队列等操作，具体的操作取决于数据目的地的类型和配置。

  7. 任务监控和报告：在整个数据处理流程中，调度器会监控任务的执行状态和进度，并及时报告任务的执行情况给用户。这可以帮助用户及时发现和解决任务执行中的问题。

  8. 任务完成：一旦任务执行完成，用户可以查看任务的执行结果，并根据需要进行后续的数据分析、挖掘等操作。

        

核心模块介绍：
  1. DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。
  2. DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
  3. 切分多个Task之后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task，默认单个任务组的并发数量为5。
  4. 每一个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。
  5. DataX作业运行起来之后， Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出。否则，异常退出，进程退出值非0
DataX调度流程：

        举例来说，用户提交了一个DataX作业，并且配置了20个并发，目的是将一个100张分表的mysql数据同步到odps里面。 DataX的调度决策思路是：

  1. DataXJob根据分库分表切分成了100个Task。
  2. 根据20个并发，DataX计算共需要分配4个TaskGroup。
  3. 4个TaskGroup平分切分好的100个Task，每一个TaskGroup负责以5个并发共计运行25个Task。

四、DataX使用说明

DataX 是一个强大的数据交换工具，用于实现数据抽取、转换和加载（ETL）任务。下面是一个简要的 DataX 使用说明：

1. 安装 DataX

首先，您需要安装 DataX。您可以从 DataX 的官方 GitHub 仓库中获取源代码，并按照官方文档提供的安装说明进行安装。另外，也可以通过直接下载 DataX 的发布版本进行安装。

2. 编写任务配置文件

接下来，您需要编写数据交换任务的配置文件。配置文件通常使用 JSON 或者其他类似的格式进行编写。在配置文件中，您需要指定数据源、数据目的地、数据转换规则等信息。

3. 提交任务

一旦配置文件编写完成，您可以使用 DataX 提供的命令行工具或者调度系统的 API 进行任务提交。提交任务时，需要指定配置文件的路径以及其他必要的参数。

4. 监控任务执行

一旦任务提交成功，DataX 将会开始执行任务。您可以使用 DataX 提供的监控和日志查看工具来监控任务的执行状态和进度。这些工具通常会提供任务执行日志、报告和统计信息，帮助您了解任务的执行情况。

5. 调优和优化

在任务执行过程中，您可能需要对任务进行调优和优化，以提高任务的性能和效率。您可以根据任务执行日志和统计信息，对任务的配置进行调整，或者调整执行环境的资源配置，以达到更好的执行效果。

6. 完成任务

一旦任务执行完成，您可以根据需要对处理后的数据进行后续的分析、挖掘等操作。您可以从数据目的地中获取处理后的数据，并将其用于您的业务应用中。

4.1、DataX MysqlReader

4.1.1、介绍

MysqlReader插件实现了从Mysql读取数据。在底层实现上，MysqlReader通过JDBC连接远程Mysql数据库，并执行相应的sql语句将数据从mysql库中SELECT出来。

不同于其他关系型数据库，MysqlReader不支持FetchSize.

4.1.2、原理

简而言之，MysqlReader通过JDBC连接器连接到远程的Mysql数据库，并根据用户配置的信息生成查询SELECT SQL语句，然后发送到远程Mysql数据库，并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。

对于用户配置Table、Column、Where的信息，MysqlReader将其拼接为SQL语句发送到Mysql数据库；对于用户配置querySql信息，MysqlReader直接将其发送到Mysql数据库。

4.1.3、配置

--配置一个从Mysql数据库同步抽取数据到本地的作业:
{"job": {"setting": {"speed": {"channel": 3},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "root","password": "root","column": ["id","name"],"splitPk": "db_id","connection": [{"table": ["table"],"jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/database"]}]}},"writer": {"name": "streamwriter","parameter": {"print":true}}}]}
}--配置一个自定义SQL的数据库同步任务到本地内容的作业：
{"job": {"setting": {"speed": {"channel":1}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "root","password": "root","connection": [{"querySql": ["select db_id,on_line_flag from db_info where db_id < 10;"],"jdbcUrl": ["jdbc:mysql://bad_ip:3306/database","jdbc:mysql://127.0.0.1:bad_port/database","jdbc:mysql://127.0.0.1:3306/database"]}]}},"writer": {"name": "streamwriter","parameter": {"print": false,"encoding": "UTF-8"}}}]}
}

4.1.4、参数说明

  • jdbcUrl

    • 描述：描述的是到对端数据库的JDBC连接信息，使用JSON的数组描述，并支持一个库填写多个连接地址。之所以使用JSON数组描述连接信息，是因为阿里集团内部支持多个IP探测，如果配置了多个，MysqlReader可以依次探测ip的可连接性，直到选择一个合法的IP。如果全部连接失败，MysqlReader报错。 注意，jdbcUrl必须包含在connection配置单元中。对于阿里集团外部使用情况，JSON数组填写一个JDBC连接即可。

      jdbcUrl按照Mysql官方规范，并可以填写连接附件控制信息。具体请参看Mysql官方文档。

    • 必选：是

    • 默认值：无

  • username

    • 描述：数据源的用户名

    • 必选：是

    • 默认值：无

  • password

    • 描述：数据源指定用户名的密码

    • 必选：是

    • 默认值：无

  • table

    • 描述：所选取的需要同步的表。使用JSON的数组描述，因此支持多张表同时抽取。当配置为多张表时，用户自己需保证多张表是同一schema结构，MysqlReader不予检查表是否同一逻辑表。注意，table必须包含在connection配置单元中。

    • 必选：是

    • 默认值：无

  • column

    • 描述：所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。用户使用*代表默认使用所有列配置，例如['*']。

      支持列裁剪，即列可以挑选部分列进行导出。

      支持列换序，即列可以不按照表schema信息进行导出。

      支持常量配置，用户需要按照Mysql SQL语法格式: ["id", "`table`", "1", "'bazhen.csy'", "null", "to_char(a + 1)", "2.3" , "true"] id为普通列名，`table`为包含保留字的列名，1为整形数字常量，'bazhen.csy'为字符串常量，null为空指针，to_char(a + 1)为表达式，2.3为浮点数，true为布尔值。

    • 必选：是

    • 默认值：无

  • splitPk

    • 描述：MysqlReader进行数据抽取时，如果指定splitPk，表示用户希望使用splitPk代表的字段进行数据分片，DataX因此会启动并发任务进行数据同步，这样可以大大提供数据同步的效能。

      推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。

     目前splitPk仅支持整形数据切分，不支持浮点、字符串、日期等其他类型。如果用户指定其他非支持类型，MysqlReader将报错！

    如果splitPk不填写，包括不提供splitPk或者splitPk值为空，DataX视作使用单通道同步该表数据。

    • 必选：否

    • 默认值：空

  • where

    • 描述：筛选条件，MysqlReader根据指定的column、table、where条件拼接SQL，并根据这个SQL进行数据抽取。在实际业务场景中，往往会选择当天的数据进行同步，可以将where条件指定为gmt_create > $bizdate 。注意：不可以将where条件指定为limit 10，limit不是SQL的合法where子句。

      where条件可以有效地进行业务增量同步。如果不填写where语句，包括不提供where的key或者value，DataX均视作同步全量数据。

    • 必选：否

    • 默认值：无

  • querySql

    • 描述：在有些业务场景下，where这一配置项不足以描述所筛选的条件，用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on table_a.id = table_b.id

    当用户配置querySql时，MysqlReader直接忽略table、column、where条件的配置，querySql优先级大于table、column、where选项。

    • 必选：否

    • 默认值：无

4.2、DataX MysqlWriter

4.2.1、介绍

MysqlWriter 插件实现了写入数据到 Mysql 主库的目的表的功能。在底层实现上， MysqlWriter 通过 JDBC 连接远程 Mysql 数据库，并执行相应的 insert into ... 或者 ( replace into ...) 的 sql 语句将数据写入 Mysql，内部会分批次提交入库，需要数据库本身采用 innodb 引擎。

MysqlWriter 面向ETL开发工程师，他们使用 MysqlWriter 从数仓导入数据到 Mysql。同时 MysqlWriter 亦可以作为数据迁移工具为DBA等用户提供服务。

4.2.2、原理

MysqlWriter 通过 DataX 框架获取 Reader 生成的协议数据，根据你配置的 writeMode 生成

  • insert into...(当主键/唯一性索引冲突时会写不进去冲突的行)
  • replace into...(没有遇到主键/唯一性索引冲突时，与 insert into 行为一致，冲突时会用新行替换原有行所有字段) 的语句写入数据到 Mysql。出于性能考虑，采用了 PreparedStatement + Batch，并且设置了：rewriteBatchedStatements=true，将数据缓冲到线程上下文 Buffer 中，当 Buffer 累计到预定阈值时，才发起写入请求。

4.2.3、配置

--这里使用一份从内存产生到 Mysql 导入的数据。
{"job": {"setting": {"speed": {"channel": 1}},"content": [{"reader": {"name": "streamreader","parameter": {"column" : [{"value": "DataX","type": "string"},{"value": 19880808,"type": "long"},{"value": "1988-08-08 08:08:08","type": "date"},{"value": true,"type": "bool"},{"value": "test","type": "bytes"}],"sliceRecordCount": 1000}},"writer": {"name": "mysqlwriter","parameter": {"writeMode": "insert","username": "root","password": "root","column": ["id","name"],"session": ["set session sql_mode='ANSI'"],"preSql": ["delete from test"],"connection": [{"jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=gbk","table": ["test"]}]}}}]}
}

4.2.4、参数说明

  • jdbcUrl

    • 描述：目的数据库的 JDBC 连接信息。作业运行时，DataX 会在你提供的 jdbcUrl 后面追加如下属性：yearIsDateType=false&zeroDateTimeBehavior=convertToNull&rewriteBatchedStatements=true

           注意：1、在一个数据库上只能配置一个 jdbcUrl 值。这与 MysqlReader 支持多个备库探测不同，因为此处不支持同一个数据库存在多个主库的情况(双主导入数据情况)2、jdbcUrl按照Mysql官方规范，并可以填写连接附加控制信息，比如想指定连接编码为 gbk ，则在 jdbcUrl 后面追加属性 useUnicode=true&characterEncoding=gbk。具体请参看 Mysql官方文档或者咨询对应 DBA。

    • 必选：是

    • 默认值：无

  • username

    • 描述：目的数据库的用户名

    • 必选：是

    • 默认值：无

  • password

    • 描述：目的数据库的密码

    • 必选：是

    • 默认值：无

  • table

    • 描述：目的表的表名称。支持写入一个或者多个表。当配置为多张表时，必须确保所有表结构保持一致。

           注意：table 和 jdbcUrl 必须包含在 connection 配置单元中

    • 必选：是

    • 默认值：无

  • column

    • 描述：目的表需要写入数据的字段,字段之间用英文逗号分隔。例如: "column": ["id","name","age"]。如果要依次写入全部列，使用*表示, 例如: "column": ["*"]。

        **column配置项必须指定，不能留空！**注意：1、我们强烈不推荐你这样配置，因为当你目的表字段个数、类型等有改动时，你的任务可能运行不正确或者失败2、 column 不能配置任何常量值

    • 必选：是

    • 默认值：否

  • session

    • 描述: DataX在获取Mysql连接时，执行session指定的SQL语句，修改当前connection session属性

    • 必须: 否

    • 默认值: 空

  • preSql

    • 描述：写入数据到目的表前，会先执行这里的标准语句。如果 Sql 中有你需要操作到的表名称，请使用 @table 表示，这样在实际执行 Sql 语句时，会对变量按照实际表名称进行替换。比如你的任务是要写入到目的端的100个同构分表(表名称为:datax_00,datax01, ... datax_98,datax_99)，并且你希望导入数据前，先对表中数据进行删除操作，那么你可以这样配置："preSql":["delete from 表名"]，效果是：在执行到每个表写入数据前，会先执行对应的 delete from 对应表名称

    • 必选：否

    • 默认值：无

  • postSql

    • 描述：写入数据到目的表后，会执行这里的标准语句。（原理同 preSql ）

    • 必选：否

    • 默认值：无

  • writeMode

    • 描述：控制写入数据到目标表采用 insert into 或者 replace into 或者 ON DUPLICATE KEY UPDATE 语句

    • 必选：是

    • 所有选项：insert/replace/update

    • 默认值：insert

  • batchSize

    • 描述：一次性批量提交的记录数大小，该值可以极大减少DataX与Mysql的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成DataX运行进程OOM情况。

    • 必选：否

    • 默认值：1024

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/4088.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【算法刷题 | 贪心算法02】4.24（摆动序列）

【算法刷题 | 贪心算法02】4.24（摆动序列）

文章目录 3.摆动序列3.1题目3.2解法&#xff1a;贪心3.2.1贪心思路3.2.2代码实现 3.摆动序列 3.1题目 如果连续数字之间的差严格地在正数和负数之间交替&#xff0c;则数字序列称为 摆动序列 。 第一个差&#xff08;如果存在的话&#xff09;可能是正数或负数。仅有一个元素…
阅读更多...
WPF 资源基础

WPF 资源基础

动态资源/静态资源 UI代码 <Window x:Class"WpfApp1.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d"http://schemas.microsoft.com/ex…
阅读更多...
太速科技-基于6 U VPX M.2 高带宽加固存储板

太速科技-基于6 U VPX M.2 高带宽加固存储板

基于6 U VPX M.2 高带宽加固存储板 一、板卡概述 基于6 U VPX M.2 高带宽加固存储板&#xff0c;可以实现VPX接口的数据读写到PCI-E总线的NVME存储媒介上。采用PLX8732&#xff0c;上行链路提供带宽x16的PCI-E数据到VPX接口上&#xff1b;下行链路提供3路带宽x4的PCI-E接口…
阅读更多...
Unity打包PC端exe，压缩打包为一个exe文件

Unity打包PC端exe，压缩打包为一个exe文件

目录 一.打包成功 1.打包输出文件 二.压缩输出目录为exe单个文件 1.添加到压缩文件 2.其他设置 1.点击“高级→自压缩选项” 2.修改解压后运行程序 3.设置模式 4.更新 三、生成.exe 一.打包成功 1.打包输出文件 1、一个后缀为 BurstDebugInformation_DoNotShip的文…
阅读更多...
Android 12 Starting window的添加与移除

Android 12 Starting window的添加与移除

添加&#xff1a; 04-13 16:29:55.931 2944 7259 D jinyanmeistart: at com.android.server.wm.StartingSurfaceController.createSplashScreenStartingSurface(StartingSurfaceController.java:87) 04-13 16:29:55.931 2944 7259 D jinyanmeistart: at com.android.server.wm.…
阅读更多...
ios不兼容Svg Wave的动画的解决方法

ios不兼容Svg Wave的动画的解决方法

近日也是用上了SvgWave&#xff0c;十分的好看 Svg Wave - A free & beautiful gradient SVG wave Generator. 大家感兴趣的也可以了解一下 【场景】 使用SvgWave的Animate&#xff0c;并生成svg代码使用&#xff0c;windows web端、朋友的安卓移动端都能够正常执行动画…
阅读更多...
前端CSS基础10（浮动）

前端CSS基础10（浮动）

前端CSS基础10&#xff08;浮动&#xff09; 浮动元素浮动后的特点浮动后的特点浮动后的影响及解决 浮动布局小练习 浮动 CSS中的浮动是一种布局技术&#xff0c;常用于实现元素的排列和定位。通过使用float属性&#xff0c;可以让元素在页面中左浮动或右浮动&#xff0c;使得…
阅读更多...
在PostgreSQL中如何有效地批量导入大量数据，并确保数据加载过程中的性能和稳定性？

在PostgreSQL中如何有效地批量导入大量数据，并确保数据加载过程中的性能和稳定性？

文章目录 解决方案1. 使用COPY命令2. 调整配置参数3. 禁用索引和约束4. 使用事务5. 并发导入 总结 在PostgreSQL中&#xff0c;批量导入大量数据是一个常见的需求&#xff0c;特别是在数据迁移、数据仓库填充或大数据分析等场景中。为了确保数据加载过程中的性能和稳定性&#…
阅读更多...
Compose和Android View相互使用

Compose和Android View相互使用

文章目录 Compose和Android View相互使用在Compose中使用View概述简单控件复杂控件嵌入XML布局 在View中使用Compose概述在Activity中使用Compose在Fragment中使用Compose布局使用多个ComposeView 在布局中使用Compose 组合使用 Compose和Android View相互使用 在Compose中使用…
阅读更多...
AIGC - SD(中英文本生成图片) + PaddleHub/HuggingFace + stable-diffusion-webui

AIGC - SD(中英文本生成图片) + PaddleHub/HuggingFace + stable-diffusion-webui

功能 stable-diffusion(文本生成图片)webui-win搭建&#xff08;开启api界面汉化&#xff09;PaddleHubHuggingFace: SD2&#xff0c;中文-alibaba/EasyNLP stable-diffusion-webui 下载与安装 环境相关下载 python&#xff08;文档推荐&#xff1a;Install Python 3.10.6 …
阅读更多...
linux开发板开机启动向日葵

linux开发板开机启动向日葵

硬件&#xff1a;orangepi 5 pro 操作系统&#xff1a;ubuntu 20.4 lts 安装向日葵 根据我的实测&#xff0c;arm架构的ubuntu系统只能安装向日葵提供的麒麟系统的那个版本&#xff0c;具体安装方式官网下载页面有 允许任意用户连接到 X11 使用root用户登录后打开终端输入一下…
阅读更多...
react函数组件传值（父子/子父/兄弟）

react函数组件传值（父子/子父/兄弟）

父子组件传值 子父组件传值 兄弟组件传值 注&#xff1a;本人前端小白 &#xff0c;如有不对的地方还请多多指教
阅读更多...
knife4j swagger 使用笔记

knife4j swagger 使用笔记

1.接口访问的端口跟后台设置的不一致&#xff0c;接口请求无反应 处理办法 2.响应参数不显示问题 &#xff08;1&#xff09;返回的参数里面一定要有响应的参数对象&#xff0c;如下&#xff1a; &#xff08;2&#xff09;TableDataInfo 定义成泛型类 TableDataInfo package…
阅读更多...
ros2 node 之间的通信方式之 —— Topic通信案例

ros2 node 之间的通信方式之 —— Topic通信案例

文章目录 ros2 node 之间的通信方式之 Topic通信Topic 通信案例1、创建工作空间2、创建功能包3、编写发布者和订阅者代码3.1 topic_helloworld_pub.cpp3.2 topic_helloworld_sub.cpp 4、编写CMakeLists.txt5、编译工作空间下的功能包6、运行结果 ros2 node 之间的通信方式之 To…
阅读更多...
AutoGPT-Forge使用教程，自行构建agent智能体

AutoGPT-Forge使用教程，自行构建agent智能体

本博客给出AutoGPT-forge四个教程的翻译与理解&#xff0c;使用GPT4翻译&#xff0c; 参考官方教程https://aiedge.medium.com/autogpt-forge-a-comprehensive-guide-to-your-first-steps-a1dfdf46e3b4 使用AutoGPT Github代码日期2024/4/22&#xff1b; 博客开始编辑日期20…
阅读更多...
C语言项目实战——扫雷

C语言项目实战——扫雷

目录 1.前言 2.完整流程 2.1规划书 2.2代码部分 2.2.1文件的结构设计 2.2.2变量的创建 2.2.3菜单的基本实现 2.2.4初始化期棋盘 2.2.5输出完整棋盘 2.2.6埋雷的实现 2.2.7查询周围雷的数量 2.2.8扫雷的实现 2.2.9完整代码 3.总结 1.前言 哈喽大家好吖&#xff0c;今…
阅读更多...
【C++打怪之路Lv3】-- 类和对象（上）

【C++打怪之路Lv3】-- 类和对象（上）

&#x1f308; 个人主页&#xff1a;白子寰 &#x1f525; 分类专栏&#xff1a;C打怪之路&#xff0c;python从入门到精通&#xff0c;数据结构&#xff0c;C语言&#xff0c;C语言题集&#x1f448; 希望得到您的订阅和支持~ &#x1f4a1; 坚持创作博文(平均质量分82)&#…
阅读更多...
开发环境搭建：Windows 桌面应用程序

开发环境搭建：Windows 桌面应用程序

文章目录 前言1、开发环境准备2、Hello World !3、发布总结 前言 操作系统&#xff1a;Windows 10 企业版 LTSC 1809 IDE&#xff1a;Microsoft Visual Studio 2022 Community 说明&#xff1a;Windows 10 企业版 LTSC 1809 不支持 .NET 4.8.1 详情请查看官方说明文档 1、开发…
阅读更多...
The Log-Structured Merge-Tree (LSM-Tree) 论文阅读笔记

The Log-Structured Merge-Tree (LSM-Tree) 论文阅读笔记

原论文&#xff1a;The Log-Structured Merge-Tree (LSM-Tree) LSM-Tree的简介和关键技术要点 LSM-Tree&#xff08;Log-Structured Merge-Tree&#xff09;是一种为高吞吐量读写操作优化的数据结构&#xff0c;特别适用于写入密集型的应用场景。它由Patrick O’Neil等人开发…
阅读更多...
基于streamlit快速部署机器学习项目（Public URL）

基于streamlit快速部署机器学习项目（Public URL）

基于streamlit的AIGC项目前端展示 1.Streamlit 简介与入门1.1 安装 Streamlit1.2 开发Streamlit应用程序1.3 启动并运行1.3.1 本地运行1.3.2 部署 现在LLM技术发展迅速&#xff0c;很多人在学习的时候&#xff0c;都想展示效果&#xff0c;并且想部署在服务器上&#xff0c;但是…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023