基于ETLCloud的自定义规则调用第三方jar包实现繁体中文转为简体中文

背景

前面曾体验过通过零代码、可视化、拖拉拽的方式快速完成了从 MySQL 到 ClickHouse 的数据迁移，但是在实际生产环境，我们在迁移到目标库之前还需要做一些过滤和转换工作；比如，在诗词数据迁移后，发现原来 MySQL 中的诗词数据都是繁体字，这就导致在直接迁移到 ClickHouse 做统计分析时生成的图表展示也是繁体中文的，对于不熟悉繁体中文的用户来说影响体验。
今天就借助 ETLCloud 提供的自定义规则能力，同时调用第三方 jar 包 opencc4j ，完成繁体中文到简体中文的转换；具体来说，将诗词数据库从 MySQL 迁移到 ClickHouse ，并在入库之前完成数据清洗转换工作，完成数据表中标题、作者与内容等字段的繁体中文到简体中文的转换。

数据集说明

MySQL 数据库中的库表 poetry 结构如下，数据量： 311828 。

CREATE TABLE `poetry` (`id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT,`title` VARCHAR(150) NOT NULL COLLATE 'utf8mb4_unicode_ci',`yunlv_rule` TEXT NOT NULL COLLATE 'utf8mb4_unicode_ci',`author_id` INT(10) UNSIGNED NOT NULL,`content` TEXT NOT NULL COLLATE 'utf8mb4_unicode_ci',`dynasty` VARCHAR(10) NOT NULL COMMENT '诗所属朝代（S-宋代, T-唐代）' COLLATE 'utf8mb4_unicode_ci',`author` VARCHAR(150) NOT NULL COLLATE 'utf8mb4_unicode_ci',PRIMARY KEY (`id`) USING BTREE
)
COLLATE='utf8mb4_unicode_ci'
ENGINE=InnoDB
AUTO_INCREMENT=311829;

ClickHouse 中的建表语句：

CREATE TABLE poetry.poetry (`id` Int32, `title` String, `yunlv_rule` String, `author_id` Int32, `content` String, `dynasty` String, `author` String) ENGINE = MergeTree() PRIMARY KEY id ORDER BY id SETTINGS index_granularity = 8192

工具选型

  • ClickHouse数据库
  • Docker部署ETLCloudV2.2
  • ETLCloud的库表输入组件、数据清洗转换组件、钉钉消息组件

Note：这里选择的是社区版，采用 Docker 部署的方式轻量、快速启动： docker pull ccr.ccs.tencentyun.com/restcloud/restcloud-etl:V2.2 。

创建应用与流程

先创建应用（因为后面的规则是跟着应用走的），填写基本的应用配置信息。
2023-07-15-1-CreateApp.jpg
接着，创建数据流程，填写信息即可。
2023-07-15-2-CreateApp.jpg

自定义规则

在真正开始数据迁移前，先准备好清洗转换规则，到迁移入库时直接配置选择定义好的规则即可。
2023-07-15-3-RuleCategory.jpg
进入应用配置——>新增规则分类——>新增自定义规则
2023-07-15-4-RuleContent.jpg
编写从繁体中文到简体中文的规则代码，其中，类名是自动生成的，先是引入了转换的工具类： ZhConverterUtil ，然后调用其静态方法即可；编写完毕后，点击“编译并保存”，正常的话会提示编译成功~。
2023-07-15-5-RuleCode.jpg

package cn.restcloud.etl.rule.ext;import org.apache.commons.lang3.StringUtils;
import org.bson.Document;
import java.sql.Connection;
import cn.restcloud.framework.core.context.*;
import cn.restcloud.etl.base.IETLBaseEvent;
import cn.restcloud.etl.base.IETLBaseProcessEngine;
import cn.restcloud.framework.core.util.*;
import cn.restcloud.framework.core.util.db.rdb.*;
import cn.restcloud.etl.rule.service.ETLProcessRuleUtil;
import java.util.*;
import com.github.houbb.opencc4j.util.ZhConverterUtil;/**
indoc是一个map的包装对像内部结构为key-value
被流程的Java规则节点调用时,返回0表示终止流程,返回1表示成功,其中indoc为流数据,fieldId为空值
当被字段绑定运行时fieldId为绑定的字段Id,流入数据的每一行作为indoc对像传入本方法执行一次
params为绑定规则时填写的传入的参数格式为JSON字符串
繁体中文转为简体中文
2023-07-07 10:58:21
admin
*/
public class ETL_64a77f4d955fc70345c4041a implements IETLBaseEvent {@Overridepublic String execute(IETLBaseProcessEngine engine, Document modelNodeDoc, Document indoc,String fieldId,String params) throws Exception {//List<Document> dataDocs=engine.getData(indoc); //上一节点传入的数据流(仅作为Java规则节点运行可用)Document paramsDoc=ETLProcessRuleUtil.paramsToDocument(params);//规则参数转为一个map包装对像key-valueString paramsValue=DocumentUtil.getString(paramsDoc,"参数id"); //读取规则选中时输入的自定义参数值String fieldValue=indoc.getString(fieldId); //获取规规绑定的字段Id获取字段值PrintUtil.o(fieldId+"取到的值为=>"+fieldValue); //PrintUtil.o();可以打印变量到控制以日志中//TODO 对fieldValue进行自定义处理String result = ZhConverterUtil.toSimple(fieldValue);PrintUtil.o("转换后的值为=>"+result); indoc.put(fieldId,result); //把新的值覆盖旧字段的值return "1";}
}

Note：这里需要注意的是，我们用到了第三方的 Jar 包 opencc4j 来完成这一工作，那么 ETLCloud 如何知道要怎样调用自定义的工具类的方法呢？这就需要我们将第三方的 jar 放到 ETLCloud 的部署目录下： /usr/tomcat/webapps/ROOT/WEB-INF/lib 。

[root@etl ~]# docker cp /opt/opencc4j-1.8.1.jar de63b29c71d0:/usr/tomcat/webapps/ROOT/WEB-INF/libSuccessfully copied 513kB to de63b29c71d0:/usr/tomcat/webapps/ROOT/WEB-INF/lib

然后点击版本更新，平台提示以下内容：

平台配置(Successfully registered (0) java bean, update (2) java bean information!, API升级结果: 从Jar文件中更新或注册(0)个服务、(0)个输入参数、(0)个输出编码! ), ETL配置(Successfully registered (0) java bean, update (0) java bean information!, API升级结果: 从Jar文件中更新或注册(2)个服务、(0)个输入参数、(0)个输出编码! )

迁移实践

接下来通过可视化的配置与操作完成从 MySQL 到 ClickHouse 的诗词数据快速转换与迁移操作。

数据源配置

  1. 配置Source：MySQL

选择 MySQL ，填写IP: 端口以及用户密码信息。
2023-07-01-2-SourceMySQL.jpg
测试连接成功~

  1. 配置Sink：ClickHouse

数据源选择之前文章迁移的 ClickHouse 诗词数据库。

可视化配置流程

创建好流程后，可以通过点击“流程设计”按钮，进入流程可视化的配置页面。

  1. 库表输入：MySQL

在左侧的输入组件中，选择“库表输入”，拖至中央的流程绘制区，双击进入配置阶段。

第一步：选择我们配置好的 MySQL 数据源，可以载入 MySQL 中已有的表。
2023-07-15-6-Source1.jpg
第二步：可以根据选择的表，生成 SQL 语句。
2023-07-15-7-Source2.jpg
第三步：可从表中读取到各个字段的定义，支持添加、删除字段。
2023-07-15-8-Source3.jpg
第四步：根据 SQL 语句自动进行了数据预览，这样的一个检查操作，保证了后续操作的正常执行。
2023-07-15-9-Source4.jpg

  1. 数据清洗转换：opencc4j实现繁体中文转简体中文

在对字段配置规则前，先熟悉下 opencc4j 在后端开发中的用法。

  • 引入依赖
        <!-- Opencc4j 支持中文繁简体转换 --><dependency><groupId>com.github.houbb</groupId><artifactId>opencc4j</artifactId><version>1.8.1</version></dependency>
  • 编码转换
import com.github.houbb.opencc4j.util.ZhConverterUtil;
import org.junit.jupiter.api.Assertions;
import org.junit.jupiter.api.Test;
import org.springframework.boot.test.context.SpringBootTest;
@SpringBootTest
class SpringbootOpencc4jApplicationTests {// 繁体中文转简体中文@Testvoid toSimple(){String original = "李白乘舟將欲行，忽聞岸上踏歌聲。|桃花潭水深千尺，不及汪倫送我情。";String result = ZhConverterUtil.toSimple(original);System.out.println(result);Assertions.assertEquals("李白乘舟将欲行，忽闻岸上踏歌声。|桃花潭水深千尺，不及汪伦送我情。", result);}// 簡體中文轉繁體中文@Testvoid toTraditional(){String original = "李白乘舟将欲行，忽闻岸上踏歌声。|桃花潭水深千尺，不及汪伦送我情。";String result = ZhConverterUtil.toTraditional(original);Assertions.assertEquals("李白乘舟將欲行，忽聞岸上踏歌聲。|桃花潭水深千尺，不及汪倫送我情。", result);}
}

在左侧的数据转换组件中，选择“数据清洗转换”，拖至中央的流程绘制区，双击进入配置阶段。
2023-07-15-10-Rule.jpg
因为源数据表中的 title 、 content 以及 author 这三个字段值是繁体中文，所以针对这三个字段设置自定义的规则：繁体中文转为简体中文，下一步点击保存对所有数据记录进行转换即可。

  1. 库表输出：ClickHouse

在左侧的输出组件中，选择“库表输出”，拖至中央的流程绘制区，双击进入配置阶段。

第一步：选择我们配置好的ClickHouse数据源。
2023-07-15-11-CK1.jpg
第二步：可从表中读取到各个字段的定义，支持添加、删除字段、绑定规则。
2023-07-15-12-CK2.jpg
最后通过 流程线 将开始、库表输入、数据清洗转换、库表输出、结束组件分别连接起来，数据通过自定义的规则转换与迁移的可视化配置便告完成，Done~
2023-07-15-17-Flow.jpg

运行流程

保存流程，运行流程；之后可查看对应的流程日志与转换日志，并可视化监控迁移进度。
2023-07-15-17-Result.jpg

问题记录

  • 数据转换过程报错

问题描述： 在 ETLCloud 的日志中发现错误， Caused by: java.lang.ClassNotFoundException: com.github.houbb.heaven.support.instance.impl.Instances
问题分析：在 SpringBoot 结合 IDEA 与 Maven 中开发时，我们仅仅引入了一个依赖： opencc4j ，但是实际上观察外部依赖库时发现还有另外两个依赖： heaven 与 nlp-common 。
2023-07-15-13-Jar.jpg
解决方法：将 opencc4j-1.8.1.jar 、 heaven-0.2.0.jar 与 nlp-common-0.0.5.jar 这个三个 jar 包都上传到 ETLCloud 的 /usr/tomcat/webapps/ROOT/WEB-INF/lib 目录下，重新更新 ETLCloud 配置、重启 ETLCloud 服务。
2023-07-15-14-Jar.jpg

[root@etl ~]# docker cp /opt/heaven-0.2.0.jar de63b29c71d0:/usr/tomcat/webapps/ROOT/WEB-INF/libSuccessfully copied 304kB to de63b29c71d0:/usr/tomcat/webapps/ROOT/WEB-INF/lib
[root@etl ~]# docker cp /opt/nlp-common-0.0.5.jar de63b29c71d0:/usr/tomcat/webapps/ROOT/WEB-INF/libSuccessfully copied 1.97MB to de63b29c71d0:/usr/tomcat/webapps/ROOT/WEB-INF/lib

2023-07-15-15-Update.jpg
Note： Jar 包可以从阿里云镜像仓库查找下载： https://developer.aliyun.com/mvn/search ，或者到本地开发环境的的 .m2\repository\com\github\houbb 目录下查找。

总结

以上介绍了如何通过 ETLCloud 强大的自定义规则功能完成对数据的清洗转换功能，实现了表字段值从繁体中文到简体中文的转换，以下两点要注意：

  1. 自定义规则是附属于某个流程的；
  2. 第三方的Jar包依赖在数量上要完整。

Reference

  • ETLCloud官方文档
  • ClickHouse官方文档
  • opencc4j官方文档

If you have any questions or any bugs are found, please feel free to contact me.
Your comments and suggestions are welcome!

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/67989.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

常见路由跳转的几种方式

常见路由跳转的几种方式

常见的路由跳转有以下四种&#xff1a; 1. <router-link to"跳转路径"> /* 不带参数 */ <router-link :to"{name:home}"> <router-link :to"{path:/home}"> // 更建议用name // router-link链接中&#xff0c;带/ 表示从根…
阅读更多...
elementUI可拖拉宽度抽屉

elementUI可拖拉宽度抽屉

1&#xff0c;需求&#xff1a; 在elementUI的抽屉基础上&#xff0c;添加可拖动侧边栏宽度的功能&#xff0c;实现效果如下&#xff1a; 2&#xff0c;在原组件上添加自定义命令 <el-drawer v-drawerDrag"left" :visible.sync"drawerVisible" direc…
阅读更多...
Unity 顶点vertices，uv，与图片贴图，与mesh

Unity 顶点vertices，uv，与图片贴图，与mesh

mesh就是组成3d物体的三角形们。 mesh由顶点组成的三角形组成&#xff0c;三角形的大小 并不 需要一样&#xff0c;由顶点之间的位置决定。 mesh可以是一个或者多个面。 贴图的原点在左下角&#xff0c;uv是贴图的坐标&#xff0c;数量和顶点数一样&#xff08;不是100%确定…
阅读更多...
Vue3 el-tooltip 根据内容控制宽度大小换行和并且内容太短不显示

Vue3 el-tooltip 根据内容控制宽度大小换行和并且内容太短不显示

el-tooltip 根据长度自适应换行以及显隐 环境 vue: "3.2.37" element-ui: "2.1.8"要求 tooltip 根据内容自动换行如果内容超出显示省略号显示&#xff0c;不超出不显示 tooltip 代码 组件 // ContentTip 组件 <template><el-tooltipv-bind&qu…
阅读更多...
【数学建模竞赛】超详细Matlab二维三维图形绘制

【数学建模竞赛】超详细Matlab二维三维图形绘制

二维图像绘制 绘制曲线图 g 是表示绿色 b--o是表示蓝色/虚线/o标记 c*是表示蓝绿色(cyan)/*标记 ‘MakerIndices,1:5:length(y) 每五个点取点&#xff08;设置标记密度&#xff09; 特殊符号的输入 序号 需求 函数字符结构 示例 1 上角标 ^{ } title( $ a…
阅读更多...
初识c++

初识c++

文章目录 前言一、C命名空间1、命名空间2、命名空间定义 二、第一个c程序1、c的hello world2、std命名空间的使用惯例 三、C输入&输出1、c输入&输出 四、c中缺省参数1、缺省参数概念2、缺省参数分类3、缺省参数应用 五、c中函数重载1、函数重载概念2、函数重载应用 六、…
阅读更多...
【⑰MySQL】 变量 | 循环 | 游标 | 处理程序

【⑰MySQL】 变量 | 循环 | 游标 | 处理程序

前言 ✨欢迎来到小K的MySQL专栏&#xff0c;本节将为大家带来MySQL变量 | 循环 | 游标 | 处理程序的分享✨ 目录 前言1. 变量1.1系统变量1.2 用户变量 2. 定义条件与处理程序2.1 案例分析2.2 定义条件2.3 定义处理程序2.4 案例解决 3. 流程控制3.1 分支结构3.2 循环结构3.3 跳转…
阅读更多...
设计模式-9--迭代器模式（Iterator Pattern）

设计模式-9--迭代器模式（Iterator Pattern）

一、什么是迭代器模式 迭代器模式&#xff08;Iterator Pattern&#xff09;是一种行为型设计模式&#xff0c;用于提供一种统一的方式来访问一个聚合对象中的各个元素&#xff0c;而不需要暴露该聚合对象的内部结构。迭代器模式将遍历集合的责任从集合对象中分离出来&#xf…
阅读更多...
【深入解析spring cloud gateway】07 自定义异常返回报文

【深入解析spring cloud gateway】07 自定义异常返回报文

Servlet的HttpResponse对象&#xff0c;返回响应报文&#xff0c;一般是这么写的&#xff0c;通过输出流直接就可以将返回报文输出。 OutputStream out response.getOutputStream(); out.write("输出的内容"); out.flush();在filter中如果发生异常&#xff08;例如…
阅读更多...
Java中的网络编程------基于Socket的TCP编程和基于UDP的网络编程，netstat指令

Java中的网络编程------基于Socket的TCP编程和基于UDP的网络编程，netstat指令

Socket 在Java中&#xff0c;Socket是一种用于网络通信的编程接口&#xff0c;它允许不同计算机之间的程序进行数据交换和通信。Socket使得网络应用程序能够通过TCP或UDP协议在不同主机之间建立连接、发送数据和接收数据。以下是Socket的基本介绍&#xff1a; Socket类型&…
阅读更多...
1775_树莓派3B键盘映射错误解决

1775_树莓派3B键盘映射错误解决

全部学习汇总&#xff1a; GitHub - GreyZhang/little_bits_of_raspberry_pi: my hacking trip about raspberry pi. 入手树莓派3B之后用了没有多长时间&#xff0c;最初的这段时间感觉想让它代替我的PC机是不肯能的。性能先不说&#xff0c;我完全没有找到当初在我的笔记本上使…
阅读更多...
css网格布局

css网格布局

css网格布局 常用属性 display: grid; //开启网格grid-template-columns: 2fr 1fr 1fr 1fr 1fr; //设置多少列每列宽度grid-gap: 10px; // 设置表格之间间距grid-template-rows: 50px 50px 50px 50px; // 设置多少行 每行的高度grid-column : 1 //占据位置 占据1格grid-colu…
阅读更多...
机器人中的数值优化（九）——拟牛顿方法（下）、BB方法

机器人中的数值优化（九）——拟牛顿方法（下）、BB方法

本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考&#xff0c;主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等&#xff0c;本系列文章篇数较多&#xff0c;不定期更新&#xff0c;上半部分介绍无约束优化&#xff0c;…
阅读更多...
某物联网数智化园区行业基于 KubeSphere 的云原生实践

某物联网数智化园区行业基于 KubeSphere 的云原生实践

公司简介 作为物联网 数智化园区一体化解决方案提供商&#xff0c;我们致力于为大中型园区、停车场提供软硬件平台&#xff0c;帮助园区运营者实现数字化、智能化运营。 在使用 K8s 之前我们使用传统的方式部署上线&#xff0c;使用 spug&#xff08;一款轻量级无 Agent 的自…
阅读更多...
网络版五子棋C++实现

网络版五子棋C++实现

目录 1.项目介绍 2.开发环境 3.核心技术 4.环境搭建 5.WebSocketpp介绍 5.1WebSocketpp是什么 5.2为什么使用WebSocketpp 5.3原理解析&#xff1a; 5.4WebSocketpp主要特性 6.WebSocketpp使用 7.JsonCpp使用 8.MySQL API 9.项目模块设计以及流程图 10.封装日志宏…
阅读更多...
NewStarCTF 2022 web方向题解 wp

NewStarCTF 2022 web方向题解 wp

----------WEEK1---------- BUU NewStarCTF 公开赛赛道 WEEK1 [NotPHP] 先看题目&#xff0c;要传参加绕过。 分析一下代码&#xff1a;首先get一个datadata://test/plain,Wel…。然后key1和2用数组可以绕过。num2077a可以绕过弱类型。eval()中的php语句被#注释了&#xff0c…
阅读更多...
并发编程的故事——JUC

并发编程的故事——JUC

JUC 文章目录 JUC一、Semaphore二、CountDownLatch三、线程安全类 一、Semaphore 为什么需要用到Semaphore? 限流 Semaphore的场景&#xff1f; 秒杀商品的时候&#xff0c;不能够让那些没有秒杀成功的线程进入&#xff0c;只有占了坑位的才可以使用&#xff0c;这里可以用re…
阅读更多...
【Hello Algorithm】二叉树相关算法

【Hello Algorithm】二叉树相关算法

本篇博客介绍&#xff1a;介绍二叉树的相关算法 二叉树相关算法 二叉树结构遍历二叉树递归序二叉树的交集非递归方式实现二叉树遍历二叉树的层序遍历 二叉树难题二叉树的序列化和反序列化lc431求二叉树最宽的层二叉树的后继节点谷歌面试题 二叉树结构 如果对于二叉树的结构还有…
阅读更多...
Linux命令执行完成提醒

Linux命令执行完成提醒

有些命令任务执行时间较长&#xff0c;可以让其执行完成时发出声音来提示。 如下&#xff1a; ls && echo -e "\a" 前一条命令成功执行后&#xff0c;会发出声音。 如果当前不在Iterm2窗口里&#xff0c;还会弹窗提示。
阅读更多...
2023新版医保目录明细（药品查询）

2023新版医保目录明细（药品查询）

查询医保目录的主要目的是为了了解医保政策对于特定医疗服务、药品和医疗器械的覆盖范围和支付标准。大众可以通过查看医保目录可以确定哪些药品可以被医保支付以及报销的比例和限额&#xff1b;医药从业者可通过查看医保目录可以即使了解医保政策的变化&#xff0c;便于做出相…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023