Kettle安装
Kettle又名PDI
要求电脑中有Java环境。
下载Kettle9.0的安装包,如有需要可以联系up私发噢。
注意!!!
解压路径不能有中文,空格
解压后双击spoon.bat即可使用
链接数据库需要相应的驱动,Oracle的驱动是OJDBC,导入到相应的文件夹中
之后需要重启Kettle
ETL:Extract(抽取)-translate(转换)-load(加载)
Kettle是一个ETL工具。
Kettle使用
打开Kettle
创建资料库
点击connect
选择Other Repositories
1.Database Repository
是数据库资料库(需要连接数据库)
点击Create
输入对应的数据库实例即可
Oracle如下:
不推荐
2.File Repository
文件资料库
开始创建
起名
选择路径(路径不能有中文!!!!!)
点击finish
接下来做的所有东西都存到新建的文件夹中
连接即可
Kettle可以将数据从源抽取到目标
首先需要Kettle能连接源,又能连接目标
Kettle连接数据库
文件-新建-转换
右键DB连接,新建连接,添加源数据库
新建DB连接,添加目标数据库
输入代表源
输出代表目标
从输入中,拖出表输入到页面
同样,添加表输出
按住shift连接表输入输出。双击输入输出,根据源,目标对应的数据库实例添加表。
在表输出中选择数据库字段,将其与源一一对应
表字段是目标表的字段,流字段是源表的字段。需要一一对应,否则数据与字段有可能不对应
添加完之后点击开始即可抽取数据到目标中。
这就完成了数据的E L 即抽取,加载
转换
都是对应的SQL语句,自己脑海里对应一下
concat fields 合并列
将empname,job合并 添加到目标表中
1.首先修改目标表结构
alter table emp72 add ej varchar2(50)
通过Kettle将数据插入
将concat fields添加到线中
双击
添加如下
运行即可
值映射
得到结果如下
去重
如果使用去除重复记录按钮去重,需要先排序,不然会出错
去重完的结果是排序后的
还可以使用唯一行去重,去重的结果是未排序的,但这个去重方法效率更高,如下图
列转行
同样,需要先将表进行排序
双击列转行
将
需要转行的字段值写进目标字段
将
内容写进数据字段
再
起别名(关键字值)
列拆分多行
双击列拆分多行,选择要拆分的字段,设置分割符,设置新字段名称
各个组件的用法都跟上面的差不多
注意输入输出后,该组件后面的步骤都需要改变输入字段。(手动匹配中删除之前的对应关系,把新的字段名将其对应)