Kettle基本使用

目录

一、安装Kelttle

1-1 安装java环境

1-2 Kettle安装

二、Kettle的基本使用

2-1 将txt文本数据转为excel数据

创建txt文件

创建kettle的转换任务

定义转换流程

配置输入文件

连接读取和写入任务

配置excel输出

保存转换任务

执行转换任务

2-2 将txt文件输出到Mysql数据库

创建mysql数据库保存数据

创建新的转换任务

定义转化任务

配置文本输出

配置表输出

保存并执行任务

中文问题解决

2-3 Excel文件输出Mysql

mysql连接共享

创建新的转换任务

编辑excel的输入

编辑表输出

保存执行

三、Kettle的Mysql操作

3-1 MySQL表间复制

第一步：新建转换

第二步：构建流程

第三步：配置组件

第四步：保存执行

3-2 MySQL插入更新组件

第一步：新建转换

第二步：构建流图

第三步：配置组件

第四步：保存运行

第五步：测试更新

3-3 MySQL转换excel

第一步：新建转换

第二步：构建流图

第三步：配置组件

第四步：保存运行

3-4 SQL脚本固定条件

第一步：新建转换

第二部：配置组件

第三步：保存运行

四、Job

4-1 基本概念

4-2 Job作业

第一步：新建作业

第二步：构建流图

第三步：配置组件

第四步：保存运行

第五步：退出

一、安装Kelttle

1-1 安装java环境

通过百度网盘分享的文件：JDK1.8安装包（内含linux、mac、win版本）
链接：https://pan.baidu.com/s/1Dv2AZMehD61Tp91E3JBvaQ?pwd=ruvz
提取码：ruvz

kettle使用java开发，所有运行kettle之前需要先安装java环境

kettle可以在windos下使用，下面展示windos下安装java

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

（安装包自动帮我们配置环境变量哈，不用担心）

1-2 Kettle安装

通过百度网盘分享的文件：pdi-ce-9.0.0.0-423.zip
链接：https://pan.baidu.com/s/1uYNqUmoAgzQnYLxSd8ueDQ?pwd=h89r
提取码：h89r

kettle是免安装，可以直接解压压缩包使用

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

二、Kettle的基本使用

2-1 将txt文本数据转为excel数据

创建txt文件
  • txt文件数据
    • stu.txt
id,name,age,gender,province,city,region,phone,birthday,hobby,register_date
392456197008193000,张三,20,0,北京市,昌平区,回龙观,18589407692,1970-8-19,美食;篮球;足球,2018-8-6 9:44
267456198006210000,李四,25,1,河南省,郑州市,郑东新区,18681109672,1980-6-21,音乐;阅读;旅游,2017-4-7 9:14
892456199007203000,王五,24,1,湖北省,武汉市,汉阳区,18798009102,1990-7-20,写代码;读代码;算法,2016-6-8 7:34
492456198712198000,赵六,26,2,陕西省,西安市,莲湖区,18189189195,1987-12-19,购物;旅游,2016-1-9 19:15
392456197008193000,张三,20,0,北京市,昌平区,回龙观,18589407692,1970-8-19,美食;篮球;足球,2018-8-6 9:44
392456197008193000,张三,20,0,北京市,昌平区,回龙观,18589407692,1970-8-19,美食;篮球;足球,2018-8-6 9:44

在这里插入图片描述

创建kettle的转换任务

在这里插入图片描述

在这里插入图片描述

定义转换流程

拖拽输入端 txt文件数据

在这里插入图片描述

拖拽输出端 excel文件输出

在这里插入图片描述

配置输入文件

双文本输入，然后配置

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

文件内容配置

在这里插入图片描述

文件的字段配置

在这里插入图片描述

预览读取文件数据

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

保存配置

在这里插入图片描述

连接读取和写入任务

在这里插入图片描述

配置excel输出

在这里插入图片描述

指定excel的输出文件夹位置

在这里插入图片描述

指定excel的输出字段

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

保存转换任务

在这里插入图片描述

在这里插入图片描述

执行转换任务

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2-2 将txt文件输出到Mysql数据库

创建mysql数据库保存数据

注意：要加上 charset utf8，不然会出现意想不到的错误！

create database kettle charset utf8;

在这里插入图片描述

创建新的转换任务

ctrl+n

在这里插入图片描述

定义转化任务

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

配置文本输出

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

配置表输出

在这里插入图片描述

配置mysql连接

在这里插入图片描述

注意：如果连接失败是因为你没有在Kettle的bin目录下放一个mysql的连接包，连接包可以在[Maven中央仓库](Maven Repository: com.mysql " mysql-connector-j (mvnrepository.com))里下载，这里放一个我用的比较稳定的版本：mysql-connector-j-8.2.0.jar

通过百度网盘分享的文件：mysql-connector-j-8.2.0.jar
链接：https://pan.baidu.com/s/1xnDAXVQrK6mzJ48uetGJzg?pwd=kphn
提取码：kphn

下面是把它放在这个地址下，再说一下，只有你把这个连接包放在lib目录下之后，才能连接mysql，不然会报错

在这里插入图片描述

创建保存结果的表

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

保存并执行任务

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

检查执行结果

在这里插入图片描述

中文问题解决

mysql连接配置中没有指定utf8的中文字符集

修改mysql的配置连接

在这里插入图片描述

在这里插入图片描述

characterEncoding=utf8

重新进行数据写入

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2-3 Excel文件输出Mysql

mysql连接共享

在这里插入图片描述

在这里插入图片描述

创建新的转换任务

ctrl+n

在这里插入图片描述

在这里插入图片描述

编辑excel的输入

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

编辑表输出

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

保存执行

在这里插入图片描述

在这里插入图片描述

通过GripData中查看mysql的表中是否接收到了数据

在这里插入图片描述

三、Kettle的Mysql操作

3-1 MySQL表间复制

第一步：新建转换

在这里插入图片描述

第二步：构建流程

在这里插入图片描述

第三步：配置组件
  • 先配置输入组件

在这里插入图片描述

  • 再配置输出组件

在这里插入图片描述

第四步：保存执行

ctrl+s：先保存，再按照下图运行

在这里插入图片描述

3-2 MySQL插入更新组件

第一步：新建转换

在这里插入图片描述

第二步：构建流图

在这里插入图片描述

第三步：配置组件
  • 先配置输入组件

在这里插入图片描述

  • 再配置输出组件

在这里插入图片描述

第四步：保存运行

ctrl+s：先保存，再按下图运行

在这里插入图片描述

第五步：测试更新

1.在原表中修改数据

2.重新运行kettle

3.查看复制表中数据效果: 没有追加插入而是自动更新了

自行操作，不演示了，节约时间（其实是太懒了😂）

3-3 MySQL转换excel

第一步：新建转换

在这里插入图片描述

第二步：构建流图

注意:

  • excel输出表可以自定义改名，最好见名知意

    • excel输出_女 excel输出_男

  • switch/case组件和excel输出表中间连接选择

    • create a new target case for this step
  • 先添加Switch/case判断

在这里插入图片描述

  • 然后建立连接选择 create a new target case for this step

在这里插入图片描述

第三步：配置组件
  • 配置输入组件

在这里插入图片描述

  • 配置switch/case组件

在这里插入图片描述

  • 配置输出组件
    • 下图为男生配置，女生和“未知”同理

在这里插入图片描述

在这里插入图片描述

第四步：保存运行

ctrl+s：先保存，再运行

在这里插入图片描述

3-4 SQL脚本固定条件

第一步：新建转换

在这里插入图片描述

第二部：配置组件
  • 拖拽SQL脚本至工作区

在这里插入图片描述

  • 配置SQL脚本

在这里插入图片描述

  • 双击工作区内的空白区域，调整转换属性

在这里插入图片描述

第三步：保存运行

在这里插入图片描述

四、Job

​ job（作业）是用于组织和调度一系列转换（transformation）以及其他作业的工作流。

4-1 基本概念

  • 定义
    • Job 是一个由多个步骤组成的工作流，每个步骤可以是一个转换、SQL 脚本执行、发送邮件、文件操作等。
    • 它的主要目的是协调和控制数据集成过程中的各个任务的执行顺序和依赖关系。
  • 组成部分
    • Job 由作业项（job entry）和作业跳（job hop）组成。
    • 作业项代表具体的任务，而作业跳定义了作业项之间的执行顺序和条件。

作业和转换步骤唯一不同就是第一步变成了新建作业

4-2 Job作业

第一步：新建作业

在这里插入图片描述

第二步：构建流图

在这里插入图片描述

第三步：配置组件
  • 配置转换组件

在这里插入图片描述

  • 配置start组件

注意: 如果设置完后找不到确定按钮,需要使用鼠标手动向下拉

在这里插入图片描述

第四步：保存运行

ctrl+s：先保存，在运行

在这里插入图片描述

第五步：退出

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/55579.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据库管理-第252期 深入浅出多主多活数据库技术- Cantian存储引擎（二）（20241017）

数据库管理-第252期 深入浅出多主多活数据库技术- Cantian存储引擎（二）（20241017）

数据库管理252期 2024-10-17 数据库管理-第252期 深入浅出多主多活数据库技术- Cantian存储引擎（二）（20241017）1 部署规划2 服务器基础配置2.1 配置HOSTS2.2 关闭防火墙2.3 关闭SELinux2.4 配置yum源 3 编译服务器配置3.1 安装git…
阅读更多...
「Python精品教程」Python快速入门，基础数据结构：数字

「Python精品教程」Python快速入门，基础数据结构：数字

​***奕澄羽邦精品教程系列*** 编程环境： 1、Python 3.12.5 2、Visual Studio Code 1.92.1 在现实世界中，我们经常要面对各式各样的数字，通过简单或者复杂的数学运算，来帮助我们计算出想要的结果。程序开发过程中，数字…
阅读更多...
自动化测试工具在API测试中的优势是什么？

自动化测试工具在API测试中的优势是什么？

在设计API接口时，确保数据获取的效率和准确性是至关重要的。以下是一些最佳实践和代码示例，帮助你提高API的数据获取效率和准确性。 1. 使用高效的数据访问模式 选择合适的数据库访问模式对于提高数据获取效率至关重要。例如，使用索引可以显…
阅读更多...
【启明智显分享】ZX7981PM WIFI6 5G-CPE：2.5G WAN口，2.4G/5G双频段自动调速

【启明智显分享】ZX7981PM WIFI6 5G-CPE：2.5G WAN口，2.4G/5G双频段自动调速

昨天，我们向大家展现了ZX7981PG WIFI6 5G-CPE，它强大的性能也引起了一波关注，与此同时，我们了解到部分用户对更高容量与更高速网口的需求。没关系！启明智显早就预料到了！ZX7981PM满足你的需求！ …
阅读更多...
Vue3 集成Monaco Editor编辑器

Vue3 集成Monaco Editor编辑器

Vue3 集成Monaco Editor编辑器 1. 安装依赖2. 使用3. 效果 Monaco Editor （官方链接 https://microsoft.github.io/monaco-editor/）是一个由微软开发的功能强大的在线代码编辑器，被广泛应用于各种 Web 开发场景中。以下是对 Monaco Editor 的…
阅读更多...
HTML5教程（三）- 常用标签

HTML5教程（三）- 常用标签

1 文本标签-h 标题标签&#xff08;head&#xff09;&#xff1a; 自带加粗效果&#xff0c;从h1到h6字体大小逐级递减一个标题独占一行 语法 <h1>一级标题</h1><h2>二级标题</h2><h3>三级标题</h3><h4>四级标题</h4><h5…
阅读更多...
关于md5强比较和弱比较绕过的实验

关于md5强比较和弱比较绕过的实验

在ctf比赛题中我们的md5强弱比较的绕过题型很多&#xff0c;大部分都是结合了PHP来进行一个考核。这一篇文章我将讲解一下最基础的绕过知识。 MD5弱比较 比较的步骤 在进行弱比较时&#xff0c;PHP会按照以下步骤执行&#xff1a; 确定数据类型&#xff1a;检查参与比较的两…
阅读更多...
jmeter响应断言放进csv文件遇到的问题

jmeter响应断言放进csv文件遇到的问题

用Jmeter的json 断言去测试http请求响应结果&#xff0c;发现遇到中文时出现乱码&#xff0c;导致无法正常进行响应断言&#xff0c;很影响工作。于是&#xff0c;察看了其他测试人员的解决方案&#xff0c;发现是jmeter本身对编码格式的设置导致了这一问题。解决方案是在jmete…
阅读更多...
【文化课学习笔记】【化学】选必三：同分异构体的书写

【文化课学习笔记】【化学】选必三：同分异构体的书写

【化学】选必三&#xff1a;同分异构体的书写 如果你是从 B 站一化儿笔记区来的&#xff0c;请先阅读我在第一篇有机化学笔记中的「读前须知」(点开头的黑色小三角展开)&#xff1a;链接 链状烃的取代和插空法 取代法 一取代物 甲烷、乙烷、丙烷、丁烷的种类 甲烷&#xff1a;只…
阅读更多...
游戏逆向基础-找释放技能CALL

游戏逆向基础-找释放技能CALL

思路&#xff1a;通过send断点然后对send的data参数下写入断点找到游戏里面的技能或者攻击call 进入游戏先选好一个怪物&#xff08;之所以要先选好是因为选怪也会断&#xff0c;如果直接左键打怪的话就会断几次&#xff09; 断下来后对参数下硬件写入断点 硬件断点断下来后先…
阅读更多...
如何用pyhton修改1000+图片的名字？

如何用pyhton修改1000+图片的名字？

import os oldpath input("请输入文件路径&#xff08;在windows中复制那个图片文件夹的路径就可以):") #注意window系统中的路径用这个‘\分割&#xff0c;但是编程语言中一般都是正斜杠也就是’/‘ #这里写一个代码&#xff0c;将 \ > / path "" fo…
阅读更多...
基于SpringBoot+Vue+uniapp的海产品加工销售一体化管理系统的详细设计和实现(源码+lw+部署文档+讲解等)

基于SpringBoot+Vue+uniapp的海产品加工销售一体化管理系统的详细设计和实现(源码+lw+部署文档+讲解等)

详细视频演示 请联系我获取更详细的视频演示 项目运行截图 技术框架 后端采用SpringBoot框架 Spring Boot 是一个用于快速开发基于 Spring 框架的应用程序的开源框架。它采用约定大于配置的理念&#xff0c;提供了一套默认的配置&#xff0c;让开发者可以更专注于业务逻辑而不…
阅读更多...
基于FPGA的DDS信号发生器（图文并茂+深度原理解析）

基于FPGA的DDS信号发生器（图文并茂+深度原理解析）

篇幅有限，本文详细源文件已打包 至个人主页资源，需要自取...... 前言 DDS（直接数字合成）技术是先进的频率合成手段，在数字信号处理与硬件实现领域作用关键。它因低成本、低功耗、高分辨率以及快速转换时间等优点备受认可。 本文着重探究基于 FPGA 的简易 DDS 信号发生器设…
阅读更多...
交叉熵损失 在PyTorch 中的计算过程

交叉熵损失 在PyTorch 中的计算过程

其实就是根据 真实值的结果&#xff0c;当成索引去取的值 import torch import torch.nn as nnaaaa torch.tensor([[2.0,1.0,3.0],[2.0,4.0,2.0]])l1 nn.LogSoftmax(dim-1) result l1(aaaa) print(result) import torch import torch.nn as nn# 定义交叉熵损失函数 criterio…
阅读更多...
数据治理为何如此简单？

数据治理为何如此简单？

欢迎来文末免费获取数据治理相关PPT和文档 引言 随着大数据技术的迅速发展&#xff0c;企业积累的数据量呈现爆炸式增长。有效的数据管理已经成为企业提高决策效率、增强竞争优势的重要手段。在这样的背景下&#xff0c;数据治理逐渐成为企业数据管理中不可或缺的一环。它不仅…
阅读更多...
查看SQL执行计划 explain

查看SQL执行计划 explain

查看SQL执行计划 explain explain使用方式 alter session set current_schematest; explain plan for sql语句; --并不会实际执行&#xff0c;因此生成的执行计划也是预估的 select * from table(dbms_xplan.display); explain使用场景 1.内存中没有谓词信息了&#xff0…
阅读更多...
[Javase]深入理解跨平台原理

[Javase]深入理解跨平台原理

文章目录 一、Java 跨平台原理深度解析二、代码的编译与解释1、编译型语言2、解释型语言 三、Java 跨平台的核心 —— 虚拟机1、什么是虚拟机2、为什么能实现跨平台 四、JDK&#xff1a;Java 开发的强大工具包1、JDK 的介绍2、JDK 的重要组件 五、JRE&#xff1a;Java 运行的基…
阅读更多...
基于SpringBoot+Vue的益农智慧服务平台【提供源码+答辩PPT+参考文档+项目部署】

基于SpringBoot+Vue的益农智慧服务平台【提供源码+答辩PPT+参考文档+项目部署】

一、项目技术架构&#xff1a; 本项目是一款SpringBoot益农平台的设计与实现。 该SpringBootVue的益农平台的设计与实现&#xff0c;后端采用SpringBoot架构&#xff0c;前端采用VueElementUI实现页面的快速开发&#xff0c;并使用关系型数据库MySQL存储系统运行数据。本系统分…
阅读更多...
java-uniapp小程序-引导关注公众号、判断用户是否关注公众号

java-uniapp小程序-引导关注公众号、判断用户是否关注公众号

目录 1、前期准备 公众号和小程序相互关联 准备公众号文章 注册公众号测试号 微信静默授权的独立html 文件 2&#xff1a; 小程序代码 webview页面代码 小程序首页代码 3&#xff1a;后端代码 1&#xff1a;增加公众号配置项 2&#xff1a;读取公众号配置项 3&…
阅读更多...
MySQL中查询语句的执行流程

MySQL中查询语句的执行流程

文章目录 前言流程图概述最后 前言 你好&#xff0c;我是醉墨居士&#xff0c;今天我们一起探讨一下执行一条查询的SQL语句在MySQL内部都发生了什么&#xff0c;让你对MySQL内部的架构具备一个宏观上的了解 流程图 概述 对于查询语句的SQL的执行流程&#xff0c;主要可以分为…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023