【kettle004】kettle访问本地MySQL数据库并处理数据至execl文件

一直以来想写下基于kettle的系列文章,作为较火的数据ETL工具,也是日常项目开发中常用的一款工具,最近刚好挤时间梳理、总结下这块儿的知识体系。
熟悉、梳理、总结下MySQL关系数据库相关知识体系

  • kettle访问MySQL数据库并处理数据至execl文件文章目录索引如下所示:
    在这里插入图片描述

1.环境搭建、配置

  • 1.0 实验环境信息
    • Windows 10
    • CentOS 7.1(虚拟机)
    • Docker version 26.0.2
    • Dbeaver
    • Kettle 8.2
    • MySQL 8.3
  • 1.1 MySQL docker镜像安装(如果本地有MySQL环境,可用本地环境进行测试,该环节可略过
    • 如果本地有MySQL,但拉取了镜像,请调整端口信息,端口已被占用
    • 如果遇到拉取镜像很慢的问题,可以参考 https://kngines.blog.csdn.net/article/details/138142888
    • 1.1.1 操作命令
      # 拉取最新版镜像
      docker pull mysql:latest
      # 查看当前环境拉取的所有镜像
      docker images
      # 创建容器并运行
      docker run -p 3306:3306 --name  youli-mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:latest
      # 查看所有已创建容器
      docker ps -a
      
    • 1.1.2 容器运行详情
      在这里插入图片描述
    • 1.1.3 链接MySQL容器测试。其中,192.168.10.183 问虚拟机内MySQL在运行容器IP在这里插入图片描述

2.本地MySQL数据库链接测试

  • 2.1 建表测试语句
    create table youli_testtable(id int not null auto_increment,class int not null,teachername varchar(50),teachertel varchar(50),primary key (id)
    );insert into youli_testtable values
    (1,1,'老韩','15225114562'),
    (2,2,'老朗','123456'),
    (3,3,'老王','456254'),
    (4,4,'张老师','9999999'),
    (5,5,'老韩','15225114562'),
    (6,6,'老朗','123456'),
    (7,7,'老王','456254'),
    (8,8,'张老师','9999999'),
    (9,9,'Youli','Youli'),
    (10,10,'xsimah','xsimah')
    ;select * from youli_testtable;select @@version;
    
  • 2.2 数据查询效果
    在这里插入图片描述

3.kettle流程任务配置、效果验证

  • 3.1 MySQL链接失败,驱动问题,将相应版本MySQL驱动包放到 kettlle lib 目录下,重启 kettle
    在这里插入图片描述
  • 3.2 MySQL 驱动包文件
    在这里插入图片描述
  • 3.3 kettle链接本地MySQL测试结果
    在这里插入图片描述
  • 3.3 kettle查询本地MySQL数据表结果
    在这里插入图片描述
  • 3.4 kettle任务查询数据并输出运行效果
    在这里插入图片描述
  • 3.5 kettle任务输出结果详情
    在这里插入图片描述

4.参考文章

  • https://blog.csdn.net/nandao158/article/details/136477769

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/4351.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux 权限提升 - 信息收集 清单

这个清单主要使用于内网渗透的其中一个环节,信息收集此环节涉及后续是否有高效的攻击成绩,通过某些手段和技巧,可获取更多的彩蛋!🎆 攻击者可以发现目标系统的弱点和漏洞,包括但不限于: 发现潜…

代码随想录算法训练营Day25 | 216.组合总和III、17.电话号码的字母组合 | Python | 个人记录向

本文目录 216.组合总和III做题看文章 17.电话号码的字母组合做题看文章 以往忽略的知识点小结个人体会 216.组合总和III 代码随想录:216.组合总和III Leetcode:216.组合总和III 做题 参照着Day24中77.组合的结构,调试后AC了,代…

详解SPI、I2C、UART、I2S、GPIO、SDIO、CAN

总线,总线,总要陷进里面。这世界上的信号都一样,但是总线却成千上万,让人头疼。 总的来说,总线有三种:内部总线、系统总线和外部总线。内部总线是微机内部各外围芯片与处理器之间的总线,用于芯片一级的互连;而系统总线是微机中各插件板与系统板之间的总线,用于插件板一…

Android 生成二维码

一、生成二维码工具类封装 1、二维码库 // 二维码implementation com.journeyapps:zxing-android-embedded:4.3.0 2、工具类 /*** 二维码* 处理工具*/public class QRCodeDealUtils {/*** param content 字符串内容* param size 位图宽&高(单位:px)* param log…

接口的构成

目录 接口 一、URL 二、请求方法 三、请求报文(request message) 3.1请求行 3.2请求头 3.3 请求体 四、响应报文(response message) 4.1响应行 4.2响应头 4.3响应体 接口 接口就是API,是程序开发的函数和方…

为什么要进行人脸识别?

人脸识别技术被广泛应用于各种场景和行业,其主要目的包括但不限于以下几点: 1. **安全验证**:人脸识别可以用作身份验证的一种方式,确保只有授权人员才能进入特定的区域或访问敏感信息。例如,用于解锁手机或电脑、进入…

Linux---为什么会有粘滞位?

在前面已经讲过目录的rwx权限: 可读权限(r): 如果目录没有可读权限, 则无法用ls等命令查看目录中的文件内容. 有可写权限(w):如果目录没有可写权限,则无法在目录中创建文件, 也无法在目录中删除文件.可执行权限(x): 如果目录没有可执行权限, 则无法cd到…

MOUNT windows到本机

mount -t cifs -o username"Administrator",password"123456789",vers2.0,rw,uid0,gid0 //192.168.10.68/home /home/windows/windowsHome 其中: username"Administrator" 为Windows用户的用户名 password"123456789" …

D-Wave 推出快速退火功能,扩大量子计算性能增益

内容来源:量子前哨(ID:Qforepost) 文丨浪味仙 排版丨沛贤 深度好文:1400字丨6分钟阅读 摘要:量子计算公司 D-Wave 宣布在其 Leap™ 实时量子云服务中的所有量子处理单元 (QPU) 上推出新的快速退火功能。…

Java 网络编程之TCP(五):分析服务端注册OP_WRITE写数据的各种场景(二)

接上文 二、注册OP_WRITE写数据 服务端代码: import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuffer; import java.nio.channels.SelectableChannel; import java.nio.channels.SelectionKey; import java.nio.channels.S…

C++ //练习 13.58 编写新版本的Foo类,其sorted函数中有打印语句,测试这个类,来验证你对前两题的答案是否正确。

C Primer(第5版) 练习 13.58 练习 13.58 编写新版本的Foo类,其sorted函数中有打印语句,测试这个类,来验证你对前两题的答案是否正确。 环境:Linux Ubuntu(云服务器) 工具&#xf…

RFC 6071: IP Security (IPsec) and Internet Key Exchange (IKE) Document Roadmap

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/96882d1fb67b4383bc77c4dd421f7b

【一刷《剑指Offer》】面试题 10:二进制中 1 的个数

力扣对应题目链接:191. 位1的个数 - 力扣(LeetCode) 牛客对应题目链接:二进制中1的个数_牛客题霸_牛客网 一、《剑指Offer》内容 核心考点 :二进制计算。 二、分析问题 1、循环检查二进制位 可以直接循环检查给定数字…

Qt 顺序容器类与关联容器类

hello!欢迎大家来到我的Qt学习系列之顺序容器类与关联容器类。希望这篇文章能对你有所帮助!!!大家也可以关注我的专栏,我会持续更新一些Qt的学习知识,和数据库的学习内容!!&#xff…

Springboot实现国际化以及部署Linux不生效问题

1、在application.properties 添加以下配置: #国际化配置 spring.messages.basenamei18n/messages/messages spring.messages.fallback-to-system-localefalse 2、添加配置文件在 resources目录下 如下图所示: 这个国际化文件命名有个坑,必须…

胸部X光图像分类:因果视角

Chest X-ray Image Classification: A Causal Perspective 摘要 这篇论文提出了一种新的方法来处理胸部X射线(CXR)分类问题,将因果推理融入到基于深度学习的方法中。尽管近年来深度学习在CXR分类方面取得了许多进展,但确保这些算…

【接口测试】JMeter接口关联测试

‍‍1 前言 我们来学习接口管理测试,这就要使用到JMeter提供的JSON提取器和正则表达式提取器了,下面我们来看看是如何使用的吧。 2 JSON提取器 1、添加JSON提取器 在线程组右键 > 添加 > 后置处理器 > JSON提取器 2、JSON提取器参数说明 N…

在浏览器中查看Revit模型:原理及实现

Greg Schleusner AIA 有一天向我提到,业内许多人认为带有 SVF2 的 Autodesk Viewer 是建筑模型最强大、性能最强的在线查看器之一,并且想知道开源 VIM 查看器和格式如何比较。 可以使用NSDT 3DConvert的 Revit插件 上传你的模型并在线查看预览&#xff…

vue的组件化

1.什么是组件化? 组件化开发 指的是:根据 封装 的思想, 把页面上可重用的 UI 结构封装为组件 ,从而方便项目的开发和维护。 2.什么是Vue组件 组件是Vue中的一个重要概念,是一个可以重复使用的Vue实例,它拥…

Python爬虫--用户代理IP池

前面一篇讲了用户 UA 代理池,现在这篇来讲下 IP 代理, 相对于 UA 来说,IP 更容易被封, 这里讲两种方法。 方法一:本地ip池 方法一 就是将 IP 拿下来本地,然后通过随机选取或者其他来调用 这就跟之前使用…