【kettle005】kettle访问Oracle数据库并处理数据至execl文件（已更新）

1.一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。
2.熟悉、梳理、总结下Oracle数据库相关知识体系
3.欢迎批评指正，跪谢一键三连！

  • kettle访问Oracle数据库并处理数据至execl文件文章目录索引如下所示：
    在这里插入图片描述

  • 【实操视频，辅助实操学习，跪谢一键三连！】【kettle005】kettle访问Oracle数据库并处理数据至execl文件

1.环境搭建、配置

  • 1.0 实验环境信息
    • Windows 10
    • CentOS 7.1（虚拟机）
    • Docker version 26.0.2
    • Dbeaver
    • Kettle 8.2
    • Oracle Database 11g Express Edition Release 11.2.0.2.0 - 64bit Production
      在这里插入图片描述
  • 1.1 镜像操作命令
    mkdir -p ./data/oracle && chmod 777 ./data/oracledocker pull wnameless/oracle-xe-11g-r2docker run --name oracle -d -p 1521:1521 -e ORACLE_ALLOW_REMOTE=true wnameless/oracle-xe-11g-r2docker ps -adocker logs 1baadocker exec -it 1baa /bin/bash-- 登录修改密码等
sqlplus /nolog
connect sys/oracle as sysdba;
alter user sys identified by newpassword;
alter user system identified by newpassword;-- 创建用户和授权
create user xxx identified by password;
grant create session to xxx;
grant create table,unlimited tablespace to xxx;
grant select any table to xxx;
grant update any table,drop any table,insert any table to xxx;-- 查看表空间
select tablespace_name, file_name from dba_data_files;grant connect,resource,dba to youli;
  • 1.2 问题解决记录过程

    • 1.2.1 【问题记录1】oracle比较大，无剩余空间导致拉取镜像失败；删除部分镜像及容器；空间还不够的话，扩容Linux虚拟机或进行虚拟机碎片整理。
      在这里插入图片描述

    • 1.2.2 【问题记录2】oracle-11g镜像格式不兼容问题，寻找其他有效oracle镜像

      • 如 docker pull registry.aliyuncs.com/zhuyijun/oracle:19c，版本太大、没空间启动失败
      • docker pull wnameless/oracle-xe-11g-r2，有效命令

      在这里插入图片描述

    • 1.2.3 【问题记录3】docker镜像版本不兼容问题，尝试了很多次仍旧失败。如改镜像源头，设置环境变量等。
      在这里插入图片描述

    • 1.2.4 【问题记录4】镜像拉取成功，大小区别明显
      在这里插入图片描述

    • 1.2.5 【问题记录5】docker: invalid reference format: repository name (library/ORACLE_PDB=ORCLPDB1) must be lowercase.

      • 手敲一遍，或调整下格式，如 \，包含空格

      在这里插入图片描述

  • 1.3 oracle容器最终运行效果
    在这里插入图片描述

2.oracle-xe-11g-r2数据库容器链接测试

  • hostname: localhost
port: 1521
sid: xe
username: system/sys
password: oracle
  • 2.1 链接测试配置详情
    在这里插入图片描述
  • sqlplus 权限授权
    在这里插入图片描述
  • 2.2 建表测试语句
    create table youli_testtable0 (id number primary key,name varchar2(50) not null,description clob,created_at timestamp default current_timestamp
);comment on table test_table is '这是一个测试表';
comment on column test_table.id is '测试表的唯一标识';
comment on column test_table.name is '测试表的名称';
comment on column test_table.description is '测试表的描述信息';
comment on column test_table.created_at is '记录的创建时间';create table "youli"."youli_testtable" (	"id" number(22,0) not null enable, "name" varchar2(100) not null enable, "email" varchar2(100) not null enable, "age" number(*,0) not null enable, "sex" varchar2(100) not null enable, "id_card" varchar2(100) not null enable, "mobile_phone" varchar2(100) not null enable, "visa_card" varchar2(100) not null enable, "officer_card" varchar2(255), "address" varchar2(255), primary key ("id")
)
tablespace users;INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('1', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸1');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('2', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸2');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('3', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸3');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('4', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸4');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('5', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸5');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('6', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸6');
INSERT INTO YOULI."youli_testtable"
("id", "name", "email", "age", "sex", "id_card", "mobile_phone", "visa_card", "officer_card", "address")
VALUES
('7', 'youli', 'youli@yaho.net', '45', 'M', '50011919870824110X', '18152276065', 'SYP618183458', '', '北京市朝阳区国贸7');SELECT * FROM YOULI."youli_testtable"
  • 2.3 DBeaver SQL效果测试
    在这里插入图片描述

3.kettle流程任务配置、效果验证

  • 3.1 将Oracle驱动包放到 kettlle lib 目录下，重启 kettle，进行链接测试
    在这里插入图片描述
  • 3.2 kettle链接oracle-xe-11g-r2数据库容器环境测试结果
    在这里插入图片描述
  • 3.3 遗留问题： 新建表 kettle中加载失败（待进一步排查、解决）
    在这里插入图片描述

4.参考文章

  • https://www.cnblogs.com/muphy/p/16769579.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/4896.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

全栈从0到1 3D旅游地图标记和轨迹生成

全栈从0到1 3D旅游地图标记和轨迹生成

功能演示 演示视频 体验地址 Vercel App 开发技术栈： NextJs（前端框架）React（前端框架）TailwindCSS （CSS样式）echart echart gl （地图生成）shadui（UI组件…
阅读更多...
C语言阶段性测试错题纠正与拓展

C语言阶段性测试错题纠正与拓展

引言：在2024年4月26日，我进行了C语言知识的“期末考试”。通过这次考试，我发现了我的知识漏洞。所以，我写下这篇博客来记录我的错题，并进行纠正，然后对于以前遗忘知识的回顾。 更多有关C语言的知识详解可前…
阅读更多...
HarmonyOS编程实践系列：第一节 - 创建健康App欢迎页

HarmonyOS编程实践系列：第一节 - 创建健康App欢迎页

系列文章目录 （零）鸿蒙HarmonyOS入门：如何配置环境，输出“Hello World“ （一）鸿蒙HarmonyOS开发基础 （二）鸿蒙HarmonyOS主力开发语言ArkTS-基本语法 （三）鸿蒙…
阅读更多...
梳理一下低代码的真正价值！另推荐超好用的5款低代码开发平台

梳理一下低代码的真正价值！另推荐超好用的5款低代码开发平台

一、先来聊聊低代码的真实价值！ 在回答这个问题之前，我们不妨先来看两个案例： 某连锁商超企业在发展中产生了新的业务需求，一是希望能够快速展示门店销售数据，满足高层的管理需求；二是希望巡店、上架商品…
阅读更多...
字典及GitHub字典爬取工具

字典及GitHub字典爬取工具

红队API接口Fuzz字典可以用于WEB安全，渗透测试，SRC等场景 完整文件已上传知识星球，需要的朋友可加入查看。
阅读更多...
Jitter 和相位噪声

Jitter 和相位噪声

近期学习PLL的时候，发现里面有诸多jitter类型，绕晕了，写个帖子记录一下学习过程。 目录 基本jitter和相噪概念 jitter 相位噪声 相位噪声和jitter之间的联系 三种常见的抖动类型及其特点 基本jitter和相噪概念 无噪声振荡器的输出是一…
阅读更多...
状态模式

状态模式

文章目录 1.UML类图2.状态基类3.状态实现类3.状态机管理类使用示例 1.UML类图 2.状态基类 public abstract class State {public string? Name { get; set; }public StateMachine? StateMachine {get; set;}public abstract void Exit();public abstract void Enter(); }3.…
阅读更多...
生成删除数据库表数据的SQL语句

生成删除数据库表数据的SQL语句

--获取表的名称及用表中第一列的注释作表的说明 select delete from ,Name2 ,--,RANK()OVER (ORDER BY Name2 DESC) as 序号,字段说明 from ( select bb.name as Name2,cc.* from ( select min(minor_id) as minor_id,id from ( SELECT g.minor_id minor_id,a.Name as Name …
阅读更多...
重生奇迹MU首饰属性之迷

重生奇迹MU首饰属性之迷

雷：抵抗移位、掌心雷 冰：抵抗冰度冻、冰封问箭、暴风雪、冰封 毒：降低中毒几率（中毒不掉血）、毒咒、毒炎 风：抵抗移位旋风斩（没试过不过很多人用）、龙卷风 至于火水地因为并没有…
阅读更多...
分布式与一致性协议之Paxos算法(三)

分布式与一致性协议之Paxos算法(三)

Paxos算法 兰伯特关于Multi-Paxos的思考 领导者 我们可以通过引入领导者(Leader)节点来解决第一个问题。也就是说将领导者节点作为唯一提议者，如图所示。这样就不存在多个提议者同时提交提案的情况，也就不存在提案冲突的情况了。这里补充一点:在论文中…
阅读更多...
NAT网络地址转换实验（思科）

NAT网络地址转换实验（思科）

华为设备参考：NAT网络地址转换实验（华为） 一，技术简介 NAT（Network Address Translation），即网络地址转换技术，是一种在现代计算机网络中广泛应用的技术，主要用于有效管…
阅读更多...
游戏新手村23：游戏数据分析都是谁在看数据

游戏新手村23：游戏数据分析都是谁在看数据

不管是做端游页游还是手游，不管是做市场广告投放还是游戏运营，都需要看数据。有的人说“数据会说话”，也有人说“数据会说谎”，有的人言必谈大数据，有的人则能善于从细小的数据着手发现问题。 我知道和了解的一些游戏…
阅读更多...
SpringBoot - java.lang.NoClassDefFoundError: XXX

SpringBoot - java.lang.NoClassDefFoundError: XXX

问题描述 以 json-path 为例：java.lang.NoClassDefFoundError: com/jayway/jsonpath/Configuration 原因分析 编译不报错，但是运行时报错。 遇到这样类似的问题，首先就要想到是不是 Jar 包冲突引起的，或者引入的不是理想的 Jar…
阅读更多...
数据仓库实验二：关联规则挖掘实验

数据仓库实验二：关联规则挖掘实验

目录 一、实验目的二、实验内容和要求三、实验步骤1、创建数据库和表2、挖掘关联规则（1）新建一个 Analysis Services 项目 Sales（2）建立数据源视图（3）建立挖掘结构 Sales.dmm（4）部署…
阅读更多...
Java集合相关的List、Set、Map基础知识

Java集合相关的List、Set、Map基础知识

目录 一、集合介绍 二、List 三、Map HashMap的数据结构 如何理解红黑树 四、set 一、集合介绍 在Java中，集合是一种用于存储对象的数据结构，它提供了一种更加灵活和强大的方式来处理和操作数据。Java集合框架提供了一系列接口和类，用…
阅读更多...
Transformer模型详解01-Word Embedding

Transformer模型详解01-Word Embedding

文章目录 前言Transformer 整体结构Transformer 的输入单词 Embedding原理CBOW 模型one-hot构建 CBOW 训练数据集构建 CBOW 神经网络训练 CBOW 神经网络 Skip-gram 模型one-hot构建 Skip-gram训练数据集训练 Skip-gram神经网络 Word2Vec实例数据训练保存和加载 前言 Transform…
阅读更多...
【上岗认证】错题整理记录

【上岗认证】错题整理记录

目录 🌞一、阶段1：编码规范 🌊编码规范考试-CC 🌞二、阶段2：开发基础 🌊C/C 🌊数据库（Oracle/MySql） 🌞三、阶段3：测试基础 🌊…
阅读更多...
Springboot+Vue项目-基于Java+MySQL的家政服务平台系统(附源码+演示视频+LW)

Springboot+Vue项目-基于Java+MySQL的家政服务平台系统(附源码+演示视频+LW)

大家好！我是程序猿老A，感谢您阅读本文，欢迎一键三连哦。 💞当前专栏：Java毕业设计 精彩专栏推荐👇🏻👇🏻👇🏻 🎀 Python毕业设计 &…
阅读更多...
实时数仓选型

实时数仓选型

实时数仓选型 实时数仓选型第一版实时数仓选型第二版 实时数仓选型第一版 实时数仓分层: 计算框架:Flink;存储框架:消息队列(可以实时读取&可以实时写入)ODS:Kafka 使用场景:每过来一条数据,读取到并加工处理DIM: HBase 使用场景:事实表会根据主键获取一行维表数据(1.永…
阅读更多...
陪诊小程序开发：线上陪诊行业的发展

陪诊小程序开发：线上陪诊行业的发展

在人口老龄化的严重的当下，老人看病也更加困难，而陪诊行业作为一个新型行业，正在走入人们的生活中，帮助大众解决看病难等问题，为大众带来便捷高效的就医环境。 随着互联网时代的到来，各行各业也都开始向线…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023