java基础练习(使用java实现跨库数据调度ETL)

简介

        本文写一篇关于java库与库之间的数据传输,现实生产中可能是通过其他方式完成,在没有架构的基础上使用java实现跨库的数据传送,非常不便利。但是作为练习我觉得确实非常有用,涉及的java知识点相对较多。本文以一个实列讲解,一个思考留给学习的粉丝就行后续实操锻炼。

实操准备

数据库表名链接url
数据源Oracle-19cdm.book
jdbc:oracle:thin:@//localhost:1521/ORCL
目标源postgresql-15.2main.book
jdbc:postgresql://10.0.0.199:6432/postgres

配置JDBC驱动

        通过dbeaver找到想要的驱动信息,也算是开发的一个小tips;        

通过dbeaver链接的对应的源库和目标库,如何能正常连接,使用dbeaver连接的JDBC驱动就好了。

        点击编辑驱动,

        记住这里的类名和url模板。然后点击库,会出现一些JDBC包

将以上的jar复制到idea当前所创建的project下的lib目录中

 

此时JDBC依赖包就创建完成了

创建测试数据

        在源数据中创建一个有数据的表,用于将数据调度到postgresql数据库中去

create table dm.book(ID varchar2(50), name varchar2(50), author varchar2(50), 	price number(10,3), public_inc varchar2(50));INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('0A2H3IW92I3JQU10S83OQ8O3B4IS8U4H', '镜花缘', '李汝珍', 29.4, '人民文学出版社');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('N4H1KS83HSI3HQ9DH33EBSSDIDCJ32C3', '山海经', '厚朴', 56.9, '古文出版社');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('B3JSI38AU4JD94KWIW9SHERF3FEV39SD', '玉观音', '海岩', 54.3, '广东文旅出版集团');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('11afb0ddf43a4ee59aadf380c1f15ad5', '活着', '余华', 23.43, '中华书局');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('6d14bb33654a46e686be7e49d4fae396', '三国演义', '罗贯中', 126.81, '人民文学出版社');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('0364d4b04387497a917e5e1dd6d8c96c', '红楼梦', '曹雪芹', 133.54, '人民文学出版社');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('044a980718124da894fdd70f37006d13', '水浒传', '施耐庵', 98.64, '上海美术出版社');

编辑代码

        为了完成以上的代码业务需求,我们代码分成三个文件完成

1,创建一个实体类,在java中用于存储表结构的数据,

2,核心逻辑代码,也就整个完成主体调度ETL的主题代码。

3,调用代码

一 ,创建实体类


public class book {private String id ;private String name;private String author;private double price;private String public_inc;//以下代码都是自动生成的,只需要把以上的代码编辑完成,然后生成getter,setter。public book(String id, String name, String author, double price, String public_inc) {this.id = id;this.name = name;this.author = author;this.price = price;this.public_inc = public_inc;}public book() {}public String getId() {return id;}public void setId(String id) {this.id = id;}public String getName() {return name;}public void setName(String name) {this.name = name;}public String getAuthor() {return author;}public void setAuthor(String author) {this.author = author;}public double getPrice() {return price;}public void setPrice(double price) {this.price = price;}public String getPublic_inc() {return public_inc;}public void setPublic_inc(String public_inc) {this.public_inc = public_inc;}
}

 实体类中创建了变量的数据类型就需要自动生成其然后生成getter,setter以及构造方法和无参构造方法

 依次点击构造方法,getter and setter.

         构造方法创建两个,一个无参,一个有参。

        完成这两个操作之后,我们的实体类就创建完成了。

实体类的三大特点:

        属性封装:实体类通常会使用private修饰符来保护属性不被直接访问,只通过提供的getter和setter方法来获取或设置属性的值。
        数据操作:实体类通常会包含一些数据操作的方法,如插入、删除、修改等,以便在业务逻辑中进行数据处理。
        对象实例化:使用实体类可以方便地创建业务模型中的对象实例。
        实体类主要适用于存储数据库多行多列的表结构数据。

二,核心逻辑代码

//在下问代码编辑中会提示生成所需的import,只需要点击即可。
import java.sql.*;
import java.util.ArrayList;
import java.util.List;
//创建类名,自定义,本文使用的text
public class text {
//创建main方法public static int main(String[] args) {
//定义目标数据据的urlString pgurl= "jdbc:postgresql://10.0.0.199:6432/postgres" ;
//创建一个名为ResultSql,数据类型为自定义的book的变量,用于装在表的结构化数据,其表的数据类型必须是自定义实体类book所有的List<book> ResultSql = new ArrayList<>();//定义一个源数据库oracle的urlString orclusrl="jdbc:oracle:thin:@//localhost:1521/ORCL";try {//第一步加载源数据库的urlClass.forName("oracle.jdbc.driver.OracleDriver");//使用JDBC的DriverManager类的getConnection()方法建立到指定数据库的连接Connection connection = DriverManager.getConnection(orclusrl, "system", "system");//使用Connection对象的createStatement()方法创建一个新的Statement对象。这个对象可以用来执行各种类型的SQL语句,包括查询、更新、删除等。Statement statement = connection.createStatement();
//使用Statement对象的executeQuery()方法执行SQL查询语句,并将结果集存储在ResultSet对象rs中。ResultSet rs = statement.executeQuery("select id, name, author, price, public_inc from dm.book");//while(rs.next()){是一个while循环,它会一直重复,直到结果集中没有更多的行。每次迭代都会使光标向下移动一行,以便读取下一组数据while(rs.next()){//它们创建了一个新的Book对象,book A = new book();//并通过ResultSet的getString()和getDouble()方法将每一列的数据提取出来,分别赋值给Book对象的属性。A.setId(rs.getString("id"));A.setName(rs.getString("name"));A.setAuthor(rs.getString("author"));A.setPrice(rs.getDouble("price"));A.setPublic_inc(rs.getString("public_inc"));//将这个Book对象添加到了ResultSql集合中。ResultSql.add(A);}//关闭Statement对象statement.close();//关闭链接connection.close();} catch (SQLException e) {e.printStackTrace();} catch (ClassNotFoundException e) {e.printStackTrace();}//定义变量i用于接受下文executeUpdate方法的返回值int i = 0;try {//加载postgresql的JDBC驱动Class.forName("org.postgresql.Driver");//创建与postgresql的数据库链接Connection connection = DriverManager.getConnection(pgurl, "readywrite", "readywrite");//使用Connection对象的prepareStatement()方法创建一个PreparedStatement对象。这里的sql参数表示要执行的SQL语句,可以带有占位符,String sql="insert into main.book(id, name, author, price, public_inc) values (?,?,?,?,?)";//使用Connection对象的prepareStatement()方法创建一个PreparedStatement对象。这里的sql参数表示要执行的SQL语句PreparedStatement preparedStatement = connection.prepareStatement(sql);//是一个for-each循环,它会对ResultSql集合中的每个元素进行迭代。直到结果集中没有更多的行。每次迭代都会使光标向下移动一行,以便读取下一组数据for (book A:ResultSql){//在循环体内。它们将当前Book对象的每个属性的值设置到PreparedStatement对象对应的占位符上。// 这里的setString()和setDouble()方法是用来设置非二进制类型的数据;// 对于二进制类型的数据,则需要使用setBinaryStream()、setBlob()、setBytes()、setCharacterStream()、// setClob()、setNCharacterStream()、setNClob()、setObject()、setRef()、setRowId()、setSQLXML()等方法。preparedStatement.setString(1,A.getId());preparedStatement.setString(2,A.getName());preparedStatement.setString(3,A.getAuthor());preparedStatement.setDouble(4,A.getPrice());preparedStatement.setString(5,A.getPublic_inc());//使用PreparedStatement对象的executeUpdate()方法执行SQL插入语句,返回受影响的行数。//此处一个是一个循环,所以每一此执行的都是一行,变量I的值也就是1.i = preparedStatement.executeUpdate();}preparedStatement.close();connection.close();} catch (SQLException e) {e.printStackTrace();} catch (ClassNotFoundException e) {e.printStackTrace();}return i;}
}

关键字讲解

在定义一个实体类属性的变量的时候 

固定格式:List<实体类名>  变量名 = new ArrayList<>();

line47    int i = 0;

定义了一个变量i,用于接受后面执行insert后的返回值,其返回值是0或者1;

思考:

        如何让这个变量I变成一个累计值。

line 54 

String sql="insert into main.book(id, name, author, price, public_inc) values (?,?,?,?,?)";

在定义一个SQL语句变量的时候里面使用了“?”,这个问号是一个占位符,用于

preparedStatement.setString方法的定位。

调用代码

import java.util.List;public class dy {public static void main(String[] args) {//在text的main方法的属性设置中,应为viod替换成了static int, 而这个int必须与代码中retrun I 返回值数据类型相同。//调用代码中设置了一个int类型的bk变量,用于接收text.main调用的返回值I。int bk = text.main(new String[]{"开始调用"});System.out.println(bk);}
}

         点击运行调用脚本

        到目标数据库中查看效果。 

        数据库展示正常。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/131403.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++相关练习及详细讲解

目录 题1&#xff1a;输出数组中第k小的数在数组内找出查找数字在该数组第一次出现的索引 题1&#xff1a;输出数组中第k小的数 题目描述&#xff1a; 给定一个数组arr 输出数组中第k小的数 如果不存在 输出-1 输入格式&#xff1a; 第一行输入一个数字n 代表数组arr大小 第二…

SpringBoot-WebSocket浏览器-服务器双向通信

文章目录 WebSocket 介绍入门案例 WebSocket 介绍 WebSocket 是基于 TCP 的一种新的网络协议。它实现了浏览器与服务器全双工通信——浏览器和服务器只需要完成一次握手&#xff0c;两者之间就可以创建持久性的连接&#xff0c;并进行双向数据传输。 应用场景&#xff1a; 视…

UI设计感大型数据管理仪表盘后台模板源码

大型数据管理仪表盘后台模板是一款适合数据统计管理后台网站模板下载。提示&#xff1a;本模板调用到谷歌字体库&#xff0c;可能会出现页面打开比较缓慢。 演示下载 qnziyw点cn/wysc/qdmb/20838点html

Solidity数据类型之函数类型

solidity中函数的形式 function <function name>(<parameter types>) {internal|external|public|private} [pure|view|payable] [returns (<return types>)]每个关键字的意思&#xff08;方括号里面的写不写都可以&#xff09; function&#xff1a; 声明函…

七月论文审稿GPT第2版:从Meta Nougat、GPT4审稿到Mistral、LongLora

前言 如此前这篇文章《学术论文GPT的源码解读与微调&#xff1a;从chatpaper、gpt_academic到七月论文审稿GPT》中的第三部分所述&#xff0c;对于论文的摘要/总结、对话、翻译、语法检查而言&#xff0c;市面上的学术论文GPT的效果虽暂未有多好&#xff0c;可至少还过得去&am…

基于java+springboot+vue的校园出入管理系统

项目介绍 本论文主要论述了如何使用JAVA语言开发一个校园出入管理系统 &#xff0c;本系统将严格按照软件开发流程进行各个阶段的工作&#xff0c;采用B/S架构&#xff0c;面向对象编程思想进行项目开发。在引言中&#xff0c;作者将论述校园出入管理系统的当前背景以及系统开…

ArcGIS for Android 禁止地图旋转

ArcGIS for Android 禁止地图旋转 话不多说&#xff0c;直接上代码&#xff01;&#xff01;&#xff01; public class LoadMap extends AppCompatActivity {// 地图private MapView mapView;private ArcGISMap map;Overrideprotected void onCreate(Bundle savedInstanceSta…

1.Netty概述

原生NIO存在的问题(Netty要解决的问题) 虽然JAVA NIO 和 JAVA AIO框架提供了多路复用IO/异步IO的支持&#xff0c;但是并没有提供给上层“信息格式”的良好封装。JAVA NIO 的 API 使用麻烦,需要熟练掌握 ByteBuffer、Channel、Selector等 , 所以用这些API实现一款真正的网络应…

逆向学习记录(4)adb

adb用于PC和手机端通讯。 常用命令如下&#xff1a; 如果不是模拟器&#xff08;模拟器一般都有自己的adb&#xff09;&#xff0c;adb会出现在Andirod的SDK中&#xff0c;路径为&#xff1a;Android/SDK/platform-tools。 最好加入环境变量中。

MTK联发科、高通、紫光展锐手机SOC平台型号汇总(含详细参数)

MediaTek联发科手机平台汇总&#xff1a; Qualcomm高通SOC平台汇总&#xff1a; 紫光展锐SOC平台汇总&#xff1a; 新移科技已成功研发手机SOC平台&#xff1a; 联发科平台&#xff1a; MTK6739、MTK6761、MTK6762、MTK6765、MTK8788、MTK6853、MTK6873、MTK6833、MTK6877、…

JVM 内存和 GC 算法

文章目录 内存布局直接内存执行引擎解释器JIT 即时编译器JIT 分类AOT 静态提前编译器&#xff08;Ahead Of Time Compiler&#xff09; GC什么是垃圾为什么要GC垃圾回收行为Java GC 主要关注的区域对象的 finalization 机制GC 相关算法引用计数算法&#xff08;Reference Count…

Proteus仿真--1602LCD显示仿手机键盘按键字符(仿真文件+程序)

本文主要介绍基于51单片机的1602LCD显示仿手机键盘按键字符&#xff08;完整仿真源文件及代码见文末链接&#xff09; 仿真图如下 其中左下角12个按键模拟仿真手机键盘&#xff0c;使用方法同手机键一样&#xff0c;长按自动跳动切换键值&#xff0c;松手后确认选择&#xff…

JavaScript_Date对象_实例方法_get类

计算这一年还剩多少天&#xff1a; <!DOCTYPE html> <html lang"en"> <head> <meta charset"UTF-8"> <meta name"viewport" content"widthdevice-width, initial-scale1.0"> <title>Document&…

《Pytorch新手入门》第二节-动手搭建神经网络

《Pytorch新手入门》第二节-动手搭建神经网络 一、神经网络介绍二、使用torch.nn搭建神经网络2.1 定义网络2.2 torch.autograd.Variable2.3 损失函数与反向传播2.4 优化器torch.optim 三、实战-实现图像分类(CIFAR-10数据集)3.1 CIFAR-10数据集加载与预处理3.2 定义网络结构3.3…

通过环境变量实现多个JDK切换

前文: 由于jdk版本需要升级为jdk17,因为jdk8比较常用且稳定,本人又不想卸载掉安装的jdk8,在经过查找资料后找到了可以通过修改环境变量在本地任意切换jdk版本 环境变量配置 网上教程一堆,直接跳过了,这里主要说明怎么通过配置环境变量切换 电脑->属性->高级系统设置-&g…

latex自定义缩写

Latex 写文章可能常用到一些缩写&#xff0c;如&#xff1a; .e.g.i.e.cf.etc.w.r.t.i.i.d.et al. 其中有些要斜体&#xff0c;如果每次都要用 \textit{...}、{\it ...} 弄斜&#xff0c;有点麻烦。CVPR 模板中有定义一些命令&#xff0c;可以更方便地输入这些缩写。这里记录…

【Kotlin精简】第7章 泛型

1 泛型 泛型即 “参数化类型”&#xff0c;将类型参数化&#xff0c;可以用在类&#xff0c;接口&#xff0c;函数上。与 Java 一样&#xff0c;Kotlin 也提供泛型&#xff0c;为类型安全提供保证&#xff0c;消除类型强转的烦恼。 1.1 泛型优点 类型安全&#xff1a;通用允许…

【iOS】——知乎日报第三周总结

文章目录 一、获取新闻额外信息二、工具栏按钮的布局三、评论区文字高度四、评论区长评论和短评论的数目显示五、评论区的cell布局问题和评论消息的判断 一、获取新闻额外信息 新闻额外信息的URL需要通过当前新闻的id来获取&#xff0c;所以我将所有的新闻放到一个数组中&…

android studio 字节码查看工具jclasslib bytecode viewer

jclasslib bytecode viewer 是一款非常好用的.class文件查看工具&#xff1b; jclasslib bytecode editor is a tool that visualizes all aspects of compiled Java class files and the contained bytecode. Many aspects of class files can be edited in the UI. In addit…

快速排序(Java)

基本思想 快速排序Quicksort&#xff09;是对冒泡排序的一种改进。 基本思想是分治的思想&#xff1a;通过一趟排序将要排序的数据分割成独立的两部分&#xff0c;其中一部分的所有数据都比另外一部分的所有数据都要小&#xff0c;然后再按此方法对这两部分数据分别进行快速排…