kettle 先删除后插入_Kettle:使用触发器和快照表进行增量数据同步

主库为Oracle 11g数据库,针对需要同步的表建立增量数据临时表以及反向并通过水壶定时同步到PostgreSQL数据库
。1,主库创建快照表和快照
注意:快照表结构和源表结构必须一致!

--创建插入快照表
CREATE TABLE SPWUSER.WEB_CUSTOMER_INSERT_TMP
(ID        NUMBER                              NOT NULL,NAME      VARCHAR2(128 BYTE)                  NOT NULL,CREATED   TIMESTAMP(6) WITH LOCAL TIME ZONE   DEFAULT (current_timestamp)   NOT NULL,MODIFIED  TIMESTAMP(6) WITH LOCAL TIME ZONE   DEFAULT (current_timestamp)   NOT NULL
);
--创建更新快照表
CREATE TABLE SPWUSER.WEB_CUSTOMER_UPDATE_TMP
(ID        NUMBER                              NOT NULL,NAME      VARCHAR2(128 BYTE)                  NOT NULL,CREATED   TIMESTAMP(6) WITH LOCAL TIME ZONE   DEFAULT (current_timestamp)   NOT NULL,MODIFIED  TIMESTAMP(6) WITH LOCAL TIME ZONE   DEFAULT (current_timestamp)   NOT NULL
);
--创建删除快照表
CREATE TABLE SPWUSER.WEB_CUSTOMER_DELETE_TMP
(ID        NUMBER                              NOT NULL,NAME      VARCHAR2(128 BYTE)                  NOT NULL,CREATED   TIMESTAMP(6) WITH LOCAL TIME ZONE   DEFAULT (current_timestamp)   NOT NULL,MODIFIED  TIMESTAMP(6) WITH LOCAL TIME ZONE   DEFAULT (current_timestamp)   NOT NULL
);
--创建插入触发器
CREATE OR REPLACE TRIGGER SPWUSER.WEB_CUSTOMER_INSERT_TRIAFTER INSERTON SPWUSER.WEB_CUSTOMERFOR EACH ROW
BEGININSERT INTO WEB_CUSTOMER_INSERT_TMP (ID,NAME,CREATED,MODIFIED)VALUES (:new.id,:new.name,:new.created,:new.modified);
END;
/
--创建删除触发器
CREATE OR REPLACE TRIGGER SPWUSER.WEB_CUSTOMER_DELETE_TRIAFTER DELETEON SPWUSER.WEB_CUSTOMERFOR EACH ROW
BEGININSERT INTO WEB_CUSTOMER_DELETE_TMP (ID,NAME,CREATED,MODIFIED)VALUES (:old.ID,:old.NAME,:old.created,:old.modified);
END;
/
--创建更新触发器
CREATE OR REPLACE TRIGGER SPWUSER.WEB_CUSTOMER_UPDATE_TRIAFTER UPDATEON SPWUSER.WEB_CUSTOMERFOR EACH ROW
BEGININSERT INTO WEB_CUSTOMER_UPDATE_TMP (ID,NAME,CREATED,MODIFIED)VALUES (:old.ID,:old.NAME,:old.created,:old.modified);
END;
/

2,创建一个针对表增删改改的转换
从kettle菜单中依次选择“文件”->“新建”->“转换”或按ctrl + N快捷键创建。然后依次选择“输入”->“表输入”,“输出”->“插入/更新”和“输出”->“删除”,执行三次,如下图所示:

26a98036ad37d76a6e083faee1181fe8.png

3,“表输入”控件,查询主库(Oracle)的快照表

c33d4ebabc99b346768d53dd7b801c3a.png

06bae24ee05eae48f57fa04706bd3de4.png

84652caebdf1fba435ea69725ff1e6ab.png

4,“插入/更新”控件,插入数据到从库(PostgreSQL)的表,查询的关键字要求唯一

1507b526a5788e29c7e3969bf5297b66.png

0e2fa48c11d8ce9dd57fcd7974cbe397.png

841fb5fce3f8f5f302c90b308ddd0707.png

5,“删除”控件,将主库的快照表中的数据删除

79151d6a36d18e1babe847f4e45c1285.png

5095a4328b41b324a4f89b911a306c67.png

d5224bf577fa57e57886f7249dc8fc20.png

6,新建“作业”控件
新建作业控件,将三个转换引用起来,总览如下图所示:

78c648a4663052aecc14f8199be35fec.png

插入转换:

078bdacae6a75d12595f073fdebcb129.png

更新转换:

9c579702349e13746f57bc68bab30deb.png

删除转换:

8485ca9783c8b602ad4569d97a323aa8.png

发送邮件:

1f6dc792bfcb0bf1ac2bf969319da0b5.png

885b5e69d183fbda955b1f7563be0fd9.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/556351.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot中使用Shiro和JWT做认证和鉴权

最近新做的项目中使用了shiro和jwt来做简单的权限验证,在和springboot集成的过程中碰到了不少坑。做完之后对shiro的体系架构了解的也差不多了,现在把中间需要注意的点放出来,给大家做个参考。 相对于spring security来说,shiro出…

android 手机wifi重启,路由器要不要每天重启?多亏宽带师傅透露,难怪网速一天比一天慢!...

没WiFi,不成活!手机和WiFi之间,就像空调加棉被,谁也离不开谁。图片来源于网络如今WiFi已经填满了我们生活的每个角落,很难想象,如果哪天没了网,世界会变成什么样!可是家里的WiFi是越…

关于Apache Commons-Lang3的使用

关于Apache Commons-Lang3的使用 在日常工作中,我们经常要使用到一些开源工具包,比如String,Date等等。有时候我们并不清楚有这些工具类的存在,造成在开发过程中重新实现导致时间浪费,且开发的代码质量不佳。而apache…

linux 查看ip_如何在 Linux 中查看可用的网络接口 | Linux 中国

对于某些人来说,他们更偏爱在安装完系统后再进行网络的配置或者更改现存的设置。众所周知,为了在命令行中进行网络设定的配置,我们首先必须知道系统中有多少个可用的网络接口。-- Sk在我们安装完一个 Linux 系统后最为常见的任务便是网络配置…

实现springboot的starter

什么是 Spring Boot Spring Boot 基本上是 Spring 框架的扩展,它消除了设置 Spring 应用程序所需的复杂例行配置。我们在使用 Spring 框架的时候,我们接触得比较多的应该是 Spring MVC、 IOC 、 DI 、AOP 等等,而这些框架在使用的过程中会需…

android多点触摸手势,安卓手势学习笔记(三) 多点触控

8种机械键盘轴体对比本人程序员,要买一个写代码的键盘,请问红轴和茶轴怎么选?跟踪多个触点当多个手指同时触碰屏幕时,系统产生如下的事件:ACTION_DOWN –第一个触点。它启动了手势,在MotionEvent中该触点的…

SpringBoot 自动配置实现流程

(1)SpringBoot启动的时候加载主配置类,开启了自动配置功能EnableAutoConfiguration。查看SpringBootApplication (2)查看EnableAutoConfiguration,其作用是利用AutoConfigurationImportSelector给容器中导入…

spring.factories 的妙用

现象 在阅读 Spring-Boot 相关源码时,常常见到 spring.factories 文件,里面写了自动配置(AutoConfiguration)相关的类名,因此产生了一个疑问:“明明自动配置的类已经打上了 Configuration 的注解&#xff0…

学习android 画板源代码,Android实现画画板案例

郑州app开发画画板案例。布局代码是三个button和一个imagesview下面是图片。布局代码就不展示了。下面是java代码。package cn.xhhkj.image;import androidx.appcompat.app.AppCompatActivity;import android.content.Intent;import android.graphics.Bitmap;import android.gr…

Spring Boot 之spring.factories

首先抛出一个问题:如果想要被Spring容器管理的Bean的路径不再Spring Boot 的包扫描路径下,怎么办呢?也就是如何去加载第三方的Bean 呢? 有两种方式可以解决: 这里我们使用Swagger的配置来做实验。 1:首先一…

dataearth可视域分析_谁不知道前期分析要用ARCGIS?我就是不会用啊

Q你有没有遇到这样的情况?身边的同事或同学经常说什么高程图、坡向图、坡度图、生态水文图、热力密度图、大数据算法,而自己却一无所知,心里感到特别的慌啊。文末附ArcGIS最新版及超强数据神器 很多人会说,“设计师是感性的&#…

@ImportResource()注解的使用

ImportResource注解用于导入Spring的配置文件,让配置文件里面的内容生效;(就是以前写的springmvc.xml、applicationContext.xml) Spring Boot里面没有Spring的配置文件,我们自己编写的配置文件,也不能自动识别; 想让Sp…

mybatis3 没有生成example_网站图片尺寸自动生成

目录1. 背景2. 实现思路2.1. 尺寸动态变化2.2. 实时裁剪并静态化3. web或代理服务器插件实现方案1. 背景某天我的前同事给我打电话,说他们的负载很高,经查发现网站首页有20M,原因是首页直接引用高清图片,没有安装分辨率生成缩图。…

无法删除所有指定的值_AutoCAD所有系统变量大全

ACADLSPASDOC 0 仅将 acad.lsp 加载到 AutoCAD 任务打开的第一个图形中; 1 将 acad.lsp 加载到每一个打开的图形中ACADPREFIX 存储由 ACAD 环境变量指定的目录路径(如果有的话),如果需要则附加路径分隔符ACADVER 存储 AutoCAD 的版本号。这个变量与 DXF 文件标题变量…

简述HTML语言概念,HTML语言的基本概念和基本格式.doc

HTML语言的基本概念和基本格式HTML语言的基本概念和基本格式当使用Netscape Navigator 与 Interne Explorer 这些浏览器在Interent上尽情遨游的时候,肯定会被丰富多彩的屏幕内容所吸引,而这些丰富多彩的内容背后,只是用一种简单的超文本标志语…

为什么线程池里的方法会执行两次_新手一看就懂的线程池

作者:码农田小齐来源:https://www.cnblogs.com/nycsde/p/14003888.html那相信大家也能感受到,其实用多线程是很麻烦的,包括线程的创建、销毁和调度等等,而且我们平时工作时好像也并没有这样来 new 一个线程,其实是因为很多框架的底…

华为鸿蒙热水器,美的华为跨界联合!搭载鸿蒙OS的美的产品双11上市

【宅秘新闻】在前段时间的华为开发者大会上,华为正式发布了鸿蒙OS 2.0。华为消费者业务软件部总裁王成录当时表示,美的等家电品牌很快就会推出基于鸿蒙OS 2.0的家电产品。11月11日,美的集团官方宣布搭载鸿蒙OS的美的产品在双十一惊喜上市。宅…

Eclipse构建Maven分包分模块项目并构建服务端

首先说一下Maven 模块结构: 一个简单的Maven模块结构是这样的: ---- app-parent 一个父项目(app-parent)聚合很多子项目(app-util,app-dao,app-service,app-web) |---- pom.xml (pom) | |-------- app-util | |-------- pom.xml (jar) | |-------- app-…

我们一起动手学大模型应用开发

大模型正逐步成为信息世界的新革命力量,其通过强大的自然语言理解、自然语言生成能力,为开发者提供了新的、更强大的应用开发选择。 随着国内外井喷式的大模型 API 服务开放,如何基于大模型 API 快速、便捷地开发具备更强能力、集成大模型的…

登陆页面html5代码qq,HTML5QQ登录的一篇代码分享

html5背景*{margin:0;padding:0;list-style-type:none;}a,img{border:0;}$(function () {if (!window.ActiveXObject && !!document.createElement("canvas").getContext) {$.getScript("http://im-img.qq.com/pcqq/js/200/cav.js?_1428576021379"…