nifi 实现数据库到数据库之间数据同步

数据同步

  界面如下:

    

  具体流程:

    1、使用ExecuteSQL连接mysql数据库,通过写sql查询所需要的数据

    2、nifi默认查出来的数据为Avro格式,所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据

    3、使用ConvertJSONToSQL把json数据转化为sql语句

    4、使用PutSQL把数据存入数据库。

    5、同步的数据重复插入数据库,需要对数据进行更新操作,SplitJson对json进行拆分

    6、EvaluateJsonPath提取json中的某个属性作为参数

    7、ReplaceText根据参数编写update语句进行更新操作

    8、PutSQL更新数据库

  传递关系时注意:本例仅传递成功的数据,失败的不传递

  ExecuteSQL

    

  DBCPConnectionPool

    

  ConvertAvroToJSON

    

  ConvertJSONToSQL

    

  PutSQL

    

  SplitJson

    

  EvaluateJsonPath

    

  ReplaceText

    

  PutSQL

    

  连接各个组件,然后启动所有组件,即可运行

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/547692.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php 文件 后缀,php如何修改文件后缀名

php修改文件后缀名的方法:首先创建PHP文件;然后定义一个“changeTypeName”方法;接着获取文件绝对路径;最后通过“rename($fileRealPath, $compressCssFileRealPath);”修改即可。php 改变文件目录下文件的后缀名changeTypeName(&…

windows自定义快速启动(运行)命令

自定义运行(windows键R)里面命令,启动设置的程序,如图:它的设置方法有两种: 第一种设置方法: 第1步:在任意地方创建一个文件夹(建议在D盘根目录创建)&#xf…

python RSA加密、解密、签名

python中用于RSA加解密的库有好久个,本文主要讲解rsa、M2Crypto、Crypto这三个库对于RSA加密、解密、签名、验签的知识点。 知识基础 加密是为了保证传输内容隐私,签名是为了保证消息真实性。 服务器存私钥,客户端存公钥。(服务…

DataGridview动态添加列

1.获取数据源&#xff08;select * from table名称&#xff09; 2.动态绑定数据源 1 private void GetTableInfo(DataTable dt)2 {3 listBh new List<BH_DICTInfo>();4 foreach (DataRow dr in dt.Rows)5 {6 …

C# 控制台应用程序输出颜色字体[更正版]

首先感谢院子里的“yanxinchen”&#xff0c;之前的方法是通过c#调用系统api实现的&#xff0c;相比之下我的有点画蛇添足了&#xff0c;哈哈。 最佳解决方案的代码&#xff1a; static void Main(string[] args){ Console.ForegroundColor ConsoleColor.Green; Consol…

MXNet结合kubeflow进行分布式训练

GPU集群配置MXNetCUDA 为方便控制集群&#xff0c;写了脚本cmd2all.sh #!/bin/bash if [ $# -lt 3 ]; thenecho "usage: $0 [type cmds hosts]"echo "for example: ./cmd2all.sh \"cmds\" \"touch t1.txt\" \"gpu1 gpu2\""…

基于Opencv的水位识别,液面识别、高度识别

Update 代码已经上传到github上了&#xff0c;可以点这里 Cutting 一直说这要整理一下Computer Vision课程的大作业&#xff0c;拖了好久。这两天忙着写一个订单处理的第三方库&#xff0c;陷入了僵局&#xff0c;所以换个口味&#xff0c;把大作业整理一下。 Requirement W…

Openshift3.9部署手册

说明&#xff1a;本文主要介绍通过Ansible来部署Openshift 3.9 一、准备 系统准备 节点类型说明Masters 物理主机或者虚拟机 系统&#xff1a;Fedora 21, CentOS 7.3, 7.4或者7.5 最少4vCPU 最少16GB内存 /var/最少40GB空间 /usr/local/bin最少1GB空间 容器临时目录最少1GB空…

Solr入门——安装

为什么80%的码农都做不了架构师&#xff1f;>>> Solr网址http://lucene.apache.org/solr/ OSC地址&#xff1a;http://www.oschina.net/p/solr 下载地址&#xff1a;http://www.apache.org/dyn/closer.cgi/lucene/solr/4.3.1 解压 1、拷贝 solr-4.3.1/dist/…

java调用小冰,Java利用微软小冰API测颜值

【需求背景】七月入职&#xff0c;做了一个交友mini项目&#xff0c;有涉及一个给人脸颜值评分的需求。经过网上搜索&#xff0c;发现微软小冰可以很好解决这个需求。【说明】根据mini项目&#xff0c;用Spring-boot框架实现了一个demo&#xff0c;在html页面&#xff0c;上传个…

svn完整搭建

安装软件 # yum install httpd mod_dav_svn subversion mod_ssl 查看是否安装成功#svn --version 如果出现版本号如则说明svn安装成功查看httpd配置文件/etc/httpd/conf/httpd.conf如果找到这说明apache模块安装正确配置1.创建版本库# mkdir -pv /svn/date --创建主目录# svn…

Kubernetes 部署 Ingress 控制器 Traefik v1.7.4

标签: kubernetes ingress traefik nginx haproxy kong 介绍TraefikIngress 对象 上节课我们学习了在Kubernetes集群内部使用kube-dns实现服务发现的功能&#xff0c;那么我们部署在Kubernetes集群中的应用如何暴露给外部的用户使用呢&#xff1f;我们知道前面我们…

php iis redis,iis windows phpstudy安装redis扩展

说明,我的服务器是2008 64位 php5.4.33首先下载符合条件的redis扩展,是否符合条件可以参考https://pecl.php.net/package/redis,进入之后,点击"DLL"可以看到红圈里面的就是适合iis的non thread safe就是非安全线程下面那个thread safe适合apache下面两个就是下载所需…

几种常见SQL分页方式效率比较

转载地址&#xff1a;http://www.cnblogs.com/iamowen/archive/2011/11/03/2235068.html 分页很重要&#xff0c;面试会遇到。不妨再回顾总结一下。 1.创建测试环境&#xff0c;(插入100万条数据大概耗时5分钟)。 create database DBTestuse DBTest--创建测试表create table…

BinderHub 使用简介

使用 Binder 將公開的 GitHub Repository 轉換為可互動、可執行程式碼並能在瀏覽器上一鍵啟動的 JupyterHub 伺服器&#xff0c;讓我們可以快速地建造出方便分享的教學環境。 Python 3.6 JupyterLabPython 3.7 Jupyter NotebookR 3.6 JupyterHubR 3.6 RStudio 使用 Binder 與 …

Sql自动配置器原理及其说明

简介&#xff1a;Sa设置辅助器设计的初衷是为了抛开繁琐与重复的配置&#xff0c;这种繁琐到了一定程度回使人厌烦&#xff0c;重复到了一种程度让人觉得无趣&#xff0c;为了解决这种厌烦与无趣&#xff0c;她就出现与产生了。底下的原理适用于任何SQL Server版本与运行平台。…

Oracle 日常巡检——数据库基本情况检查

对于线上的业务&#xff0c;Oracle 的 数据库 运行的稳定性和安全性是用户关心的一个至关重要的问题&#xff0c;除了通过监控平台对数据库进行监控以外&#xff0c;还需要定期对数据库进行“体检”&#xff0c;数据库巡检是保障数据库稳定运行的必不可少的辅助手段。 本文将简…

路由器ospf动态路由配置

技术原理&#xff1a;Ospd开放式最短路径优先协议。是目前网络中应用最广泛的路由协议之一。属于内部网络路由协议。能够适应各种规模的网络环境&#xff0c;是典型的链路状态协议。Ospf路由协议通过向全网扩散本设备的链路状态信息&#xff0c;使网络中每台设备最终同步一个具…

Kubernetes 持久化存储 Cephfs

熟悉kubernetes volume的同学应该了解&#xff0c;kubernetes 对volume的提供支持“静态PV”和“动态PV”两种方式。 静态PV&#xff1a;集群管理员创建一些PV&#xff0c;之后便可用于PVC消费。 动态PV&#xff1a;相比静态PV而言&#xff0c;动态PV无需管理员手动创建PV&…

RDIFramework.NET — 系列目录 — 基于.NET的快速信息化系统开发框架

RDIFramework.NET — 基于.NET的快速信息化系统开发框架 — 系列目录RDIFramework.NET&#xff0c;基于.NET的快速信息化系统开发、整合框架&#xff0c;给用户和开发者最佳的.Net框架部署方案。框架简单介绍RDIFramework.NET&#xff0c;基于.NET的快速信息化系统开发、整合框…