nifi 实现数据库到数据库之间数据同步

数据同步

  界面如下:

    

  具体流程:

    1、使用ExecuteSQL连接mysql数据库,通过写sql查询所需要的数据

    2、nifi默认查出来的数据为Avro格式,所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据

    3、使用ConvertJSONToSQL把json数据转化为sql语句

    4、使用PutSQL把数据存入数据库。

    5、同步的数据重复插入数据库,需要对数据进行更新操作,SplitJson对json进行拆分

    6、EvaluateJsonPath提取json中的某个属性作为参数

    7、ReplaceText根据参数编写update语句进行更新操作

    8、PutSQL更新数据库

  传递关系时注意:本例仅传递成功的数据,失败的不传递

  ExecuteSQL

    

  DBCPConnectionPool

    

  ConvertAvroToJSON

    

  ConvertJSONToSQL

    

  PutSQL

    

  SplitJson

    

  EvaluateJsonPath

    

  ReplaceText

    

  PutSQL

    

  连接各个组件,然后启动所有组件,即可运行

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/547692.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php 文件 后缀,php如何修改文件后缀名

php修改文件后缀名的方法:首先创建PHP文件;然后定义一个“changeTypeName”方法;接着获取文件绝对路径;最后通过“rename($fileRealPath, $compressCssFileRealPath);”修改即可。php 改变文件目录下文件的后缀名changeTypeName(&…

函数重载二义性:error C2668: 'pow' : ambiguous call to overloaded function

2013-07-08 14:42:45 当使用的函数时重载函数时,若编译器不能判断出是哪个函数,就会出现二义性,并给出报错信息。 问题描述: 在.cpp代码中用到pow函数,如下: long int MaxInteger pow( 2,8*sizeof(long in…

windows自定义快速启动(运行)命令

自定义运行(windows键R)里面命令,启动设置的程序,如图:它的设置方法有两种: 第一种设置方法: 第1步:在任意地方创建一个文件夹(建议在D盘根目录创建)&#xf…

python RSA加密、解密、签名

python中用于RSA加解密的库有好久个,本文主要讲解rsa、M2Crypto、Crypto这三个库对于RSA加密、解密、签名、验签的知识点。 知识基础 加密是为了保证传输内容隐私,签名是为了保证消息真实性。 服务器存私钥,客户端存公钥。(服务…

php7 有参数类型,PHP7中的可空返回类型

小编典典PHP 7.1现在支持可为空的返回类型。我链接到的第一个RFC是他们使用的RFC:function nullOrString(int $foo) : ?string{return $foo%2 ? "odd" : null;}旧答案:由于我的评论实际上是对该问题的答案:PHP7尚不支持可空的返回…

DataGridview动态添加列

1.获取数据源&#xff08;select * from table名称&#xff09; 2.动态绑定数据源 1 private void GetTableInfo(DataTable dt)2 {3 listBh new List<BH_DICTInfo>();4 foreach (DataRow dr in dt.Rows)5 {6 …

C# 控制台应用程序输出颜色字体[更正版]

首先感谢院子里的“yanxinchen”&#xff0c;之前的方法是通过c#调用系统api实现的&#xff0c;相比之下我的有点画蛇添足了&#xff0c;哈哈。 最佳解决方案的代码&#xff1a; static void Main(string[] args){ Console.ForegroundColor ConsoleColor.Green; Consol…

MXNet结合kubeflow进行分布式训练

GPU集群配置MXNetCUDA 为方便控制集群&#xff0c;写了脚本cmd2all.sh #!/bin/bash if [ $# -lt 3 ]; thenecho "usage: $0 [type cmds hosts]"echo "for example: ./cmd2all.sh \"cmds\" \"touch t1.txt\" \"gpu1 gpu2\""…

php新建文件在指定目录下,PHP在获取指定目录下的目录,在获取的目录下面再创建文件,多平台...

代码如下://取得指定文件夹的目录名称function get_dir_name($dir_path,$file){$dirpath $dir_path;$dir scandir($dirpath);foreach ($dir as $key>$value){if (is_dir($dirpath./.$value) && $value ! . && $value ! ..){//echo $dirpath./.$value./.$f…

性能测试流程

一个项目如果有性能需求&#xff0c;那恭喜你&#xff0c;你接到活了&#xff0c;于是你开始着手开始性能测试。 首先第一步&#xff0c;你会先去了解业务&#xff0c;与此同时&#xff0c;产品或者项目经理也会给出他们的一些性能需求&#xff0c;和相关的指标要求&#xff0c…

基于Opencv的水位识别,液面识别、高度识别

Update 代码已经上传到github上了&#xff0c;可以点这里 Cutting 一直说这要整理一下Computer Vision课程的大作业&#xff0c;拖了好久。这两天忙着写一个订单处理的第三方库&#xff0c;陷入了僵局&#xff0c;所以换个口味&#xff0c;把大作业整理一下。 Requirement W…

php最新版本的安装,centos安装新PHP版本

方法一&#xff1a;yum 安装默认的版本太低了&#xff0c;手动安装有一些麻烦&#xff0c;想采用Yum安装的可以使用下面的方案&#xff1a;1.检查当前安装的PHP包yum list installed | grep php如果有安装的PHP包&#xff0c;先删除他们yum remove php.x86_64 php-cli.x86_64 p…

Openshift3.9部署手册

说明&#xff1a;本文主要介绍通过Ansible来部署Openshift 3.9 一、准备 系统准备 节点类型说明Masters 物理主机或者虚拟机 系统&#xff1a;Fedora 21, CentOS 7.3, 7.4或者7.5 最少4vCPU 最少16GB内存 /var/最少40GB空间 /usr/local/bin最少1GB空间 容器临时目录最少1GB空…

php 获取 table,php – 获取表对象(App_Model_TableName)作为获取结果(Zend Framework)

现在,我在我的模型中写了一个函数&#xff1a;public function getRowsByZipCode($zip){// SQL to get all the rows with the given zip code$stmt $this -> getAdapter()-> query( "SELECT *FROMtable_nameWHEREtable_name.status 1 ANDtable_name.zip{$zip}&qu…

Solr入门——安装

为什么80%的码农都做不了架构师&#xff1f;>>> Solr网址http://lucene.apache.org/solr/ OSC地址&#xff1a;http://www.oschina.net/p/solr 下载地址&#xff1a;http://www.apache.org/dyn/closer.cgi/lucene/solr/4.3.1 解压 1、拷贝 solr-4.3.1/dist/…

Kubernetes 部署 Ingress 控制器 Traefik v2.1

目录[-] . 一、Traefik 简介. 二、Kubernetes 部署 Traefik. 1、创建 CRD 资源. 2、创建 RBAC 权限. 3、创建 Traefik 配置文件. 4、节点设置 Label 标签. 5、Kubernetes 部署 Traefik. 三、Traefik 路由规则配置. 1、配置 HTTP 路由规则 &#xff08;Traefik Dashboard 为例&…

java调用小冰,Java利用微软小冰API测颜值

【需求背景】七月入职&#xff0c;做了一个交友mini项目&#xff0c;有涉及一个给人脸颜值评分的需求。经过网上搜索&#xff0c;发现微软小冰可以很好解决这个需求。【说明】根据mini项目&#xff0c;用Spring-boot框架实现了一个demo&#xff0c;在html页面&#xff0c;上传个…

svn完整搭建

安装软件 # yum install httpd mod_dav_svn subversion mod_ssl 查看是否安装成功#svn --version 如果出现版本号如则说明svn安装成功查看httpd配置文件/etc/httpd/conf/httpd.conf如果找到这说明apache模块安装正确配置1.创建版本库# mkdir -pv /svn/date --创建主目录# svn…

where in的sql语句按照指定ID进行排序的解决方法

做网站的时候需要一个需求&#xff0c;需要按照指定的ID获取数据库中的数据&#xff0c;返回数据的顺序要和指定ID的顺序相同&#xff0c;数据库是SQL Server的&#xff0c;下面的代码是在网上找来的&#xff0c;SQL server的已经测试过&#xff0c;可以满足要求。 Access:sele…

Kubernetes 部署 Ingress 控制器 Traefik v1.7.4

标签: kubernetes ingress traefik nginx haproxy kong 介绍TraefikIngress 对象 上节课我们学习了在Kubernetes集群内部使用kube-dns实现服务发现的功能&#xff0c;那么我们部署在Kubernetes集群中的应用如何暴露给外部的用户使用呢&#xff1f;我们知道前面我们…