nifi将hive同步到oracle,NiFi使用总结 一 hive到hive的PutHiveStreaming processor和SelectHiveQL...

我说实话,NiFi的坑真的挺多的。。。

1、PutHiveStreaming processor的使用

该控制器配置需要hive启用事物;且目前只支持orc格式,且建表需要分桶,开启事务等,建表示例如下:

create tabletest_trancaction

(user_id Int,name String)clustered by (user_id) into 3buckets

storedas orc TBLPROPERTIES ('transactional'='true');

hive的事物配置,hive-site.xml配置添加:

hive.support.concurrency

true

hive.enforce.bucketing

true

hive.exec.dynamic.partition.mode

nonstrict

hive.txn.manager

org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

hive.compactor.initiator.on

true

hive.compactor.worker.threads

1

具体配置:

PutHiveStreaming

e4c060d1f18774c9f62106a82bb77b15.png

SelectHiveQL:

双击,进入config配置:

241f2702a1fb09dd2182818a5089cfe0.png

HiveConnectionPool配置:

0fed586cb4d3b3a6f4976d25d22ef095.png

勾选自动终止关系类型:可以都选上

340c598237f5b9b37b3a783e9545479f.png

选择调度策略:

有三种,常用的有time driven,CRON driven

简单测试使用Run Schedule不要用0秒,不然会一直不停的在写入数据。。。

有关调度策略下篇在做具体说明

535287e06687e97202247a4306810c5b.png

运行一下看看:

源数据:

0d77970755cbe77dd6481a2900842691.png

配置好之后右键点击start

887579f69211c0c0e7bc39ffe4b12495.png

过一分钟左右查看插入数据:

c7be92c065083d0077a99b4e79b75ec1.png

条数有可能不止14条,后续再研究调度的程序设置;

到此为止简单实现了hive-hive的配置

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/550968.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

rds oracle,Amazon RDS Oracle数据库托管

您可通过两种不同的许可模式运行 Amazon RDS for Oracle,即“附带许可”和“使用自有许可 (BYOL)”。在“附带许可”服务模型中,您无需单独购买 Oracle 许可;Oracle 数据库软件软件由 AWS 提供授权许可。“附带许可”的起价为 0.04 USD/小时&…

oracle监听系统账号,linux 下 Oracle 监控sysdba用户登陆

在unix平台的Oracle数据库产品中,每次当用户以sysdba权限登陆数据库时,系统就自动创建一个名为ora_.aud的文件,该文件默认在$ORACLE_HOME/rdbms/audit目录下。该文件的自动创建根本不需要系统打开审计功能。在这个文件中记录了连接的用户&…

linux目录下有斜杠,Windows和Linux路径中斜杠/和反斜杠\ 的区别

Unix使用斜杆/ 作为路径分隔符,而web应用最新使用在Unix系统上面,所以目前所有的网络地址都采用 斜杆/ 作为分隔符。Windows由于使用 斜杆/ 作为DOS命令提示符的参数标志了,为了不混淆,所以采用 反斜杠\ 作为路径分隔符。所以目前…

linux密码带星号,Linux下实现输入密码以星号显示

#include #include #include #include #include #include char Getch(){int c 0;int res 0;struct termios org_opts, new_opts;res tcgetattr(STDIN_FILENO, &org_opts); //用于获取与终端相关的参数if(res -1){printf("tcgetattr error! Error code: %d&#xf…

linux内核网络raw_cpu_add,深入理解Linux网络技术内幕-设备注册和初始化(四)

static void rollback_registered_many(struct list_head *head){struct net_device *dev, *tmp;BUG_ON(dev_boot_phase);ASSERT_RTNL(); //检查是否获取了rtnl互斥量list_for_each_entry_safe(dev, tmp, head, unreg_list) {/* Some devices call without registering* for i…

linux通过时间查询日志,linux按时间查询日志

在系统应用集中部署的时候,很多日志因为太多难以定位,获取某段时间的日志是对运维人员非常关键的事情。一、sed查看某时间段到现在的系统日志:sed -n /May 20 17/,$p /var/log/messages | less二、sed 截选时间段日志首先看一下日志的格…

telnet服务下载 Linux,linux telnet服务安装包

这是linux telnet服务安装包下载, telnet-client 客户端安装包、telnet-server服务端安装包和xinetd依赖包,本人在linux retHat 32位系统上亲自安装过,若您依旧安装不成功,没关系,在附赠.txt中,打开这个链接…

linux挂载硬盘的分区创建,Linux 新增硬盘、新建分区、格式化硬盘、挂载硬盘的操作...

今天学校有一台机器发现有块硬盘没有挂载,然后叫我挂载一下,这里记录一下 Linux 下新增硬盘分区、格式化硬盘、挂载硬盘的操作。查看当前硬盘首先我们查看一下当前的硬盘配置。使用命令sudo fdisk -l就可以看到目前的硬盘了。可以看到有块空的 sda(这里忘…

Win10 Linux GPT分区方案,win10+Ubuntu 20.04 LTS双系统安装(UEFI + GPT)(图文,多图预警)

win10 安装(已安装的略过)制作启动u盘插入U盘, 运行 rufus-3.10.exe,按照下面选择,然后点击开始,等待完成即可为Ubuntu安装空出分区此电脑->管理->磁盘管理,选择一个磁盘右键选择压缩卷,压缩出50G以上…

linux 动态库构造函数,Linux共享库全局构造函数的相互依赖性

操作系统Centos 5.6 i686 2.6.18-53.1.4.el5vm.gcc版本4.1.2 20080704(Red Hat 4.1.2-48)ld版本2.17.50.0.6-6.el5 20061020我以这种方式编译:gcc -c -fnon-call-exceptions -fexceptions -Wall -DUNICODE -D_UNICODE -D_REENTRANT -I.并以这种方式链接:…

linux ptrace 读内存,Linux高级调试与优化——ptrace

ptrace (process trace)#include long ptrace(enum __ptrace_request request, pid_t pid, void *addr, void *data);ptrace系统调用运行tracer进程监视和控制tracee进程的执行过程,检查和修改tracee进程的内存和寄存器值。ptrace主要用来实现端点调试和跟踪系统调用…

linux关闭4750 端口,【ubuntu分享帖】acer 4750G ubuntu安装后的一些设置

本帖最后由 love雨阳 于 2011-11-7 13:27 编辑本帖前提:已经成功安装ubuntu11.10 网卡驱动默认成功1.安装完之后,开机,进入ubunt 第一件事当然是联网,首先,确定你的网络链接方式,如果是路由器自动分配ip的那种应该不用…

linux自动异地备份,Linux本地加异地自动备份方案

创建脚本/root/script/backup.sh# 该脚本应用于10多台普通的Linux应用服务器,多年来从未出过差错。# 数据库备份较为特殊,这里不包含数据库备份。# 因为脚本中含有FTP密码,所以FTP仅给予写权限较为安全,FTP中的老备份的定期删除任…

linux软件中心替代,Ubuntu 16.04 LTS 将替换 Ubuntu 软件中心

Ubuntu 软件中心在 Ubuntu 16.04 LTS 被移除了。Xenial Xerus 桌面用户会发现非常熟悉的 Ubuntu Software Center 找不到了。GNOME 的软件应用 将会 – 根据当前的计划 – 作为基于 Unity 7 桌面的默认的包管理应用。GNOME 软件应用Ubuntu 将创建新插件来支持新 Software Cente…

linux脚本算术函数,Linux基础之bash脚本编程初级-变量与算术运算

什么是变量?变量最初来源于数学,指的是非固定的值可变化的数通常用拉丁字母表示。在计算机中变量它依旧指的是可变化的数,只不过表现形式有些变化。它指的是变量名所指向的内存空间。以下实验环境均在CentOS7.2进行变量的特点变量分强类型变量…

存储管理实验linux,07-存储管理器实验

S3C2440的存储控制器提供了访问外设所需要的信号,它有如下特性:支持大/小端字节(通过软件选择);每个BANK的地址空间为128MB,总共1GB(8个BANK);可编程控制的总线宽度(8/16/32bit),BANK0只有两种位…

linux apache certbot,从操作系统软件包安装Certbot

Arch Linuxsudo pacman -S certbotDebian如果你运行Debian Buster或Debian testing/Sid,则可以通过以下命令轻松安装certbot软件包:sudo apt-get updatesudo apt-get install certbot如果你运行Debian Stretch,我们建议你使用Debian backport…

linux nginx 安装出错,Linux Nginx安装以及可能出现错误

Linux Nginx安装以及可能出现错误转载请标明出处 http://coderknock.com安装过程从 http://nginx.org/download/nginx-1.9.15.tar.gz下载nginx包(或者wget http://nginx.org/download/nginx-1.9.15.tar.gz直接在Linux上用命令下载)解压并转到目录下tar -zxvf nginx-1.9.15.tar.…

linux删除副本文件,RMAN不能删除控制文件副本解决

直接手动删除了一个控制文件的副本(通过RMAN备份的),以后每次RMAN 备份都保如下内容RMAN> delete obsolete;RMAN 保留原則將會套用至命令RMAN 保留原則是設成冗餘 3使用通道 ORA_DISK_1刪除下列已不在使用的備份:類型 索引鍵 完成時間 檔…

linux fcntl 设置阻塞,Linux fcntl函数设置阻塞与非阻塞

转自http://www.cnblogs.com/xuyh/p/3273082.html用命令F_GETFL和F_SETFL设置文件标志,比如阻塞与非阻塞F_SETFL 设置给arg描述符状态标志,可以更改的几个标志是:O_APPEND, O_NONBLOCK,O_SYNC和O_ASYNC。命令字(cmd)F_GETFL和…