CDH6.3.2集成Flink1.12.2

一、Linux下载httpd服务并开启
yum install y httpd
systemctl start httpd
systemctl enable httpd
二、获取已制作好的安装包
flink-1.12.2-bin-scala_2.11.tar
​
FLINK_ON_YARN-1.12.2.jar
​
flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar
三、集成CM
1.上传编译好的parcel

将编译好的flink-1.12.2-bin-scala_2.11.tar解压到/var/www/html并重命名

# 将flink-1.12.2-bin-scala_2.11.tar解压到/var/www/html
[root@bigdata1 html] tar -xvf /opt/software/flink-parcel/flink-1.12.2-bin-scala_2.11.tar -C /var/www/html/
[root@bigdata1 html] cd /var/www/html/
# 重命名目录名称
[root@bigdata1 html] mv FLINK-1.12.2-BIN-SCALA_2.11_build/ flink1.12.2-on-cdh6.3.2
[root@bigdata1 html] cd flink1.12.2-on-cdh6.3.2
# 创建flink-on-cdh的本地仓库,确保createrepo工具已经安装
[root@bigdata1 flink1.12.2-on-cdh6.3.2] yum install -y createrepo
[root@bigdata1 flink1.12.2-on-cdh6.3.2] createrepo .

开启httpd服务后,可以通过以下网址查看是否正常上传

http://bigdata1/flink1.12.2-on-cdh6.3.2/

配置局域网flink的yum

[root@bigdata1 html] vim /etc/yum.repos.d/flink-on-cdh.repo

添加如下配置

[flink-on-cdh]
name=flink-on-cdh
baseurl=http://bigdata1/flink1.12.2-on-cdh6.3.2/
enabled=1
gpgcheck=0

将上述配置repo配置文件分发到所有节点上

所有节点上清除yum并建立yum缓存

yum clean all
yum makecache

CM-Server主节点上,将FLINK_ON_YARN-1.12.2.jar包复制到/opt/cloudera/csd/目录下(目的是让cm识别)

[root@bigdata1 bin] cp /opt/software/flink-parcel/FLINK_ON_YARN-1.12.2.jar /opt/cloudera/csd/

重启集群的CM-Server及CM-agent

service cloudera-scm-server restart
service cloudera-scm-agent restart
2.配置parcel库

CM页面—>主机—> parcel —> 配置,添加上传的parcel的位置

添加上传的parcel的位置

http://bigdata1/flink1.12.2-on-cdh6.3.2/

检查新Parcel ,然后下载—>分配—>激活

下载后报哈希验证失败错误

需要修改httpd配置文件

[root@bigdata1 flink1.12.2-on-cdh6.3.2] cp /etc/httpd/conf/httpd.conf /etc/httpd/conf/httpd.conf.bak
[root@bigdata1 flink1.12.2-on-cdh6.3.2] vim /etc/httpd/conf/httpd.conf

在AddType中添加.parcel

重启httpd服务

[root@bigdata1 flink1.12.2-on-cdh6.3.2] systemctl restart httpd

再次下载—>分配—>激活成功

3.部署flink-yarn服务

点击添加服务

添加Flink-yarn服务

配置参数,kerberos的配置默认值清除掉,不填

其他参数按默认值继续安装

安装完成后,登录部署flink-yarn服务的后台上传flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar

将其上传到/opt/cloudera/parcels/FLINK/lib/flink/lib目录下

然后启动flink-yarn服务

启动服务后,需要重启cm后端

service cloudera-scm-server restart
4.webUI

进入YARN

查看应用程序,其中的Flink session cluster即为Flink on yarn进程

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/19656.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ERV-Net:一种用于脑肿瘤分割的高效3D残差神经网络| 文献速递-深度学习肿瘤自动分割

Title 题目 ERV-Net: An efficient 3D residual neural network for brain tumor segmentation ERV-Net:一种用于脑肿瘤分割的高效3D残差神经网络 01 文献速递介绍 脑肿瘤在全球范围内是致命的,与其他类型的肿瘤相比。胶质瘤是最具侵略性的脑肿瘤类…

数据挖掘与机器学习——聚类算法

目录 无监督学习 聚类算法 概念: 功能: 应用场景: 评判标准: 划分聚类: K-means聚类 逻辑实现: 聚类方式 问题: 解决: 可能存在的问题: 1.初始值对K-means聚…

CANOE制造dll文件,以及应用dll文件

1、使用canoe自带的capl dll 2、然后使用Visual Studio 2022 打开项目 3、项目打开后修改下项目属性 4、修改capldll.cpp文件 4.1 添加的内容 void CAPLEXPORT far CAPLPASCAL appSum(long i, long j, long* s){*s i j;} {"sum", (CAPL_FARCALL)appSum, "…

python前端streamlit模型部署

简单介绍使用前端streamlit框架快速部署本地模型: 1、模型训练: import pandas as pd # 流程整合 from sklearn.pipeline import make_pipeline, Pipeline # 数据处理 from sklearn.impute import SimpleImputer from sklearn.preprocessing import Min…

01 - Maven入门安装

目录 1、软件下载地址 2、安装的版本 3、安装的条件 4、软件的结构 5、Maven环境配置 5.1、配置MAVEN_HOME 5.2、配置Path 5.3、命令测试(cmd窗口) 6、Maven的功能配置 6.1、配置本地仓库地址 6.2、配置国内阿里镜像 6.3、配置jdk8版本项目构…

鸿蒙ArkTS声明式开发:跨平台支持列表【背景设置】 通用属性

背景设置 设置组件的背景样式。 说明: 开发前请熟悉鸿蒙开发指导文档: gitee.com/li-shizhen-skin/harmony-os/blob/master/README.md点击或者复制转到。 从API Version 7开始支持。后续版本如有新增内容,则采用上角标单独标记该内容的起始版…

设计模式22——备忘录模式

写文章的初心主要是用来帮助自己快速的回忆这个模式该怎么用,主要是下面的UML图可以起到大作用,在你学习过一遍以后可能会遗忘,忘记了不要紧,只要看一眼UML图就能想起来了。同时也请大家多多指教。 备忘录模式(Mement…

EG2106 原装正品 贴片SOP-8 大功率MOS管栅极驱动芯片耐压600V

EG2106 在电机控制中的应用非常广泛,下面是一些典型的应用案例: 1. 无刷直流电机(BLDC)控制:EG2106 可以用于驱动无刷直流电机的功率MOSFET或IGBT。在无刷电机控制器中,通常会用到H桥电路来控制电机的正…

基于Java的KTV点歌系统

开发语言:Java 数据库:MySQL 技术:JSP技术,JAVA,B/S架构 工具:浏览器(360浏览器、谷歌浏览器、QQ浏览器等),数据库管理工具(MySQL) 系统展示 …

HTML动态响应2-Servlet+Ajax实现HTTP前后台交互方式

作者:私语茶馆 前言 其他涉及到的参考章节: HTML动态响应1—Ajax动态处理服务端响应-CSDN博客 Web应用JSON解析—FastJson1.2.83/Tomcat/IDEA解析案例-CSDN博客 HTML拆分与共享方式——多HTML组合技术-CSDN博客 1.场景: WEb项目经常需要前后端交互数据,并动态修改HTML页…

Linux:subshell(子shell)和childprocess(子进程)

相关阅读 Linuxhttps://blog.csdn.net/weixin_45791458/category_12234591.html?spm1001.2014.3001.5482 一、预备知识 在进行这个话题之前,首先要了解Linux系统中一个进程是如何创建的,当一个命令被执行时,首先会在当前进程创建一个子进程…

Vue3使用mitt进行组件通信

mitt:事件总线,是第三方插件。 Vue2.x 使用 EventBus 事件总线进行兄弟组件通信,而在Vue3中 EventBus 事件总线模式已经被移除,官方建议使用外部的、实现了事件触发器接口的库,例如 mitt 或 tiny-emitter。 比起 Vue…

rtos最小任务切换的实现 keil软件仿真 stm32 PendSV

最小任务切换的实现 本例子实现了一个 rtos 最小的任务切换功能,使用 keil 仿真功能,在模拟的 stm32f103 的器件上实现了使用 PendSV 中断切换线程的效果。 git 源码仓库:https://github.com/yutianos/rtos-little 本文链接:csdn…

数学函数,字符串

目录 Math类 三角函数 指数函数 取整方法 其他方法 String类 常见方法 字符串比较方法 子串和数字与字符串的转换 Math类 Math类在java.lang中,不用显式引入。 三角函数 private static void triangleFunc() {double degree Math.toDegrees(Math.PI / 3…

神经网络与深度学习——第4章 前馈神经网络

本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第4章 前馈神经网络 前馈神经网络 神经元 Sigmoid型函数 Hard-Logistic函数和Hard-Tanh函数 ReLU函数 带泄露的ReLU 带参数的ReLU ELU函数 Softplus函数 Swish函数 GELU函数 Maxout单元 网络结构 前馈网络…

Qt图像处理技术九:得到QImage图像的灰度直方图

效果 原理 得到灰度化值&#xff0c;将灰度化的值带入0-255内&#xff0c;增加&#xff0c;得到可视化图形 源码 // 绘制直方图 QImage drawHistogram(const QImage &image) {QVector<int> histogram(256, 0);// 计算图像的灰度直方图for (int y 0; y < image…

【SpringBoot】SpringBoot整合JWT

目录 先说token单点登录&#xff08;SSO&#xff09;简介原理单点登录的优势单点登录流程分布式单点登录方式方式一&#xff1a;session广播机制实现方式二&#xff1a;使用cookieredis实现。方式三&#xff1a;token认证 JWT数字签名JWT的作用JWT和传统Session1、无状态&#…

linux nohup命令详解:持久运行命令,无视终端退出

nohup &#xff08;全称为 “no hang up”&#xff09;&#xff0c;用于运行一个命令&#xff0c;使其在你退出 shell 或终端会话后继续运行。 基本语法 nohup command [arg1 ...] [&> output_file] &command 是你想要运行的命令。[arg1 ...] 是该命令的参数。&am…

微服务学习Day8

文章目录 Sentinel雪崩问题服务保护框架Sentinel配置 限流规则快速入门流控模式流控效果热点参数限流 隔离和降级FeignClient整合Sentinel线程隔离&#xff08;舱壁模式&#xff09;熔断降级 授权规则及规则持久化授权规则自定义异常结果持久化 Sentinel 雪崩问题 服务保护框架…

让WSL内核使用BBR拥塞控制算法

使用git命令从Linux内核的Git仓库中获取源代码,$ git clone --depth 1 https://github.com/microsoft/WSL2-Linux-Kernel.git,找到对应的内核版本$ git log --grep="5.15.146.1-microsoft-standard-WSL2",回退到本机安装的内核版本$ git checkout <commit-id&…