【快捷部署】002_Flink(1.17.2)

📣【快捷部署系列】002期信息

编号选型版本操作系统部署形式部署模式
002Flink1.17.2CentOS 7.Xtgz包单机

👉 演示视频


Flink一键安装(本地模式)


install-flink.sh 脚本内容

#!/bin/bash
####变量
###执行脚本的当前目录
mydir=$(cd "$(dirname "$0")";pwd)
echo $mydir
#flink安装目录
flink=/flink
#检查点目录
cp=$flink/checkpoints/
#保留点目录
sp=$flink/savepoints/
#tasknumber数量
tasknumber=5
#配置检查点的间隔时间
eci=5
#配置最大并发的检查点数量
ecm=2
#配置保留点的间隔时间
esi=11
#重新启动任务的最大次数
rfa=10000
#重新启动任务之前等待的时间间隔
rfd=1#########################################################################################flink安装目录
mkdir -p $flink
#检查点目录
mkdir -p $cp
#保留点目录
mkdir -p $sp#安装openjdk-1.8
yum install -y java-1.8.0-openjdk-1.8.0.392.b08-2.el7_9.x86_64##下载flink安装包并解压
wget https://repo.huaweicloud.com/apache/flink/flink-1.17.2/flink-1.17.2-bin-scala_2.12.tgz -P $flink
tar -xvf $flink/flink-1.17.2-bin-scala_2.12.tgz -C $flink
#编辑flink配置文件
sed -i -e 's|taskmanager.numberOfTaskSlots:.*|taskmanager.numberOfTaskSlots: '$tasknumber'|g' $flink/flink-1.17.2/conf/flink-conf.yaml
sed -i -e 's|rest.bind-address:.*|rest.bind-address: 0.0.0.0|g' $flink/flink-1.17.2/conf/flink-conf.yaml
sed -i -e '$a #配置检查点目 \nstate.checkpoints.dir: file://'$cp' \n# 配置检查点的间隔时间 \nexecution.checkpointing.interval: '$eci' s \n#配置最大并发的检查点数量 \nexecution.checkpointing.max-concurrent-checkpoints: '$ecm' \n#保留checkpoint数据 \nexecution.checkpointing.externalized-checkpoint-retention: RETAIN_ON_CANCELLATION \n# 配置保存点目录 \nstate.savepoints.dir: file://'$sp' \nexecution.savepoints.interval: '$esi' s \n# 自定义重启策略和故障恢复策略, \nrestart-strategy.fixed-delay.attempts: '$rfa' \nrestart-strategy.fixed-delay.delay: '$rfd' s' $flink/flink-1.17.2/conf/flink-conf.yaml#下载依赖包
#进入flink安装目录,下载jar包到flink的lib目录下
cd $flink/flink-1.17.2/lib
wget https://maven.aliyun.com/repository/public/com/ververica/flink-sql-connector-mysql-cdc/2.4.0/flink-sql-connector-mysql-cdc-2.4.0.jar
wget https://maven.aliyun.com/repository/public/org/apache/flink/flink-shaded-zookeeper-3/3.4.14-11.0/flink-shaded-zookeeper-3-3.4.14-11.0.jar 
wget https://maven.aliyun.com/repository/public/org/apache/flink/flink-sql-connector-hbase-2.2/1.17.2/flink-sql-connector-hbase-2.2-1.17.2.jar
wget https://maven.aliyun.com/repository/public/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-10.0/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
wget https://maven.aliyun.com/repository/public/com/huaweicloud/dws/dws-connector-flink_2.12_1.15/1.0.10/dws-connector-flink_2.12_1.15-1.0.10-jar-with-dependencies.jar
wget https://maven.aliyun.com/repository/public/com/ververica/flink-sql-connector-mongodb-cdc/3.0.0/flink-sql-connector-mongodb-cdc-3.0.0.jar
wget https://maven.aliyun.com/repository/public/org/apache/doris/flink-doris-connector-1.17/1.4.0/flink-doris-connector-1.17-1.4.0.jar
#修改config.sh的Java路径
sed -i -e 's|JAVA_RUN="$JAVA_HOME"/bin/java|JAVA_RUN="$JAVA_HOME"/jre/bin/java|g' $flink/flink-1.17.2/bin/config.sh
#启动flink任务
$flink/flink-1.17.2/bin/start-cluster.sh 
###### 登录UI界面:http://eip:端口(默认端口8081)
$ vim install-flink.sh
# 进入vim,输入i,进入编辑模式,copy上方脚本,Esc --> 输入“:wq!”
$ chmod +x install-flink.sh
$ ./install-flink.sh

验证:

安装成功后,访问:http://eip:8081


# 执行测试job,查看效果
$ cd /flink/flink-1.17.2
$ ./bin/flink run examples/streaming/WordCount.jar
# 执行后,去WEB UI界面查看效果
# 感谢淘客科技提供的实验资源环境

flink.png


官方中文文档地址:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/try-flink/local_installation/


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/748730.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【linux】搜索所有目录和子目录下的包含.git的文件并删除

一、linux命令搜索所有目录和子目录下的包含.git的文件 在Linux系统中,要搜索所有目录和子目录下的包含.git的文件,可以使用find命令。find命令允许指定路径、表达式和操作来查找文件。 以下是使用find命令搜索包含.git的文件的方法: 1. 基…

权衡后台数据库设计中是否使用外键

目录 引言 外键简介 对比 真实后台项目中的权衡 结论 引言 在大学学习数据库课程时,我们会早早的接触到外键这一概念,同时我相信大部分人在懂了外键的概念后都会觉得外键很重要,在涉及多表一定要用,但后来在我接触到真实项目…

oracle基础-子查询 备份

一、什么是子查询 子查询是在SQL语句内的另外一条select语句,也被称为内查询活着内select语句。在select、insert、update、delete命令中允许是一个表达式的地方都可以包含子查询,子查询也可以包含在另一个子查询中。 【例1.1】在Scott模式下&#xff0…

Vue生成Canvas二维码

npm install qrcode在Vue组件中引入QRCode库:import QRCode from qrcode;在Vue组件的methods中创建一个方法来生成二维码: generateQRCode() {const canvas this.$refs.qrCodeCanvas; // 获取canvas DOM元素的引用const text Hello, World!; // 要生成…

JVM理解学习

参考视频 运行时数据区 JVM架构总览图 绿色的:方法区,堆,是所有线程共享的 黄色的: 虚拟机栈,本地方法栈,程序计数器,是线程私有的 程序计数器 程序计数器是一块较小的内存空间,物…

SpringBoot(异常处理)

SpringBoot(异常处理) 1.基本介绍 2.debug异常处理机制 1.找到 DefaultErrorViewResolver 2.下断点 3.debug启动,浏览器输出一个不存在的页面 4.第一次查找 error/404 1.查看目前要找的视图名 2.准备去查找资源 3.准备从四个默认存放静态资…

AcWing.505 火柴排队(离散化逆序对)

题目 涵涵有两盒火柴,每盒装有 n  根火柴,每根火柴都有一个高度。 现在将每盒中的火柴各自排成一列,同一列火柴的高度互不相同,两列火柴之间的距离定义为: ∑i1n(ai−bi)2 其中 ai表示第一列火柴中第 i个火柴的…

[COCI2016-2017#2] Prosječni 解题记录

[COCI2016-2017#2] Prosječni 解题记录 题意简述 构造一个 n n n \times n nn 的矩阵,使得每一行/列的平均都在这一行/列当中,并且矩阵内各个数字不相同。 题目分析 观察样例就可以轻松发现:当 n n n 为奇数时,矩阵内的各个…

开源漏扫工具:DependencyCheck

开源漏扫工具:DependencyCheck Dependency-Check 是 OWASP(Open Web Application Security Project)的一个实用开源程序,用于识别项目依赖项并检查是否存在任何已知的,公开披露的漏洞。 DependencyCheck是一个开源的…

【并查集】模版

【模板】并查集 - 洛谷 #include <bits/stdc.h> using namespace std; const int N2e59; int a[N]; int Find(int x) {if(xa[x]){return x;}else{a[x]Find(a[x]);return a[x];} } void push(int x,int y) {a[Find(x)]Find(y);return ; } int main() {int n,m; cin>>…

vsto 多插件通信

if (Target.Column 5){Thread.Sleep(5000);Target.Interior.ColorIndex 55;//触发另外一个插件Target.Application.Calculation XlCalculation.xlCalculationAutomatic;Thread.Sleep(5000);//这行执行完之后&#xff0c;才会触发另外一个Target.Interior.ColorIndex 54;} …

Python win32com.client.Dispatch打开Word文档并导出为 PDF时失败Command failed

Python win32com.client.Dispatch打开Word文档并导出为 PDF时失败Command failed 输出异常&#xff1a; (-2147352567, Exception occurred., (0, uMicrosoft Word, uCommand failed, uwdmain11.chm, 36966, -2146824090), None)调试之后&#xff0c;主要是下面几个原因: 路径…

前端实例:页面布局1(后端数据实现)

效果图 注&#xff1a;这里用到后端语言php&#xff08;页面是.php文件&#xff09;,提取纯html也可以用 inemployee_index.php <?php include(includes/session.inc); $Title _(内部员工首页); $ViewTopic 内部员工首页; $BookMark 内部员工首页; include(includes/…

Vue学习日记 Day6 —— Vuex

一、vuex概述 1、目标&#xff1a;明确vuex是什么&#xff0c;应用场景&#xff0c;优势 2、是什么&#xff1a;vuex是一个vue的状态管理工具&#xff0c;状态就是数据 (简述&#xff1a;vuex是一个插件&#xff0c;可以帮我们管理vue通用的数据) 3、场景&#xff1a; (1)…

物理隔离条件下,如何安全高效地进行内外网文件导入导出?

内外网文件导入导出通常指的是在内部网络&#xff08;内网&#xff09;和外部网络&#xff08;外网&#xff09;之间传输文件的过程。这在企业环境中尤其常见&#xff0c;因为内部网络通常包含敏感数据&#xff0c;而外部网络&#xff08;如互联网&#xff09;则允许更广泛的访…

基于 Spark 的电商用户行为分析系统

摘 要 针对传统的大数据处理框架 Hadoop 在执行计算任务时抽象层次低、运行速度慢、无法实时计算等问题, 提出了一种基于内存的分布式框架 Spark 作为计算引擎的方法。结合 Hadoop 框架中的分布式文件存储 技术,设计了一个电商用户行为分析系统。首先根据数据特点建立用户画…

生成对抗网络(GANs):技术演化与广泛应用

目录 前言1 技术原理1.1 基本构成1.2 训练过程1.3 数学原理 2 应用领域2.1 图像合成2.2 数据增强2.3 风格迁移2.4 超分辨率 结论 前言 生成对抗网络&#xff08;GANs&#xff09;&#xff0c;自2014年由Ian Goodfellow及其同事首次提出以来&#xff0c;已经引起了广泛的关注和…

JavaScript进阶:js的一些学习笔记-4

文章目录 1. 拷贝1. 浅拷贝2. 深拷贝 2. 异常处理 1. 拷贝 这里指的拷贝是指拷贝引用类型的数据(对象) 1. 浅拷贝 拷贝对象&#xff1a;Object.assign() 或者 {…obj} 展开运算符 const obj {name:liuze,age:23 } const o {...obj}; o.age 22; console.log(o); console.…

Sparse Convolution 讲解

文章目录 1. 标准卷积与Sparse Conv对比(1)普通卷积(2) 稀疏卷积(3) 改进的稀疏卷积(subm)2 Sparse Conv 官方API3. Sparse Conv 计算3. 1 Sparse Conv 计算流程3. 2 案例3.2.1 普通稀疏卷积3.2.2 subm模式的稀疏卷积3D点云数据非常稀疏,尤其体素化处理后(比如200k的点放…

【spring】@PropertySource 注解学习

PropertySource介绍 PropertySource是Spring框架中的一个注解&#xff0c;主要用于Java配置类中&#xff0c;用于引入额外的属性文件&#xff0c;以便在Spring应用上下文中使用这些属性。 在Spring 3.1引入Java配置后&#xff0c;我们可以通过Configuration注解的类和Bean注解…