【基础篇】四、本地部署Flink

文章目录

  • 1、本地独立部署会话模式的Flink
  • 2、本地独立部署会话模式的Flink集群
  • 3、向Flink集群提交作业
  • 4、Standalone方式部署单作业模式
  • 5、Standalone方式部署应用模式的Flink

Flink的常见三种部署方式：

  • 独立部署（Standalone部署）
  • 基于K8S部署
  • 基于Yarn部署

1、本地独立部署会话模式的Flink

独立部署就是独立运行，即Flink自己管理Flink资源，不依靠任何外部的资源管理平台，比如K8S或者Hadoop的Yarn，当然，独立部署的代价就是：如果资源不足，或者出现故障，没有自动扩展或重分配资源的保证，必须手动处理，生产环境或者作业量大的场景下不建议采用独立部署。

  • 下载安装包
# 下载地址：
https://archive.apache.org/dist/flink/flink-1.17.0/

flink-1.17.0-bin-scala_2.12.tgz
  • 上传安装包到Linux节点服务器上的某目录：
/opt/moudle/flink-1.17.0-bin-scala_2.12.tgz
  • 解压
tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/
  • 启动，进入安装目录执行start-cluster.sh
[code9527@node01 flink-1.17.0]  bin/start-cluster.sh

在这里插入图片描述

  • 访问WebUI，对Flink集群进行监控管理
http://IP:8081

在这里插入图片描述

独立安装会话模式的Flink成功，控制台中，可以看到，TaskManager的数量为1（本来就一台机器，一个节点），由于默认每个TaskManager的Slot数量为1，所以总Slot数和可用Slot数都为1。最后，可停止集群：

[code9527@node01 flink-1.17.0]  /bin/stop-cluster.sh

可能遇到的坑：

坑1：

start-cluster.sh执行报错：Please specify JAVA_HOME. Either in Flink config ./conf/flink-conf.yaml or as system-wide JAVA_HOME.

原因：未安装Java环境

yum install -y java-1.8.0-openjdk.x86_64

坑2：

http://IP:8081访问不通

处理下防火墙：

firewall-cmd --add-port 8081/tcp --permanentfirewall-cmd --reload

2、本地独立部署会话模式的Flink集群

上面部署的单机Flink，当你有多台服务器，要部署一个集群时，大体流程和上面一样。假设有三台服务器，角色分配规划如下：

在这里插入图片描述

节点服务器node-01node-02node-03
角色JobManager+TaskManagerTaskManagerTaskManager

主节点上的操作：

  • 上传安装包到Linux节点服务器上的某目录：
/opt/moudle/flink-1.17.0-bin-scala_2.12.tgz
  • 解压
tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/
  • 进入解压目录/conf目录，修改flink-conf.yaml文件
vi flink-conf.yaml# 修改内容如下：
# JobManager节点地址，我写了IP，这里IP或者hostname都行
jobmanager.rpc.address: node-01  
jobmanager.bind-host: 0.0.0.0
rest.address: node-01
rest.bind-address: 0.0.0.0
# TaskManager节点地址.需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0    
taskmanager.host: node-01
  • 其他可选配置：在flink-conf.yaml文件中还可以对集群中的JobManager和TaskManager组件进行优化配置
- jobmanager.memory.process.size：对JobManager进程可使用到的全部内存进行配置，包括JVM元空间和其他开销，默认为1600M，可以根据集群规模进行适当调整。- taskmanager.memory.process.size：对TaskManager进程可使用到的全部内存进行配置，包括JVM元空间和其他开销，默认为1728M，可以根据集群规模进行适当调整。- taskmanager.numberOfTaskSlots：对每个TaskManager能够分配的Slot数量进行配置，默认为1，可根据TaskManager所在的机器能够提供给Flink的CPU数量决定。所谓Slot就是TaskManager中具体运行一个任务所分配的计算资源。- parallelism.default：Flink任务执行的并行度，默认为1。优先级低于代码中进行的并行度配置和任务提交时使用参数指定的并行度数量。
  • 修改workers文件，指定干活儿的节点TaskManager的信息，这里是node01和另外两台主机02、03
[code9527@node01 conf] vi workers# 修改如下内容：
node-01
node-02
node-03# 用IP也行，这就是上面单机我也用用IP，而不用默认localhost的原因，多节点下看着乱得很
  • 修改masters文件
vi masters# 修改内容，hostname也行
node-01:8081

至于两个Task的从节点，直接把上面改好的Flink安装目录拷贝或分发给另外两个节点服务器：

# node02、node03上建好/opt/moudle/flink-1.17.0/目录后，01节点执行
scp /opt/moudle/flink-1.17.0 root@node02:/opt/moudle/flink-1.17.0/
scp /opt/moudle/flink-1.17.0 root@node03:/opt/moudle/flink-1.17.0/

再修改node02的taskmanager.host：

# conf目录下
vim flink-conf.yaml# 改为：
taskmanager.host: node02  # IP或hostname

再修改node03的taskmanager.host：

# conf目录下
vim flink-conf.yaml# 改为：
taskmanager.host: node03  # IP或hostname

回node01启动，执行start-cluster.sh

[code9527@node01 flink-1.17.0]  bin/start-cluster.sh

此时，在控制台，应该可以看到当前集群的TaskManager数量为3，总Slot数和可用Slot数都为3

3、向Flink集群提交作业

上一篇，写了读取socket发送的单词并统计单词个数的程序，这里演示将它提交到集群中年去执行，首先将程序打包，在pom.xml中添加打包插件：

<build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-shade-plugin</artifactId><version>3.2.4</version><executions><execution><phase>package</phase><goals><goal>shade</goal></goals><configuration><artifactSet><excludes><exclude>com.google.code.findbugs:jsr305</exclude><exclude>org.slf4j:*</exclude><exclude>log4j:*</exclude></excludes></artifactSet><filters><filter><!-- Do not copy the signatures in the META-INF folder.Otherwise, this might cause SecurityExceptions when using the JAR. --><artifact>*:*</artifact><excludes><exclude>META-INF/*.SF</exclude><exclude>META-INF/*.DSA</exclude><exclude>META-INF/*.RSA</exclude></excludes></filter></filters><transformers combine.children="append"><transformerimplementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"></transformer></transformers></configuration></execution></executions></plugin></plugins>
</build>

打包，指令或者IDEA页面上操作：

mvn clean
mvn package

打包完成后，在target目录下即可找到所需JAR包，JAR包会有两个，一个原始包，一个带依赖的包（类似SpringBoot打包插件），因为集群中已经具备任务运行所需的所有依赖，所以建议使用原始包original-xxx.jar。下面打开Flink的控制台，在右侧导航栏点击“Submit New Job”，然后点击按钮“+ Add New”，选择要上传运行的JAR包：

在这里插入图片描述

点击该JAR包，出现任务配置页面，进行相应配置：

在这里插入图片描述
点Submit提交作业（点Submit没反应参考【这篇】），导航栏的Running Jobs可查看程序运行列表情况

在这里插入图片描述

在Flink程序里写的Linux主机里开启端口监听，并在socket端口中输入一些字符串：

在这里插入图片描述

先点击Task Manager侧边栏，再切StdOut的tab页，点刷新，可以看到运行成功：

在这里插入图片描述

先取消任务，接下来用命令行提交任务：

在这里插入图片描述
使用命令行提交，会话模式下还是先启动集群：

bin/start-cluster.sh

进入flink安装目录/opt/module/flink-1.17.0，把前面的jar包上传到该目录下，执行flink run指令提交作业

bin/flink run -m 10.4.95.27:8081 -c com.plat.count.SocketStreamWordCount ./FlinkService-1.0-SNAPSHOT.jar#  -m指定了提交到的JobManager
# -c指定了入口类

提交成功：

在这里插入图片描述
此时web控制台还是可以看到同样的效果，且/opt/module/flink-1.17.0/log路径中，也可以查看TaskManager的输出：

[root@node-105-69 log] cat flink-atguigu-standalonesession-0-node-105-69.out(hello,1)
(hello,2)
(flink,1)
(hello,3)
(scala,1)

4、Standalone方式部署单作业模式

部署不了单作业模式，前面说了，Standalone方式下，Flink并不支持单作业模式部署。因为单作业模式需要借助一些资源管理平台，比如K8S

5、Standalone方式部署应用模式的Flink

应用模式下不会提前创建集群，所以不能调用start-cluster.sh脚本。需要使用同样在bin目录下的standalone-job.sh来创建一个JobManager

# 先停掉会话模式
[root@node-105-69 flink-1.17.0] bin/stop-cluster.sh

# 继续开启对应的Linux主机的netcat
nc -lk 9527

将上面的安装包放到flink的lib目录下

[root@node-105-69 flink-1.17.0] mv FlinkService-1.0-SNAPSHOT.jar lib/

启动JobManager，这里我们直接指定作业入口类，脚本会到lib目录扫描所有的jar包

[root@node-105-69 flink-1.17.0] bin/standalone-job.sh start --job-classname com.plat.count.SocketStreamWordCount

启动TaskManager：（独立部署，这个时候干活的Task是手动起的）

[root@node-105-69 flink-1.17.0] bin/taskmanager.sh start

发送数据到9527端口：

在这里插入图片描述

查看控制台：

在这里插入图片描述

停掉集群：

bin/taskmanager.sh stop

bin/standalone-job.sh stop

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/106305.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

使用Tortoisegit界面拉起master主分支以副分支以及命令行操作

使用Tortoisegit界面拉起master主分支以副分支以及命令行操作

文章目录 1、Gui操作界面2、命令行操作3、合并分支到master分支上面 1、Gui操作界面 "小乌龟"通常指的是Git的图形用户界面&#xff08;GUI&#xff09;工具&#xff0c;其中比较常见的是TortoiseGit。下面是使用TortoiseGit来拉取&#xff08;checkout&#xff09;一…
阅读更多...
数据结构（一）—— 数据结构简介

数据结构（一）—— 数据结构简介

文章目录 一、基本概念和术语&#xff1f;1.1、数据1.2、数据元素1.3、数据项&#xff08;属性、字段&#xff09;1.4、数据对象1.5、数据结构 二、逻辑结构和物理结构&#xff08;存储结构&#xff09;2.1、逻辑结构1、定义2、分类&#xff08;线性结构和非线性结构&#xff0…
阅读更多...
Netty 入门 — 亘古不变的Hello World

Netty 入门 — 亘古不变的Hello World

这篇文章我们正式开始学习 Netty&#xff0c;在入门之前我们还是需要了解什么是 Netty。 什么是 Netty 为什么很多人都推崇 Java boy 去研究 Netty&#xff1f;Netty 这么高大上&#xff0c;它到底是何方神圣&#xff1f; 用官方的话说&#xff1a;Netty 是一款异步的、基于事…
阅读更多...
vue绑定style和class 对象写法

vue绑定style和class 对象写法

适用于&#xff1a;要绑定多个样式&#xff0c;个数确定&#xff0c;名字也确定&#xff0c;但不确定用不用。 绑定 class 样式【对象写法】&#xff1a; .box{width: 100px;height: 100px; } .aqua{background-color: aqua; } .border{border: 20px solid red; } .radius{bor…
阅读更多...
【动态库】Ubuntu 添加动态库的搜索路径

【动态库】Ubuntu 添加动态库的搜索路径

在运行程序时&#xff0c;经常遇到下面这种动态库加载失败的情况&#xff0c;这时往往是系统在动态库的搜索路径下没有找到对应的库文件导致的。 目录 一、使用 LD_LIBRARY_PATH 二、修改 /etc/ld.so.conf 一、使用 LD_LIBRARY_PATH 环境变量 LD_LIBRARY_PATH是动态库的搜索…
阅读更多...
Jenkins集成newman

Jenkins集成newman

一、Docker环境准备 二、Jenkins环境准备 三、登录Jenkins 安装NodeJs插件 四、Jenkins全局工具配置Nodejs 五、创建Jenkins自由风格项目 构建步骤1&#xff1a;选择Execute NodeJS script构建步骤2&#xff1a;选择执行shell脚本 六、将postman相关的脚本、环境变量数据、全局…
阅读更多...
Java反射调用jar包

Java反射调用jar包

反射作为托管语言的特性&#xff0c;很多框架都依赖反射来实现容器和面向接口编程&#xff0c;对架构程序很重要&#xff0c;首先试验Java的反射部分。 首先创建一个ZLZJar的工程&#xff0c;让他打包成jar包&#xff0c;代码如下 public class Test {//加两个整数public int…
阅读更多...
ELK 日志分析系统介绍与部署

ELK 日志分析系统介绍与部署

目录 一、ELK 简介: 1.开源工具介绍&#xff1a; 2.其它组件&#xff1a; 2.1 Filebeat&#xff1a; 2.2 Fluentd&#xff1a; 2.3 缓存/消息队列&#xff08;redis、kafka、RabbitMQ等&#xff09;&#xff1a; 3. filebeat 结合 logstash 带来好处&#xff1a; 二、为什么要…
阅读更多...
[0xGameCTF 2023] web题解

[0xGameCTF 2023] web题解

文章目录 [Week 1]signinbaby_phphello_httprepo_leakping [Week 2]ez_sqli方法一&#xff08;十六进制绕过&#xff09;方法二&#xff08;字符串拼接&#xff09; ez_upload [Week 1] signin 打开题目&#xff0c;查看下js代码 在main.js里找到flag baby_php <?php /…
阅读更多...
云安全——云计算基础

云安全——云计算基础

0x00 前言 学习云安全&#xff0c;那么必然要对云计算相关的内容进行学习和了解&#xff0c;所以云安全会分为两个部分来进行&#xff0c;首先是云计算先关的内容。 0x01 云计算 广泛传播 云计算最早大范围传播是2006年&#xff0c;8月&#xff0c;在圣何塞【1】举办的SES&a…
阅读更多...
【Vue面试题二十八】、vue要做权限管理该怎么做？如果控制到按钮级别的权限怎么做？

【Vue面试题二十八】、vue要做权限管理该怎么做？如果控制到按钮级别的权限怎么做？

文章底部有个人公众号&#xff1a;热爱技术的小郑。主要分享开发知识、学习资料、毕业设计指导等。有兴趣的可以关注一下。为何分享&#xff1f; 踩过的坑没必要让别人在再踩&#xff0c;自己复盘也能加深记忆。利己利人、所谓双赢。 面试官&#xff1a;vue要做权限管理该怎么做…
阅读更多...
【Java 进阶篇】JavaScript电灯开关案例：从原理到实现

【Java 进阶篇】JavaScript电灯开关案例：从原理到实现

JavaScript是一门强大的编程语言&#xff0c;它可以用来创建各种交互式网页应用。在这篇博客中&#xff0c;我们将通过一个简单的电灯开关案例来深入了解JavaScript的基础概念&#xff0c;包括HTML、CSS和JavaScript的结合使用。我们将从头开始构建这个案例&#xff0c;逐步引入…
阅读更多...
PYTHON进阶-面向对象编程

PYTHON进阶-面向对象编程

&#x1f308;write in front&#x1f308; &#x1f9f8;大家好&#xff0c;我是Aileen&#x1f9f8;.希望你看完之后&#xff0c;能对你有所帮助&#xff0c;不足请指正&#xff01;共同学习交流. &#x1f194;本文由Aileen_0v0&#x1f9f8; 原创 CSDN首发&#x1f412; 如…
阅读更多...
windows计划任务的配置文件

windows计划任务的配置文件

界面操作 创建计划 依次设置 命令行操作 SCHTASKS 命令简介 SCHTASKS 命令是由微软公司开发并内置于 Windows 系统中的一个命令行工具。该命令可用于设置、修改、查询和删除计划任务&#xff0c;或启动计划任务中所定义的程序或脚本。 SCHTASKS 命令的基本语法 SCHTASKS 命…
阅读更多...
多输入多输出 | MATLAB实现CNN-BiLSTM-Attention卷积神经网络-双向长短期记忆网络结合SE注意力机制的多输入多输出预测

多输入多输出 | MATLAB实现CNN-BiLSTM-Attention卷积神经网络-双向长短期记忆网络结合SE注意力机制的多输入多输出预测

MATLAB实现CNN-BiLSTM-Attention卷积神经网络-双向长短期记忆网络结合SE注意力机制的多输入多输出预测 目录 MATLAB实现CNN-BiLSTM-Attention卷积神经网络-双向长短期记忆网络结合SE注意力机制的多输入多输出预测预测效果基本介绍程序设计往期精彩参考资料 预测效果 基本介绍 C…
阅读更多...
SpringBoot面试题1：什么是SpringBoot？为什么要用SpringBoot？

SpringBoot面试题1：什么是SpringBoot？为什么要用SpringBoot？

该文章专注于面试，面试只要回答关键点即可，不需要对框架有非常深入的回答，如果你想应付面试，是足够了，抓住关键点 面试官：什么是SpringBoot？ Spring Boot 是一个用于快速开发独立的、基于 Spring 框架的应用程序的开源框架。它简化了 Spring 应用的配置和部署过程，使…
阅读更多...
基于秃鹰优化的BP神经网络（分类应用） - 附代码

基于秃鹰优化的BP神经网络（分类应用） - 附代码

基于秃鹰优化的BP神经网络&#xff08;分类应用&#xff09; - 附代码 文章目录 基于秃鹰优化的BP神经网络&#xff08;分类应用&#xff09; - 附代码1.鸢尾花iris数据介绍2.数据集整理3.秃鹰优化BP神经网络3.1 BP神经网络参数设置3.2 秃鹰算法应用 4.测试结果&#xff1a;5.M…
阅读更多...
智慧公厕高精尖技术揭秘，让卫生管理更智能、更舒适

智慧公厕高精尖技术揭秘，让卫生管理更智能、更舒适

随着科技的飞速发展&#xff0c;智慧公厕正逐渐走进人们的生活。借助物联网、互联网、云计算、大数据、人工智能、自动化控制等技术的应用&#xff0c;智慧公厕将卫生管理提升到一个全新的水平&#xff0c;为公众打造了清洁舒适的使用环境。本文以智慧公厕源头厂家广州中期科技…
阅读更多...
【Vue面试题二十九】、Vue项目中你是如何解决跨域的呢？

【Vue面试题二十九】、Vue项目中你是如何解决跨域的呢？

文章底部有个人公众号&#xff1a;热爱技术的小郑。主要分享开发知识、学习资料、毕业设计指导等。有兴趣的可以关注一下。为何分享&#xff1f; 踩过的坑没必要让别人在再踩&#xff0c;自己复盘也能加深记忆。利己利人、所谓双赢。 面试官&#xff1a;Vue项目中你是如何解决跨…
阅读更多...
C# OpenVINO 通用OCR识别 文字识别 中文识别 服务

C# OpenVINO 通用OCR识别 文字识别 中文识别 服务

软件说明 基于以下开源项目&#xff0c;做了再次封装 https://github.com/sdcb/OpenVINO.NET 自带模型&#xff0c;可离线部署&#xff1b; 技术路线&#xff1a;VS2022Sdcb.OpenVINOSdcb.OpenVINO.PaddleOCROpenCvSharpNLogNancy.Hosting.Self 软件界面 开启服务 测试 耗时…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023