Flink独立集群+Flink整合yarn

Flink独立集群的搭建:

1、上传解压配置环境变量

# 1、解压
tar -xvf flink-1.15.4-bin-scala_2.12.tgz # 2、修改环境变量
export FLINK_HOME=/usr/local/soft/flink-1.15.4
export PATH=$PATH:$FLINK_HOME/bin

2、修改配置文件

cd /usr/local/soft/flink-1.15.4/conf/# 1、flink-conf.yaml
jobmanager.rpc.address: master
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
# taskmanager.host需要在node1和node2中修改
taskmanager.host: node1/node2
taskmanager.numberOfTaskSlots: 4
rest.address: master
rest.bind-address: 0.0.0.0# 2、masters
master:8081# 3、workers
node1
node2

3、同步到所有节点

scp -r flink-1.15.4 node1:`pwd`
scp -r flink-1.15.4 node2:`pwd`# 需要在node1和node2中修改
taskmanager.host: node1/node2

4、启动Flink独立集群

#启动
start-cluster.sh
#停止
stop-cluster.sh
#启动后可访问的页面
http://master:8081

5、提交任务

1、在命令行提交任务

# 1、上传jar包
# 提交任务  flink run -c 主类名 jar包名
flink run -c Demo9Submit flink-1.0.jar

2、在master:8081页面中直接提交

Flink整合yarn:

1、配置hadoop_classpath

# 修改配置文件
vim /etc/profileexport HADOOP_CLASSPATH=`hadoop classpath`source /etc/profile

2、启动hadoop

start-all.sh

3、提交任务

1、application mode

1、在本地看不到详细的错误日志

2、dataflow流程图不在本地构建,在JobManager中构建

3、主要用于和云计算K8S整合用的

4、每个任务单独启动JM和TM,任务直接相互独立,互不影响

flink run-application -t yarn-application -c Demo9Submit flink-1.0.jar# 查看日志
yarn logs -applicationId application_1730969357243_0003

2、per job cluster mode

1、在本地可以看到错误日志

2、在本地构建dataflow流程图

3、每个任务单独启动JM和TM,任务直接相互独立,互不影响

flink run -t yarn-per-job -c Demo9Submit flink-1.0.jar

3、session mode

1、多个任务公用一个JobManager

1、启动session集群
yarn-session.sh -d
2、提交任务
flink run -t yarn-session -Dyarn.application.id=application_1730969357243_0005 -c 
Demo9Submit flink-1.0.jar

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/60435.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SwiftUI-基础入门

开发OS X 图形应用界面时有三种实现方式:XIB、Storyboard、SwiftUI。Storyboard基于XIB做了优化,但XIB基本被放弃了,而SwiftUI是苹果公司后来开发的一套编程语言,用来平替Objective-C。虽然现在Swift 6 还是有些不完善的地方&…

string------1

文章目录 一. STL1.概念2.版本 二. string类2.1 为什么学习string类2. 标准库中的string类2.2.1 构造(7个)2.2.2 对string类对象进行“访问和修改”(1)operator[](2)迭代器1.迭代器的使用2.迭代器的价值&am…

css-50 Projects in 50 Days(3)

html <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>旋转页面</title><link rel"sty…

【线性代数\矩阵论】矩阵逆引理证明、应用

矩阵逆引理证明、应用 矩阵求逆引理要解决的问题是&#xff1a;减少矩阵求逆的计算量。已知一个矩阵 A A A及其逆矩阵 A − 1 A^{-1} A−1&#xff0c;当矩阵产生了变化时&#xff0c;例如增加一个扰动 P P P&#xff0c;能不能根据已知的逆矩阵 A − 1 A^{-1} A−1&#xff0c…

1111111111待修改--大流量分析(三)-BUUCTF

总结摘要 题目来来源URL https://buuoj.cn/challenges#%E5%A4%A7%E6%B5%81%E9%87%8F%E5%88%86%E6%9E%90%EF%BC%88%E4%B8%89%EF%BC%89 答题过程 这道题是看大佬写着说查找phpinfo&#xff0c;我现在也不知道为什么能够一下子就定位到这里了 这里先按照phpinfo进行&#xff…

OCRSpace申请free api流程

0.OCRSpace概述 OCR.Space是一款功能强大的在线光学字符识别&#xff08;OCR&#xff09;工具。 格式与语言支持广泛&#xff1a;支持多种图片格式&#xff0c;如 JPG、PNG、GIF、PDF 等作为输入。在语言方面&#xff0c;它支持英语、中文、法语、德语等20多种语言的文字识别…

UVC 输出视频格式修改和windows下数据分析

文章目录 前言一、UVC MJPEG视频帧描述符1.MJPG视频帧格式示例 二、UVC YUV2、NV12、M420、I420无压缩视频帧描述符GUID1.如YUV2数据参数初始为: 三、UVC Windows下UVC摄像头数据分析总结 前言 提示&#xff1a;这里可以添加本文要记录的大概内容&#xff1a; 项目需要&#…

C语言 | Leetcode C语言题解之第552题学生出勤记录II

题目&#xff1a; 题解&#xff1a; const int MOD 1000000007;struct Matrix {long mat[6][6];int row, col; };struct Matrix multiply(struct Matrix a, struct Matrix b) {int rows a.row, columns b.col, temp b.row;struct Matrix c;memset(c.mat, 0, sizeof(c.mat)…

本地编译ChatNio的问题解决

编译安装 部署成功后, 默认端口为 8094, 访问地址为 http://localhost:8094 Config 配置项 (~/config/config.yaml) 可以使用环境变量进行覆盖, 如 MYSQL_HOST 环境变量可覆盖 mysql.host 配置项 git clone https://github.com/Deeptrain-Community/chatnio.git cd chatniocd a…

【Linux系统编程】第四十六弹---线程同步与生产消费模型深度解析

✨个人主页&#xff1a; 熬夜学编程的小林 &#x1f497;系列专栏&#xff1a; 【C语言详解】 【数据结构详解】【C详解】【Linux系统编程】 目录 1、Linux线程同步 1.1、同步概念与竞态条件 1.2、条件变量 1.2.1、认识条件变量接口 1.2.2、举例子认识条件变量 1.2.3、…

智能算法在金融分析中的应用:民锋科技的前沿探索

随着数据技术的发展&#xff0c;智能算法在金融市场中的应用逐渐增多&#xff0c;从模式识别到投资策略优化&#xff0c;智能算法正帮助金融从业者更高效地处理数据和做出决策。民锋科技积极探索智能算法的应用&#xff0c;通过技术创新为客户提供更精准的市场洞察和交易策略支…

IC 脚本之VIM 记录

1. 对于代码中空格与tab相互转换的可通过如下实现&#xff1a; set tabstop 4 set expandtab %retab ! 以上三行命令即可实现将代码中每四个空格用一个tab来缩进。set tabstop 4 set noexpandtab %retab ! 以上三行命令即可实现将代码中的每个tab用四个空格来实现t…

ML 系列:第 21 节 — 离散概率分布(二项分布)

一、说明 二项分布描述了在固定数量的独立伯努利试验中一定数量的成功的概率&#xff0c;其中每个试验只有两种可能的结果&#xff08;通常标记为成功和失败&#xff09;。 二、探讨伯努利模型 例如&#xff0c;假设您正在抛一枚公平的硬币 &#xff08;其中正面成功&#xff…

JS如何获取MQTT的主题

在JavaScript中&#xff0c;要获取MQTT发布的主题&#xff0c;你通常需要使用一个MQTT客户端库来连接到MQTT代理&#xff08;broker&#xff09;&#xff0c;并订阅你感兴趣的主题。当消息到达时&#xff0c;客户端会触发一个回调函数&#xff0c;该函数将包含消息的主题和消息…

godot--自定义边框/选中时样式 StyleBoxTexture

前提知识&#xff1a; stylebox就像一个贴图&#xff0c;把图案贴到控件是。多个stylebox同时生效的话&#xff0c;那当然也有层级之分&#xff0c;上层覆盖下层&#xff08;可以设置透明度来显示下层&#xff09; 关于主题的概念&#xff1a; godot——主题、Theme、StyleB…

PCB+SMT线上报价系统+PCB生产ERP系统自动化拼板模块升级

PCB生产ERP系统的智能拼版技术&#xff0c;是基于PCB前端报价系统获取到的用户或市场人员已录入系统的板子尺寸及set参数等&#xff0c;按照最优原则或利用率最大化原则自动进行计算并输出拼版样式图和板材利用率&#xff0c;提高工程人员效率&#xff0c;减少板材的浪费。覆铜…

去中心化联邦学习与TinyML联合调查:群学习简介

中英文论文标题&#xff1a; 英文标题&#xff1a;A Joint Survey in Decentralized Federated Learning and TinyML: A Brief Introduction to Swarm Learning中文标题&#xff1a;去中心化联邦学习与TinyML联合调查&#xff1a;群学习简介 作者信息&#xff1a; Evangelia…

使用Python实现定期从API获取数据并存储到数据库的完整指南

使用Python实现定期从API获取数据并存储到数据库的完整指南 引言 在现代数据驱动的应用程序中,定期从外部API获取数据并存储到本地数据库是一项常见的需求。本文将详细介绍如何使用Python编写一个程序,定期从API获取数据并将其存储到SQLite数据库中。通过这一流程,您将掌握…

亚马逊正准备推出其最新的人工智能芯片

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

【学习笔记】数据结构(七)

图 文章目录 图7.1 图的定义和术语7.2 图的存储结构7.2.1 数组表示法 - 邻接矩阵&#xff08;Adjacency Matrix)7.2.2 邻接表 -&#xff08;链式&#xff09;表示法(Adjacency List&#xff09;7.2.3 十字链表(Orthogonal List)7.2.4 邻接多重表(Adjacent MultiList) 7.3 图的遍…