【Linux】-Flink分布式内存计算集群部署[21]

注意:

本节的操作,需要前置准备好Hadoop生态集群,请先部署好Hadoop环境

简介

Flink同spark一样,是一款分布式内存计算引擎,可以支撑海量数据的分布式计算

Flink在大数据体系同样是明星产品,作为新一代的综合计算引擎,支持离线计算和实时计算。

在大数据邻域广泛应用,是目前世界上除去spark以外,应用最为广泛的分布式计算引擎。

spark更加偏向于离线计算,而flink更加偏向于实时计算

安装

1、【node1执行】  下载安装包

wget https://archive.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz

解压到/export/server

tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /export/server

构建软链接

ln -s /export/server/flink-1.10.0 /export/server/flink

2、【node1】修改配置文件,conf/flink-conf.yaml

在vim编辑时,可使用set paste粘贴模式

# jobManager 的IP地址
jobmanager.rpc.address: node1
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024m
#TaskManager JvM heap 内存大小
taskmanager.heap.size: 1024m
# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 2
# 是否进行预分配内存,默认不进行预分配,这样在我们不使fLink集群时不会占用集群资源
taskmanager.memory.preallocate: false
# 程序默认并行计算的个数
parallelism.default: 1
# JobManager的Web界面的端囗(默认:8081)
jobmanager.web.port: 8081

3、【node1】 修改配置文件,conf/slaves

node1
node2
node3

4、【node1】  分发flink安装包到其他机器

cd /export/server
scp -r flink-1.10.0 node2:`pwd`/
scp -r flink-1.10.0 node3:`pwd`/

5、【node2、node3】构建软链接

ln -s /export/server/flink-1.10.0 /export/server/flink

6、【node1】启动flink

/export/server/flink/bin/start-cluster.sh

7、验证flink启动

浏览器打开http://node1:8081

这里使用的端口8081与前一章节spark使用的端口一致,需要关闭spark才能使用flink

至此,Flink就部署完毕啦。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/839241.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ElasticSearch集群重平衡(Shard allocation)案例分析及性能调优

何谓重平衡 ElasticSearch为了使数据平均分布在集群节点上,重平衡机制会由Master节点决定索引分片具体分配到哪个Data节点以及何时在节点之间迁移分片,使分片在数据大小、分片数量的层面上尽可能均匀分布在集群中的所有Data节点,充分发挥每个…

css - sass or scss ?

总的来说,Sass 和 SCSS 提供的功能是一样的,选择哪种语法主要取决于你的个人或团队的偏好。

4.2 循环语句(for, while)

💝💝💝欢迎莅临我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」…

什么是容器?

容器技术是一种现代计算技术,允许开发者将应用程序及其依赖打包在一起,从而使应用程序能够在任何环境中一致地运行。容器技术在近几年迅速普及,成为云计算、微服务架构和持续集成/持续部署(CI/CD)中不可或缺的一部分。…

【Linux取经路】基于信号量和环形队列的生产消费者模型

文章目录 一、POSIX 信号量二、POSIX 信号量的接口2.1 sem_init——初始化信号量2.2 sem_destroy——销毁信号量2.3 sem_wait——等待信号量2.4 sem_post——发布信号量 三、基于环形队列的生产消费者模型3.1 单生产单消费模型3.2 多生产多消费模型3.3 基于任务的多生产多消费模…

自学动态规划——最后一块石头的重量 II

最后一块石头的重量 II 1049. 最后一块石头的重量 II - 力扣(LeetCode) 也是三刷,能无阻力做出来,但是发现做的效果没有之前好了,可以学学之前做的时候是如何优化的。 AC: int lastStoneWeightII(vecto…

C-数据结构-双向环链-变长结构体的使用-面向对象的思想

/* 通用性比较强的双向环链 1.变长结构体的使用 2.面向对象的思想 */ llist.h #ifndef LLIST_H__ #define LLSIT_H__ #define LLIST_FORWARD 1 #definr LLIST_BACKWARD 2 typedef void llist_op(const void *);//回调函数 typedef int llist_cmp(const void *,const void *);…

期货学习笔记-横盘行情学习1

横盘行情的特征及分类 横盘行情的概念 横盘行情时中继形态的一种,一般常出现在大涨或大跌之后出现横盘行情是对当前趋势行情的修正,是对市场零散筹码的清理,是为了集中筹码更便于后期行情的展开 横盘行情的特征 1.水平运动:该…

【文献阅读】ESG评级不确定性对企业绿色创新的影响研究

ESG评级不确定性对企业绿色创新的影响研究 张张张三丰de思考与感悟 论文内容总结:本文主要是关于ESG评级不确定性(也即来自三个评级机构的ESG得分差异),对企业绿色创新的影响。并且有效地区分了创新数量和创新质量。创新数量的是专…

iptablese防火墙【SNAT和DNAT】

目录 1.SNAT策略及应用 1.1SNAT原理与应用 1.2 SNAT策略的工作原理 1.3 实验操练 2.DNAT策略 2.1 DNAT策略的概述 2.2 DNAT原理与应用 2.3 实验操练 1.SNAT策略及应用 1.1SNAT原理与应用 SNAT 应用环境:局域网主机共享单个公网IP地址接入Internet&#xf…

uniappx 应用未读角标插件(完善推送、通知、消息效果) Ba-Shortcut-Badge-U

简介(下载地址) Ba-Shortcut-Badge-U 是设置应用未读角标的原生插件,UTS版本(同时支持uniapp和uniappx) 支持设置未读、清空未读支持机型有Huawei、oppo、xiaomi、Samsung、Sony、LG、HTC、ZUK、ASUS、ADW、APEX、NO…

数据库第十次作业官方答案

文章目录 1234 1 假设有关系模式R(A,B,C,D,E),如下函数依赖集F成立: A→BC,CD→E,B→D,E→A 如果将模式R分解为:R1(A,B,C)与R2(A,D,E)。 证明该分解是无损分解。 如果R1∩R2→ R1或R1 n R2→ R2,则一个分解…

pytest 用例收集钩子并发送飞书

pytest 用例收集钩子并发送飞书 当我们pytest用例运行完成后,想要知道运行多少个,成功还是失败,分别是多少,直接通知领导或者发到群里 conftest.pyimport requests def pytest_terminal_summary(terminalreporter, exitstatus, …

快速将短信从 Android 传输到 iPhone [支持 iPhone 15]

短信中包含有关工作和生活的重要信息,因此当我们拿到新手机时,它们不会丢失。今天,我们要讨论的是如何将短信从Android快速传输到iPhone,包括最新的iPhone 15。在Android和iOS操作系统之间,我们可以轻松地将短信从Andr…

mysql max_connections 默认值是多少

在 MySQL 中,max_connections 参数定义了能同时连接到数据库服务器的最大客户端连接数。该参数的默认值可能会根据 MySQL 版本和服务器的配置而有所不同。 对于 MySQL 5.7 和 MySQL 8.0,max_connections 的默认值通常是 151。这意味着同时可以有 150 个…

C语言(指针)8

Hi~!这里是奋斗的小羊,很荣幸各位能阅读我的文章,诚请评论指点,关注收藏,欢迎欢迎~~ 💥个人主页:小羊在奋斗 💥所属专栏:C语言 本系列文章为个人学习笔记&#x…

mysqldump

mysqldump 是 MySQL 数据库备份工具,用于将数据库的数据和结构导出为 SQL 文件,方便后续恢复或迁移数据库。 1、备份整个数据库: mysqldump -u username -p database_name > backup.sql2、备份特定表: mysqldump -u usernam…

BUUCTF-misc23

[GUET-CTF2019]zips1 1.打开附件 是一个加密的压缩包 2.暴力破解压缩包 得到压缩包密码 3.010Editor 解密之后又得到一个加密的压缩包 发现不是解密文件 用010Editor打开是伪加密,将09 00 给为 00 00 4.Python 用Python运行文件里的部分内容,发现密…

高精度可编程直流电源功能

在电子产品开发和测试中,高精度可编程直流电源是一种非常重要的工具。它不仅能够提供稳定可靠的电源供应,还能够精确地控制输出电压和电流,满足各种复杂的测试需求。下面我们就来详细了解一下高精度可编程直流电源的功能特点。 1. 输出精度高 高精度可…

php代码执行--可能漏洞点

目录 php代码执行 找不到包? get包改post包 自定义函数 危险函数 php的命令执行(Linux命令执行) php执行系统命令6种函数: php命令执行利用 参数值可控: 整体可控: 变量拼接绕过关键字 符号过滤 过滤空格 字符串截取 空格 随记...杂 php代码执行 hackbar插件 信…