聊聊Flink:Docker搭建Flink

一、准备工作

查看下Docker和Docker Compose版本,确保你安装了这些软件。

在这里插入图片描述

在 Flink 官网上下载 Flink 的 Docker 镜像。您可以使用以下命令从 Docker Hub 中下载:

docker pull flink:1.18.0-scala_2.12

此命令将下载 Flink 1.18.0 版本的 Docker 镜像,并且使用 Scala 2.12 进行编译。

二、编写Docker Compose文件

Docker Compose可以通过一个YAML文件来定义和管理多个容器的服务。我们将使用Docker Compose来定义Flink集群的容器服务。

创建一个 docker-compose.yml 文件,该文件描述了您要启动的容器及其配置。下面是一个基本的示例文件:

version: '3'services:jobmanager:image: flink:1.18.0-scala_2.12command: jobmanagerports:- "8081:8081"volumes:- ./settings/:/settings- ./data/:/dataenvironment:- |FLINK_PROPERTIES=jobmanager.rpc.address: jobmanagerrestart: alwaystaskmanager:image: flink:1.18.0-scala_2.12command: taskmanagerdepends_on:- jobmanagerscale: 1environment:- |FLINK_PROPERTIES=jobmanager.rpc.address: jobmanagertaskmanager.numberOfTaskSlots: 20volumes:- ./settings/:/settings- ./data/:/datarestart: always

上述代码定义了两个服务:jobmanager和taskmanager。jobmanager用于管理Flink作业,taskmanager用于执行Flink作业的任务。

三、构建和启动容器

在终端中,切换到包含docker-compose.yml文件的目录,然后执行以下命令构建和启动容器:

docker-compose up -d

以上命令将会以后台模式启动Flink容器集群

在这里插入图片描述

四、访问Flink Web界面

一旦容器启动完成,可以通过浏览器访问Flink Web界面。在浏览器中输入http://localhost:8081,即可访问Flink的Web界面。在该界面中,可以查看作业列表、监控任务状态等信息。

在这里插入图片描述

五、提交Flink作业

现在,可以通过Flink Web界面提交和管理Flink作业。首先,将一个Flink作业的JAR文件上传到Flink Web界面。然后,通过界面上的操作,选择相应的作业并点击Submit按钮来提交作业。

另外,也可以通过命令行方式提交Flink作业。在终端中,执行以下命令来提交Flink作业:

docker exec -it <jobmanager_container_id> flink run -m taskmanager:8081 /path/to/job.jar

其中,<jobmanager_container_id>是Flink集群中jobmanager容器的ID,/path/to/job.jar是Flink作业的JAR文件路径。

注意:上面的提交是旧的方式,笔者这里用的Flink 1.18版本,上面的命令行已经舍弃了。

//先把你本地的jar包文件

docker cp /你的文件目录/flink-release-1.18.0/flink-reimann-test/target/flink-reimann-test-1.18.0.jar <jobmanager_container_id>:/opt/flink/test

docker exec -it <jobmanager_container_id> /bin/bash

bin/flink run -c org.apache.flink.PartitionerTest test/flink-reimann-test-1.18.0.jar

在这里插入图片描述

Web界面会展示刚才跑的任务
在这里插入图片描述

还有一种界面上提交任务的方式,我这里就不说了,留给你自己去探索。

六、关闭容器

当不再需要使用Flink集群时,可以通过以下命令关闭并删除容器:

docker-compose down

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/4596.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java23种设计模式-创建型模式之单例模式

单例模式&#xff08;Singleton Pattern&#xff09;&#xff1a;通过单例模式的方法创建的类在当前进程中只有一个实例&#xff08;根据需要&#xff0c;也有可能一个线程中属于单例&#xff0c;如&#xff1a;仅线程上下文内使用同一个实例&#xff09;&#xff0c;该类负责创…

电商架构:系统设计+表设计

如有不对&#xff0c;请指正 欢迎评论区交流 需要哪些系统 商品系统、订单系统、权限系统、审核系统等。 商品系统 订单系统 审核系统 权限系统 参考 基于电商中台架构-商品系统设计(一) 附件

2024年【流动式起重机司机】报名考试及流动式起重机司机复审模拟考试

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 2024年【流动式起重机司机】报名考试及流动式起重机司机复审模拟考试&#xff0c;包含流动式起重机司机报名考试答案和解析及流动式起重机司机复审模拟考试练习。安全生产模拟考试一点通结合国家流动式起重机司机考试…

电脑已经有了一个Windows10,再多装一个Windows10组成双系统

前言 前段时间已经讲过一次双Windows系统的安装教程&#xff0c;但是小白重新去看了一下&#xff0c;发现写的内容太多&#xff0c;怕小伙伴看了之后一脸萌。 所以今天咱们就重新再来讲讲&#xff1a;在同一台机器上安装Windows10双系统的教程。 注意哦&#xff01;这里的Wi…

Android优化RecyclerView图片展示:Glide成堆加载批量Bitmap在RecyclerView成片绘制Canvas,Kotlin(b)

Android优化RecyclerView图片展示&#xff1a;Glide成堆加载批量Bitmap在RecyclerView成片绘制Canvas&#xff0c;Kotlin&#xff08;b&#xff09; 对 Android GridLayoutManager Glide批量加载Bitmap绘制Canvas画在RecyclerView&#xff0c;Kotlin&#xff08;a&#xff09;-…

2024人工智能/机器学习/machine learning/CV/NLP重点公式汇总(算法面试考试论文)

### CV # Diffusion Model 扩散模型http://deepnlp.org/equation/diffusion-model-forward-processhttp://deepnlp.org/equation/diffusion-model-forward-process-reparameterizationhttp://deepnlp.org/equation/diffusion-model-reverse-processhttp://deepnlp.org/equation…

【GitHub】主页简历优化

【github主页】优化简历 写在最前面一、新建秘密仓库二、插件卡片配置1、仓库状态统计2、Most used languages&#xff08;GitHub 常用语言统计&#xff09;使用细则 3、Visitor Badge&#xff08;GitHub 访客徽章&#xff09;4、社交统计5、打字特效6、省略展示小猫 &#x1f…

求解约瑟夫问题

思路&#xff1a; 我们要创建两个指针 有一个指针pcur指向头结点&#xff0c;该pcur作为报数的指针&#xff0c;还有一个指针ptail指向尾结点&#xff0c;作为记录pcur的地址 每报数为m时&#xff0c;pcur指向下一个元素的地址&#xff0c;ptail销毁报数为m的地址&#xff0…

制糖工业智能工厂数字孪生可视化平台,推进制糖产业数字化转型

制糖工业智能工厂数字孪生可视化平台&#xff0c;推进制糖产业数字化转型。随着信息技术的快速发展&#xff0c;数字化转型已成为各行各业的重要趋势。在糖果加工制造领域&#xff0c;智能工厂数字孪生可视化平台的出现&#xff0c;为行业数字化转型注入了新的活力。 糖果加工制…

Java创建对象的最佳方式:单例模式(Singleton)

前言 单例模式是java中最简单的设计模式之一&#xff0c;属于创建式模式&#xff0c;提供了一种创建对象的最佳方式。 具体而言&#xff0c;单例模式涉及到一个具体的类&#xff0c;这个类可以确保只有单个对象被创建。它包含一个访问其唯一对象的方法&#xff0c;供外部直接…

算法训练营day25

零、回溯算法理论 参考链接13.1 回溯算法 - Hello 算法 (hello-algo.com) 1.尝试与回退 之所以称之为回溯算法&#xff0c;是因为该算法在搜索解空间时会采用“尝试”与“回退”的策略。当算法在搜索过程中遇到某个状态无法继续前进或无法得到满足条件的解时&#xff0c;它会…

python应用-socket网络编程(1)

目录 1 先简单回顾下客户端和服务端通信的知识 2 服务端常用函数 3 客户端常用函数 4 服务端和客户端都用的函数 5 示例介绍客户端和服务端通信过程 6 建立服务端套接制 7 创建服务端函数socket.create_server() 8 创建客户端套接字 9 客户端连接函数socket.create_co…

【.net core】【sqlsugar】条件查询时使用Contains的注意问题

在使用sqlsugar条件查询时&#xff0c;条件中如果使用Contains&#xff0c;如果需要自定义条件&#xff0c;需保证类型一致 目标需求&#xff1a;生成 WHERE ([1],[2],[3] like concat(%, concat( concat( [, CAST(orderState AS CHAR)) , ]) ,%)) 为条件的查询语句 //…

在docker中安装paddle serving @FreeBSD(待续)

因为FreeBSD本身不能装paddle serving&#xff0c;所以我们要在docker里面装。 Paddle Serving官网&#xff1a;GitHub - PaddlePaddle/Serving: A flexible, high-performance carrier for machine learning models&#xff08;『飞桨』服务化部署框架&#xff09; wheel包下…

JS-事件和日期对象

1.事件流&#xff1a; 1.事件捕获&#xff08;同类型事件时&#xff09;&#xff1a;从外层到内层&#xff1b;从最顶级的父元素一级一级往下找子元素触发同名事件&#xff0c;直到触发事件的元素为止 事件捕获&#xff0c;只能通过addEventListener并且参数写true才是事件捕获…

基于Springboot的甘肃旅游服务平台(有报告)。Javaee项目,springboot项目。

演示视频&#xff1a; 基于Springboot的甘肃旅游服务平台&#xff08;有报告&#xff09;。Javaee项目&#xff0c;springboot项目。 项目介绍&#xff1a; 采用M&#xff08;model&#xff09;V&#xff08;view&#xff09;C&#xff08;controller&#xff09;三层体系结构…

学习周报:文献阅读+Fluent案例+有限体积法理论学习

目录 摘要 Abstract 文献阅读&#xff1a;基于物理信息神经网络的稀疏数据油藏模拟 文献摘要 文章讨论|结论 各方程和原理简介 PINN简介 域分解 实验设置 单相油藏问题 油水两相问题 Fluent实例&#xff1a;Y型弯管中的流体混合分析 几何建模部分 网格划分 求解器设…

获取boss直聘城市地区josn数据

获取boss直聘城市地区josn数据 当我需要爬取多个城市的地区的时候&#xff0c;只能手动点击&#xff0c;然后一个一个看 结果&#xff1a; 能看到所有区域所有子地区的地区代码 解析该JSON数据 import pandas as pd import requests code[] area[] 城市代码101210100 res…

VForm3的文件上传后的一种文件回显方式

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码&#xff1a; https://gitee.com/nbacheng/ruoyi-nbcio 演示地址&#xff1a;RuoYi-Nbcio后台管理系统 http://218.75.87.38:9666/ 更多nbcio-boot功能请看演示系统 gitee源代码地址 后端代码&#xff1a; h…

MySQL 查询优化思路

在统计的时候尝尝遇到过查询数据量大的情况&#xff0c;SQL会超时 下面是一些解决方案 &#xff08;未经本人允许不得转载&#xff09; 1、索引 加完看索引是否生效&#xff08;一般情况都是普通索引tree&#xff09;创建联合索引&#xff08;注意顺序&#xff09;2、 SQL语句…