57、Flink 的项目配置概述

1)概览
1.开始

要开始使用 Flink 应用程序,请使用以下命令、脚本和模板来创建 Flink 项目。

可以使用如下的 Maven 命令或快速启动脚本,基于原型创建一个项目。

a)Maven 命令
mvn archetype:generate                \-DarchetypeGroupId=org.apache.flink   \-DarchetypeArtifactId=flink-quickstart-java \-DarchetypeVersion=1.19.0
b)快速启动脚本
curl https://flink.apache.org/q/quickstart.sh | bash -s 1.19.0
2.需要哪些依赖

要开始一个 Flink 作业,通常需要如下依赖项:

  • Flink API,用来开发你的作业
  • 连接器和格式,以将你的作业与外部系统集成
  • 测试实用程序,以测试你的作业

除此之外,若要开发自定义功能,还要添加必要的第三方依赖项。

3.Flink API

Flink 提供了两大 API:Datastream API 和 Table API & SQL,它们可以单独使用,也可以混合使用,具体取决于你的使用场景

你要使用的 API你需要添加的依赖项
DataStreamflink-streaming-java
DataStream Scala 版flink-streaming-scala_2.12
Table APIflink-table-api-java
Table API Scala 版flink-table-api-scala_2.12
Table API + DataStreamflink-table-api-java-bridge
Table API + DataStream Scala 版flink-table-api-scala-bridge_2.12
4.运行和打包

如果想通过简单地执行主类来运行作业,需要 classpath 里包含 flink-clients。对于 Table API 程序,还需要在 classpath 中包含 flink-table-runtimeflink-table-planner-loader

根据经验,建议将应用程序代码及其所有必需的依赖项打包进一个 fat/uber JAR [包含所有依赖项和代码的 JAR]中。这包括打包作业用到的连接器、格式和第三方依赖项;此规则不适用于 Java API、DataStream Scala API 以及前面提到的运行时模块,它们已经由 Flink 本身提供,不应包含在作业的 uber JAR 中。

可以把该作业 JAR 提交到已经运行的 Flink 集群,也可以轻松将其添加到 Flink 应用程序容器镜像中,而无需修改发行版。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/39231.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开源大模型的中流砥柱——LLaMA

元宇宙平台公司在近年来大力发展人工智能技术,尤其在大规模语言模型(LLM)领域取得了显著进展。其代表性作品LLaMA(Large Language Model)及其后续版本LLaMA 2和LLaMA 3,成为了业界关注的焦点。 LLaMA模型的发布与许可 LLaMA模型的发布标志着在自然语言处理(NLP)领域的…

使用 Spring Security 配置 HTTPS

引言 为了保护敏感数据免受网络攻击,在 Web 应用中使用 HTTPS 是必不可少的。HTTPS 提供了数据传输的加密,确保数据在客户端和服务器之间传输时的安全性。Spring Security 提供了简单的配置方式来实现 HTTPS。本文将详细介绍如何在 Spring Boot 项目中配…

wordpress建站用付费模板还是免费模板

在WordPress建站时,选择模板是一个重要的决策。我们可以看到免费和付费模板各有优缺点。 免费模板的主要优点是成本效益。对于预算有限的个人或小企业来说,免费模板是一个理想的选择,因为它们不需要任何费用。此外,免费模板通常与…

Redis 7.x 系列【16】持久化机制之 AOF

有道无术,术尚可求,有术无道,止于术。 本系列Redis 版本 7.2.5 源码地址:https://gitee.com/pearl-organization/study-redis-demo 文章目录 1. 概述2. 执行原理2.1 Redis 6.x2.1.1 直接写2.1.2 重写 2.2 Redis 7.x2.2.1 Redis 6…

Spring Ioc学习

第二章 Spring IOC 章节内容 Spring IOC技术实现Spring IOC设值注入Spring IOC构造注入 章节目标 掌握Spring IOC技术实现掌握Spring IOC设置注入掌握Spring IOC构造注入 第一节 Spring简介 1. Spring 简介 Spring 是目前主流的 Java 开发框架,是 Java 世界最…

基于Springboot+Vue+mysql仓库管理系统仓库进销存管理系统

博主介绍: 大家好,本人精通Java、Python、C#、C、C编程语言,同时也熟练掌握微信小程序、Php和Android等技术,能够为大家提供全方位的技术支持和交流。 我有丰富的成品Java、Python、C#毕设项目经验,能够为学生提供各类…

Vue 父子页面使用指南

Vue3父子页面使用指南 Vue3作为一种现代化的前端框架,提供了强大的组件化功能,使得页面开发更加模块化和可维护。本文将深入探讨Vue3中父子页面的使用方法,包括如何传递参数、父组件如何调用子组件的方法,以及父子页面的加载原理…

为什么面向对象的设计方法逐渐减少

在软件开发领域,面向对象设计(Object-Oriented Design, OOD)曾经是主导的编程范式。它的主要特征是通过类和对象来组织代码,并利用继承、封装和多态性等特性来实现代码复用和模块化。然而,近年来,随着前端开…

【Python】Python中的数据类型

数据类型 导读一、数据类型的分类1.1 Number(数字)1.1.1 静态数据类型1.1.2 动态数据类型 1.2 String(字符串)1.3 bool(布尔类型) 二、数据类型的转换2.1 隐式类型转换2.2 显式类型转换2.2.1 int(x[,base])…

系统运维面试总结(shell编程)

SYNDDOS攻击,需要判断这个访问是正常访问还是信包攻击,当前这个信包发起的访问数量是多少,例如看到30个信包同时再访问时设置监控报警。 一般选用/dev/urandom生成,但其生成的随机数带有二进制乱码,所以需要tr命令…

光源基础知识及选型原则

光的基础知识 1.光谱(专业理解):光能量在不同频率上的分布。 2.可见光的波段在380mm—700mm之间。红光波长最长,为700mm左右,紫光波长最短,在380mm左右。 3.色温(以白色为界):光源的颜色与黑体在某一温度下辐射光的颜色相同(或最相近)时,黑体的温度就称为该光源…

CASS中按指定距离和方向移动图形

1、绘制一个图形 打开软件,随意绘制一个矩形,并量取左下角点的坐标值,具体如下: 2、按距离移动原理讲解 例1:将图形沿着y轴负方向移动100米,如何实现? 如上图所示,测绘中的坐标系…

多载波调制与OFDM原理讲解以及MATLAB实现GUI设计

前言 基于MATLAB设计并实现了一个OFDM调制的图形用户界面(GUI)系统。该系统旨在简化OFDM调制过程的仿真,提供友好的用户交互界面。设计目标是通过GUI实现参数化的OFDM仿真,包括子载波数、符号数、IFFT长度、循环前缀长度、循环后…

模拟退火算法2—优缺点

模拟退火算法优点 1、以一定的概率接受恶化解 模拟退火算法(SA)在搜索策略上与传统的随机搜索方法不同,它不仅引入了适当的随机因素,而且还引入了物理系统退火过程的自然机理。这种自然机理的引入使模拟退火算法在迭代过程中不仅接受使目标函数变“好”的试探点,而且还能以一…

【单片机毕业设计选题24034】-基于STM32的手机智能充电系统

系统功能: 系统可以设置充电时长,启动充电后按设置的充电时长充电,充电时间到后自动 停止充电,中途检测到温度过高也会结束充电并开启风扇和蜂鸣器报警。 系统上电后,OLED显示“欢迎使用智能充电系统请稍后”,两秒钟…

Python错误处理 -- 异常捕获

本套课在线学习视频(网盘地址,保存到网盘即可免费观看): ​​https://pan.quark.cn/s/ebe046289eb0​​ 本文详细介绍了Python编程中try-except-else-finally语句的用法,重点讲解了如何通过这些语句对程序中可能出现…

哨兵1SAR空间数据包协议数据单元文档(五)

《哨兵1SAR空间数据包协议数据单元》文档对数据包的结构进行了详细描述,并提供了用户数据的格式和解码算法。 原文链接: 哨兵1SAR空间数据包协议数据单元文档英文版 同系列中的其他文章篇链接: 哨兵1SAR空间数据包协议数据单元文档(一) 哨兵1…

Vue 2 与 ECharts:结合使用实现动态数据可视化

在现代前端开发中,数据可视化变得越来越重要。ECharts 是一个强大的数据可视化库,而 Vue 2 则是一个流行的前端框架。本文将介绍如何将 Vue 2 和 ECharts 结合使用,以实现动态数据可视化。 安装与配置 首先,确保你的项目中已经安…

Redis数据结构——跳跃表 skiplist

跳跃表(Skip List)是一种数据结构,常被用作一种有序的数据结构,提供快速的插入、删除和查找操作,其效率接近于平衡树(如红黑树),但实现起来更简单。 1. 跳跃表的基本概念 层级结构…

保存在FinalShell服务器登录密码忘记了,如何快速获取到

一、从FinalShell获取服务器基本信息 如图操作会导出一个json文件,可以直接保存在桌面,或者其他位置 json格式如下: {"forwarding_auto_reconnect":false ,"custom_size":false ,"delete_time":0 ,"sec…