52、Flink 使用 Parametertool 获取应用参数代码示例

1、获取配置参数-1

import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import java.io.IOException;
import java.util.Map;public class _01_ParameterToolReadArgs {public static void main(String[] args) throws IOException {StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();// 配置值来自 .properties 文件
//        String propertiesFilePath = "*";
//        ParameterTool parameterTool = ParameterTool.fromPropertiesFile(propertiesFilePath);//        File file = new File("*");
//        ParameterTool parameterTool = ParameterTool.fromPropertiesFile(file);//        FileInputStream fileInputStream = new FileInputStream(new File("*"));
//        ParameterTool parameterTool = ParameterTool.fromPropertiesFile(fileInputStream);// 配置值来自命令行// 输入// --input hdfs:///mydata// --elements 42// 输出// input=hdfs:///mydata// elements=42
//        ParameterTool parameterTool = ParameterTool.fromArgs(args);// 配置值来自系统属性,VmOptions// 输入// -Dinput=hdfs:///mydata// 输出// input=hdfs:///mydataParameterTool parameterTool = ParameterTool.fromSystemProperties();for (Map.Entry<String, String> entry : parameterTool.toMap().entrySet()) {if ("input".equals(entry.getKey())) {System.out.println(entry.getKey() + "=" + entry.getValue());}}}
}

2、获取配置参数-2

import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import java.util.Map;/*** 输入 --input myGlobalParamsInput* 输出 myGlobalParamsInput*/
public class _02_ParameterToolGlobalParams {public static void main(String[] args) throws Exception {StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();ParameterTool parameters = ParameterTool.fromArgs(args);env.getConfig().setGlobalJobParameters(parameters);DataStreamSource<Integer> source = env.fromData(1, 2, 3);source.map(new MyRichMapFunc()).print();env.execute();}
}class MyRichMapFunc extends RichMapFunction<Integer, String> {@Overridepublic String map(Integer value) throws Exception {Map<String, String> globalJobParameters = getRuntimeContext().getGlobalJobParameters();return globalJobParameters.get("input");}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/37470.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

最终还是放弃了拼多多 NLP 算法岗(大模型方向)Offer。。。

暑期实习基本结束了&#xff0c;校招即将开启。 不同以往的是&#xff0c;当前职场环境已不再是那个双向奔赴时代了。求职者在变多&#xff0c;HC 在变少&#xff0c;岗位要求还更高了。 最近&#xff0c;我们又陆续整理了很多大厂的面试题&#xff0c;帮助一些球友解惑答疑&…

防止跨站脚本攻击XSS之Antisamy

目录 一、什么是跨站脚本攻击&#xff08;XSS&#xff09; 二、通常有哪些解决方案 三、常见的XSS攻击例子有哪些 3.1 存储型XSS攻击&#xff08;黑产恶意截流&#xff0c;跳转不法网站&#xff09; 3.2反射型XSS攻击&#xff1a; 四、什么是跨站请求伪造&#xff1f; 五…

这是我见过的大模型 RAG 优化方案与实践最全总结了

暑期实习基本结束了&#xff0c;校招即将开启。 不同以往的是&#xff0c;当前职场环境已不再是那个双向奔赴时代了。求职者在变多&#xff0c;HC 在变少&#xff0c;岗位要求还更高了。提前准备才是完全之策。 最近&#xff0c;我们又陆续整理了很多大厂的面试题&#xff0c…

软件工程 例题

用例图 1. 某个学生成绩管理系统的部分参与者和用例总结如下。 教务管理人员: 登录系统教师、学生名单管理学期教学计划管理成绩管理。课程分配&#xff0c;每次课程分配时都必须打印任课通知书 学生&#xff1a; 登录系统选课。 教师: 登录系统成绩管理&#xff0c;并…

Eureka是如何工作的

Eureka是一个开源的分布式服务发现系统&#xff0c;由Netflix开发和维护。以下是Eureka工作机制的清晰解释&#xff0c;包括关键步骤和相关的数字信息&#xff1a; Eureka的组成 Eureka Server&#xff1a;Eureka服务器&#xff0c;作为服务注册中心&#xff0c;用于存储和管…

qt 文件夹实验

1.概要 用qt creater 开发&#xff0c;发现无法创建文件夹&#xff0c;这样管理多文件夹&#xff0c;就变得很麻烦&#xff1b; 能不能现在工程中创建文件夹呢&#xff0c;可以&#xff0c;但是如果里面不放文件的话&#xff0c;工程也不会管你&#xff0c;如果你加了文件&am…

css_17_背景属性鼠标属性

一.背景属性 -属性值&#xff1a;background-color&#xff08;设置背景颜色&#xff09; 默认背景颜色是 transparent。 -属性值&#xff1a;background-image&#xff08;设置背景图片&#xff09; url&#xff08;图片的地址&#xff09; -属性值&#xff1a;background-re…

Query Rewriting for Retrieval-Augmented Large Language Models

文章目录 题目摘要方法实验 题目 检索增强大语言模型的查询重写 论文地址&#xff1a;https://arxiv.org/abs/2305.14283 项目地址&#xff1a;https://github.com/xbmxb/RAG-query-rewriting 摘要 大语言模型&#xff08;LLM&#xff09;在检索--然后阅读&#xff08;retriev…

linux就该这么学【进程间通信】

linux就该这么学【进程间通信】 Chapter1 linux就该这么学【进程间通信】 Chapter1 linux就该这么学【进程间通信】 原文链接&#xff1a;https://blog.csdn.net/m0_53421868/article/details/123194775

百度智能云升级:接入33个大模型,Llama 2引领创新,103个Prompt模板上线

大家好&#xff0c;我是herosunly。985院校硕士毕业&#xff0c;现担任算法研究员一职&#xff0c;热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名&#xff0c;CCF比赛第二名&#xff0c;科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的…

论基于构件的软件开发(CBSD)

论基于构件的软件开发&#xff08;CBSD&#xff09; 一、引言 在当前的软件开发领域中&#xff0c;基于构件的软件开发&#xff08;Component-Based Software Development&#xff0c;简称CBSD&#xff09;已经成为一种重要的开发范式。CBSD强调通过复用已有的软件构件来快速…

鉴源实验室·基于MQTT协议的模糊测试研究

作者 | 张渊策 上海控安可信软件创新研究院工控网络安全组 来源 | 鉴源实验室 社群 | 添加微信号“TICPShanghai”加入“上海控安51fusa安全社区” 随着物联网技术的快速发展&#xff0c;越来越多的设备加入到互联网中&#xff0c;形成了庞大的物联网系统。这些设备之间的通信…

2024年每个月有哪些数学建模和数学挖掘竞赛?

文章目录 2024年每个月有哪些竞赛&#xff1f;2024年32个数学建模和数据挖掘竞赛重磅来袭&#xff01;&#xff01;&#xff01;2024年数学建模和数学挖掘竞赛时间目录汇总数学建模助手使用一月二月三月四月五月六月七月八月九月十月十一月十二月 原文&#xff1a;https://blog…

Pytorch和Tensorflow安装【Win和Linux】

Ubuntu/win安装Pytorch和Tensorflow 说明: 这两种框架的搭建,均基于Anaconda进行搭建。先在系统中安装Anaconda软件。 一、Pytorch的搭建 windows安装 (1)搭建参考官网给的命令,pytorch官网 (2)下载地址:https://download.pytorch.org/whl/torch_stable.html 从上述…

Python商务数据分析知识专栏(三)——Python数据分析的应用①Matplotlib数据可视化基础

Python商务数据分析知识专栏&#xff08;三&#xff09;——Python数据分析的应用①Matplotlib数据可视化基础 Matplotlib数据可视化基础1.掌握绘图基本语法与常用绘图2.分析特征间关系3.分析特征内部数据分布与分散情况 Matplotlib数据可视化基础 1.掌握绘图基本语法与常用绘…

最新!最全!元启发优化算法215个测试函数综述!【免费获取论文】

目录 1.摘要2.主要内容3.参考文献4.文章获取 1.摘要 这篇综述论文旨在利用对不同基准测试函数的研究&#xff0c;评估元启发优化算法(Metaheuristic optimization algorithms, MH)的性能。MH的性能是通过不同的数学基准测试函数和各种实际工程设计问题来评估&#xff0c;这些基…

EBS请求通过一段SQL输出EXCEL文件

一.设计初衷 1.EBS请求输出excel文件常用的有3种模式: 1.1.RTF模板+XML数据源 1.2 package输出html格式 1.3 package输出excel对应的xml文本 2.上面三种模式开发起来都比较麻烦,而且输出的是xls的文件,如果导出的数据很多,文件特别大。 3.所以想法是请求根据一段sql,动…

[数据集][目标检测]睡岗检测数据集VOC+YOLO格式3290张4类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;3316 标注数量(xml文件个数)&#xff1a;3316 标注数量(txt文件个数)&#xff1a;3316 标注…

模拟散列表

模拟散列表 维护一个集合&#xff0c;支持如下几种操作&#xff1a; I x&#xff0c;插入一个整数 x&#xff1b;Q x&#xff0c;询问整数 x是否在集合中出现过&#xff1b; 现在要进行 N次操作&#xff0c;对于每个询问操作输出对应的结果。 输入格式 第一行包含整数 N&…

stm32-hal库(5)--usart串口通信三种模式(主从通信)(关于通信失败和串口不断发送数据问题的解决)

问题&#xff1a; 最近发现&#xff0c;stm32cubemx最新版本f1系列的hal库&#xff08;1.85版本&#xff09;生成的hal库&#xff0c;其中stm32f1xx_hal_uart.c的库文件中&#xff0c;其串口发送接收存在一些问题&#xff1a; 1.没有使用 __HAL_LOCK 和 __HAL_UNLOCK 宏&…