apache geode项目结构_Apache Flink-基于Java项目模板创建Flink应用(流计算和批计算)...

Apache Flink创建模板项目有2种方式:

1. 通过Maven archetype命令创建;

2. 通过Flink 提供的Quickstart shell脚本创建;

关于Apache Flink的环境搭建,请参考相关链接:

Apache Flink快速入门-基本架构、核心概念和运行流程

Apache Flink v1.8 本地单机环境安装和运行Flink应用

1. 通过Maven archetype创建Flink项目

#使用Maven创建

mvn archetype:generate

-DarchetypeGroupId=org.apache.flink

-DarchetypeArtifactId=flink-quickstart-java

-DarchetypeVersion=1.8.0

-DgroupId=com.rickie

-DartifactId=flink-tutorial

-Dversion=0.1

-Dpackage=com.rickie.tutorial

-DinteractiveMode=false

参数说明:

原型archetype有关参数表

b6f3cea43b40d455b6dc8dc486f702f8.png

项目相关参数:

1c308d21e456a9b41ffcb8c8f63f43de.png

通过上述mvn 命令创建的Java模板项目结构。

5f0773cadfaa7c207c0941218f2a340e.png

从上述项目结构可以看出,该项目是一个比较完善的Maven项目,其中Java代码部分,BatchJob.java和StreamingJob.java 分别对应Flink 批量接口DataSet的实例代码和流式接口DataStream的实例代码。

2. 编写业务代码

将上述项目导入到IDEA中,Flink应用程序模板如下图所示。

2652f5aa2f87e74b2b954d1bd7c1c503.png

打开StreamingJob.java文件,实现简单的单词统计(Word Count)业务功能。

具体代码如下所示。

package com.rickie.tutorial;

import org.apache.flink.api.common.functions.FlatMapFunction;

import org.apache.flink.api.java.tuple.Tuple2;

import org.apache.flink.streaming.api.datastream.DataStream;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import org.apache.flink.streaming.api.windowing.time.Time;

import org.apache.flink.util.Collector;

/**

* Skeleton for a Flink Streaming Job.

*

*

For a tutorial how to write a Flink streaming application, check the

* tutorials and examples on the Flink Website.

*

*

To package your application into a JAR file for execution, run

* 'mvn clean package' on the command line.

*

*

If you change the name of the main class (with the public static void main(String[] args))

* method, change the respective entry in the POM.xml file (simply search for 'mainClass').

*/

public class StreamingJob {

public static void main(String[] args) throws Exception {

// set up the streaming execution environment

// 设置streaming运行环境

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 连接socket获取输入的数据

DataStream text = env.socketTextStream("127.0.0.1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/340159.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用UriBuilder快速创建URI

如果您有权访问JAX-RS API和项目中的实现(很多这样做),则可以使用JAX-RS的UriBuilder通过使用可解析占位符的构建器模式方便地创建URI。 看下面的例子: String host System.getProperty( "host" , "localhost&qu…

python中列表和元组的相同点和不同点_详解Python语言中元组和列表的区别

本篇介绍Python中的元组数据类型,文中会讨论元组与列表的区别,元组的声明、赋值及其相关运算。通过本篇的学习,可以达成如下目标。 ● 掌握元组和列表的区别 ● 掌握元组的声明和赋值 ● 掌握适用于元组的相关运算 Python元组和Python列表数据…

mysql的复制订阅_如何删除发布与复制订阅数据库 'distribuion' 的方法

之前因为从VFP数据库中把数据导入到SQL SERVER2000中,用DTS做了发布与复制数据库distribution ,现在要把它删除,当在企业管理器中执行删除时,提示下面的错误:Error 3724: cannot drop the database distribution becau…

matlabif语句怎么用_公益心 码客行(2)—— 简单语句

回顾与反思&#xff1a;cout语句的用法关于第一课的思考与实践问题&#xff0c;有答案了吗——请写出这个程序的输出结果。#include using namespace std;int main(){cout<<1<cout<<12<return 0;}提示&#xff1a;输出结果如下。13即&#xff1a;输出项为数值…

java 多线程 聊天_Java做一个多线程类似于QQ的聊天程序。

展开全部//时间关系,粗略的做了一下,一个模拟UDP协议的测试,图标,IP,以及端口都可以设成//发送者端的电脑参数32313133353236313431303231363533e78988e69d8331333366306533!import java.awt.BorderLayout;import java.awt.Color;import java.awt.GridLayout;import java.awt.e…

组织机构代码输入测试用例_测试代码以用于过大的输入

组织机构代码输入测试用例在编写单元测试时&#xff0c;我们主要关注业务的正确性。 我们将竭尽所能&#xff0c;开开心心地走在最前沿。 我们有时会进行微基准测试并衡量吞吐量。 但是经常遗漏的一个方面是当输入过大时我们的代码如何表现&#xff1f; 我们测试了如何处理正常…

python子进程关闭fd_python – 捕获崩溃的子进程的“分段错误”...

shell可能会生成“Segmentation fault”消息.要找出该过程是否被SIGSEGV杀死,请检查proc.returncode -signal.SIGSEGV.如果要查看消息,可以在shell中运行该命令&#xff1a;#!/usr/bin/env pythonfrom subprocess import Popen, PIPEproc Popen(shell_command, shellTrue, st…

layui 分页 固定底部_论layui的使用体验

layui这个东西有收费跟免费版本&#xff0c;当然我在工作当中用的是免费的版本。至于说我为什么要用这个东西了&#xff1f;原因是这样的&#xff0c;当时我们用的是datatables&#xff0c;由于前期工作上没有相关的需求说是要什么表格相关列固定啊&#xff0c;自动统计啊&…

巴特沃斯滤波器python_如何用Scipy.signal.bu实现带通巴特沃斯滤波器

您可以跳过button的使用&#xff0c;而只需为过滤器选择一个顺序&#xff0c;看看它是否符合您的过滤条件。要生成带通滤波器的滤波器系数&#xff0c;请将滤波器阶数、截止频率Wn[low, high]&#xff08;表示为奈奎斯特频率的分数&#xff0c;即采样频率的一半&#xff09;和频…

章鱼扫描仪:Java构建工具和恶意软件

Alvaro Munoz最近在GitHub Security Lab网站上发布了“ Octopus扫描程序恶意软件&#xff1a;攻击开源供应链 ”。 我发现这篇文章很有趣&#xff0c;原因有很多&#xff0c;其中包括对Octopus Scanner恶意软件如何工作以及如何被发现&#xff0c; GitHub安全事件报告团队 &…

java gnu_GNU/Linux下Java开发环境的安装和配置 | 学步园

首先下载JDK&#xff0c;在http://www.oracle.com/technetwork/java/javase/downloads/index.html下载最新版本的JDK&#xff0c;选择平台为linux&#xff0c;就会得到一个二进制文件&#xff0c;我得到的是jdk-6u23-linux-i586.bin&#xff0c;复制到需要安装的地方运行就会自…

css初始化_利用CSS变量实现炫酷的悬浮效果

这个动画是将鼠标移动到订阅按钮上移动光标会显示相应的彩色渐变。这个想法很简单&#xff0c;但是它能使这个按钮脱颖而出&#xff0c;人们一下子就注意到它了&#xff0c;增加了点击的概率。怎样才能达到这个效果&#xff0c;使我们的网站脱颖而出呢&#xff1f;其实&#xf…

glass fish_Glass Fish 4.0.1中的Jersey SSE功能

glass fishGlass Fish为各种Java EE规范捆绑了不同的参考实现&#xff0c;例如&#xff0c;CDI的Weld&#xff0c;JSF的Mojarra&#xff0c;WebSocket的Tyrus&#xff0c;JAX-RS的Jersey。 Glass Fish 4.0.1即将发布&#xff0c;并计划涵盖许多组件/模块的更新&#xff0c;这些…

java 区号_求您!JAVA作业,窗口查询区号!

窗口程序作业说明完成一个查询区号的窗口程序&#xff0c;功能要求如下(作业需要的数据见citycode.txt)程序打开时自动读取保存在文件中的数据信息程序至少提供一个输入及输出控件&#xff0c;一个查询按...窗口程序作业说明完成一个查询区号的窗口程序&#xff0c;功能要求如下…

css清除浮动的几种方法_web前端学习路线分享CSS浮动-清除浮动篇

web前端学习路线分享CSS浮动-清除浮动篇&#xff0c;为什么要清除浮动这里所说的清除浮动&#xff0c;并不是不要浮动了&#xff0c;而是清除浮动与浮动之间的影响。那么到底会有什么影响呢&#xff1f;1&#xff0e;高度塌陷举个例子我们看一下。我们在这里设置了div0是外容器…

AWS Lambda将数据保存在DynamoDB中

在本教程中&#xff0c;我们将看到如何使用AWS Lambda将数据保存在Dynamo DB中。 这是必需的步骤&#xff1a; – 在Dynamo数据库中创建一个名为Employee的表 –创建一个AWS Lambda函数&#xff0c;该函数可以使用Dynamo数据库中的Employee POJO保存雇员的名字和姓氏 –创建…

java 循环map 优雅写法_Java for循环Map集合优化实现解析

这篇文章主要介绍了java for循环map集合优化实现解析,文中通过示例代码介绍的非常详细&#xff0c;对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下在《for循环实战性能优化》中提出了五种提升for循环性能的优化策略&#xff0c;这次我们在其中嵌套循环优化小…

java list 取几个字段组装成map_24道Java各类常见问题整理

(1) JSP学了EL表达式就行了吧&#xff0c;还需要深入么&#xff1f;还有spring现在学5就行了吧&#xff1f;总觉得类与对象这里好难&#xff0c;理解不来(2) 我想问问在校生需要学习JAVA到哪种程度&#xff0c;然后再学学数据结构和算法能达到校招面试的水平(3) 静态变量与实例…

java私有属性和私有方法_Java私有,受保护,公共和默认

java私有属性和私有方法您是Java程序员&#xff0c;所以您知道我在说什么。 public修饰符使方法或字段可从应用程序中的任何位置访问。 那是简单的部分。 但是&#xff0c;您能告诉我protected和包私有的区别吗&#xff1f; &#xff08;提示&#xff1a;如果您未在方法或字段前…

Maven硒测试自动化教程

在进行测试自动化项目时&#xff0c;您需要与之关联的所有Selenium依赖项。 通常&#xff0c;这些依赖项是在项目生命周期中手动下载和升级的&#xff0c;但是随着项目规模的扩大&#xff0c;管理依赖项可能会非常困难。 这就是为什么需要构建自动化工具&#xff08;例如Maven&…