【Flink】FlinkSQL的DataGen连接器(测试利器)

简介

我们在实际开发过程中可以使用FlinkSQL的DataGen连接器实现FlinkSQL的批或者流模拟数据生成,DataGen 连接器允许按数据生成规则进行读取,但注意:DataGen连接器不支持复杂类型: Array,Map,Row。 请用计算列构造这些类型
 

创建有界DataGen表

CREATE TABLE test (
  a INT,
  b STRING,
  createtime TIMESTAMP(3),
  WATERMARK FOR createtime AS createtime - INTERVAL '5' SECOND
) WITH (
 'connector' = 'datagen',
 'fields.a.kind'='sequence',
 'fields.a.start'='1',
 'fields.a.end'='10'
);
 

有界 DataGen连接器需要上述参数,只会生成固定范围的数据从设置的start到end

fields.a.kind中的a为列名,最后的参数必须为sequence,

必须有fields.a.start和'fields.a.end,其中a为自定义的列名

创建无界DataGen表

CREATE TABLE streamTable(
  a INT,
  c STRING,
  createtime TIMESTAMP(3)
) WITH (
 'connector'

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/675651.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

项目02《游戏-09-开发》Unity3D

基于 项目02《游戏-08-开发》Unity3D , 本次任务是做抽卡界面,获取的卡片增添在背包中,并在背包中可以删除卡片, 首先在Canvas下创建一个空物体,命名为LotteryPanel,作为抽卡界面, …

MyBatis之动态代理实现增删改查以及MyBatis-config.xml中读取DB信息文件和SQL中JavaBean别名配置

MyBatis之环境搭建以及实现增删改查 前言实现步骤1. 编写MyBatis-config.xml配置文件2. 编写Mapper.xml文件(增删改查SQL文)3. 定义PeronMapper接口4. 编写测试类1. 执行步骤2. 代码实例3. 运行log 开发环境构造图总结 前言 上一篇文章,我们…

PySpark(三)RDD持久化、共享变量、Spark内核制度,Spark Shuffle、Spark执行流程

目录 RDD持久化 RDD 的数据是过程数据 RDD 缓存 RDD CheckPoint 共享变量 广播变量 累加器 Spark 内核调度 DAG DAG 的宽窄依赖和阶段划分 内存迭代计算 Spark是怎么做内存计算的? DAG的作用?Stage阶段划分的作用? Spark为什么比MapReduce快? Spa…

Could not connect to Redis at 127.0.0.1:6379:由于目标计算机积极拒绝,无法连接...问题解决方法之一

一、问题描述 将Redis压缩包解压后,安装Redis过程中出现问题Could not connect to Redis at 127.0.0.1:6379:由于目标计算机积极拒绝,无法连接... 官网windows下redis开机自启动的指令如下: 1、在redis目录下执行 redis-server --service-in…

GEE Colab——如何利用Matplotlib在colab中进行图形制作

在colab中绘制图表 笔记本的一个常见用途是使用图表进行数据可视化。Colaboratory 提供多种图表工具作为 Python 导入,让这一工作变得简单。 Matplotlib Matplotlib 是最常用的图表工具包,详情请查看其文档,并通过示例获得灵感。 线性图 线性图是一种常见的图表类型,用…

设置了.gitignore文件,但某些需要被忽略的文件仍然显示

经在项目中设置了.gitignore文件,但某些需要被忽略的文件仍然显示在 "Changes not staged for commit" 中,可能有几个原因: 1、文件已经被提交到版本控制中:如果文件已经被提交到版本控制中(例如通过git ad…

按键扫描16Hz-单片机通用模板

按键扫描16Hz-单片机通用模板 一、按键扫描的原理1、直接检测高低电平类型2、矩阵扫描类型3、ADC检测类型二、key.c的实现1、void keyScan(void) 按键扫描函数①void FHiKey(void) 按键按下功能②void FSameKey(void) 按键长按功能③void FLowKey(void) 按键释放功能三、key.h的…

算法训练营day24补,回溯4-1

import ( "strconv" "strings" ) //判断ip是否合法 func isValid(s string) bool { if s ! "0" && s[0] 0 { return false } num, _ : strconv.Atoi(s) if num < 0 || num > 255 { return false } return true } 93. 复原 IP…

JavaScript综合练习2

JavaScript 综合练习 2 1. 案例演示 2. 代码实现 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><title&…

Springboot根据环境读取application配置文件

目录 1. 首先创建两个不同配置文件 2. pom.xml 配置文件 3. 指定环境 4. 最后启动测试 1. 首先创建两个不同配置文件 分别为开发环境和生产环境 application-dev.properties 和 application-prod.properties application-dev.properties 配置为 1931 端口 application-pro…

放假--寒假自学版 day1(补2.5)

fread 函数&#xff1a; 今日练习 C语言面试题5道~ 1. static 有什么用途&#xff1f;&#xff08;请至少说明两种&#xff09; 1) 限制变量的作用域 2) 设置变量的存储域 2. 引用与指针有什么区别&#xff1f; 1) 引用必须被初始化&#xff0c;指针不必。 2) 引用初始…

[office] excel怎么在表格中画斜线 #经验分享#知识分享#媒体

excel怎么在表格中画斜线 在日常工作中&#xff0c;有时需要用excel做报表&#xff0c;而又经常会用到斜线表头。那么在excel表格中&#xff0c;如何画斜线呢?下面就跟小编一起看看吧。 excel在表格中画斜线的步骤 第一步我们首先打开要画斜线的excel表格 第二步对着表格右击&…

【大数据】Flink 中的 Slot、Task、Subtask、并行度

Flink 中的 Slot、Task、Subtask、并行度 1.并行度2.Task 与线程3.算子链与 slot 共享资源组4.Task slots 与系统资源5.总结 我们在使用 Flink 时&#xff0c;经常会听到 task&#xff0c;slot&#xff0c;线程 以及 并行度 这几个概念&#xff0c;对于初学者来说&#xff0c;这…

【网工】华为设备命令学习(服务器发布)

本次实验主要是内网静态nat配置没&#xff0c;对外地址可以理解为一台内网的服务器&#xff0c;外网设备可以ping通内网的服务器设备&#xff0c;但是ping不通内网的IP。 除了AR1设备配置有区别&#xff0c;其他设备都是基础IP的配置。 [Huawei]int g0/0/0 [Huawei-GigabitEt…

双指针和单调栈

双指针 用于解决一类基于子段的统计问题 子段就是&#xff1a;数组中连续的一段 可以用一个闭区间来表示数组中的连续一段 这个方法核心就是优化&#xff1a;两种循环的枚举 也就是枚举左端点l和右端点r的所有可能优化关键就是&#xff1a;去除枚举中的冗余部分 具体优化策略…

设计模式-行为型模式(下)

1.访问者模式 访问者模式在实际开发中使用的非常少,因为它比较难以实现并且应用该模式肯能会导致代码的可读性变差,可维护性变差,在没有特别必要的情况下,不建议使用访问者模式. 访问者模式(Visitor Pattern) 的原始定义是&#xff1a; 允许在运行时将一个或多个操作应用于一…

【linux开发工具】vim详解

&#x1f4d9; 作者简介 &#xff1a;RO-BERRY &#x1f4d7; 学习方向&#xff1a;致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 &#x1f4d2; 日后方向 : 偏向于CPP开发以及大数据方向&#xff0c;欢迎各位关注&#xff0c;谢谢各位的支持 “学如逆水行舟&#xff0…

自适应二次元404页面源码

自适应二次元404页面源码&#xff0c;HTMLCSSJS,喜欢二次元的朋友可以下载使用 蓝奏云&#xff1a;https://wfr.lanzout.com/iuPNQ1ns7dxg

Linux I/O 重定向简介

简介 Linux 中内置的重定向功能为您提供了一套强大的工具&#xff0c;可以优化许多工作流程。软件开发的“Unix 哲学”是制作每个都能很好地完成一件事的工具&#xff0c;这一哲学已经延续到现代命令行工具&#xff0c;这些工具在单独使用时非常强大&#xff0c;当它们组合在一…

编程中“游戏心切”心态的影响及其对策探讨

在数字化社会背景下&#xff0c;程序员作为科技领域的核心力量&#xff0c;其工作效率与专注度直接影响着项目的推进速度和质量。然而&#xff0c;在实际工作中&#xff0c;不少程序员可能会受到个人兴趣&#xff0c;如对某款游戏的强烈期待和渴望&#xff0c;导致在编程过程中…