【kettle】mysql数据抽取至kafka/消费kafka数据存入mysql

目录

      • 一、mysql数据抽取至kafka
        • 1、表输入
        • 2、json output
        • 3、kafka producer
        • 4、启动转换，查看是否可以消费
      • 二、消费kafka数据存入mysql
        • 1、Kafka consumer
        • 2、Get records from stream
        • 3、字段选择
        • 4、JSON input
        • 5、表输出

一、mysql数据抽取至kafka

在这里插入图片描述

1、表输入

点击新建数据源
在sql窗口输入sql
在这里插入图片描述

2、json output

操作选择Output value
根据需要更改字段名
在这里插入图片描述
在这里插入图片描述

3、kafka producer

Bootstrap servers:kafka集群中的ip及端口
Client ID:随便
Topic：拉下选择
Key field：随便
Messaage field：随便
在这里插入图片描述
在这里插入图片描述

4、启动转换，查看是否可以消费

在这里插入图片描述
在这里插入图片描述

二、消费kafka数据存入mysql

在这里插入图片描述
在这里插入图片描述

1、Kafka consumer

Bootstrap servers:kafka集群中的ip及端口
consumer group：自定义
Result fields：选择Get records from stream这个转换
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、Get records from stream

在这里插入图片描述

3、字段选择

在这里插入图片描述

4、JSON input

在这里插入图片描述
在这里插入图片描述

5、表输出

事先在mysql中创建目标表以存放数据，也可以在该窗口点击SQL创建
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/888691.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

在 MacOS 上为 LM Studio 更换镜像源

在 MacOS 上为 LM Studio 更换镜像源

在 MacOS 之中使用 LM Studio 部署本地 LLM时，用户可能会遇到无法下载模型的问题。 一般的解决方法是在 huggingface.co 或者国内的镜像站 hf-mirror.com 的项目介绍卡页面下载模型后拖入 LM Studio 的模型文件夹。这样无法利用 LM Studio 本身的搜索功能。 本文将…
阅读更多...
vue中.sync修饰符的用法

vue中.sync修饰符的用法

一、什么是.sync修饰符 在Vue.js中，.sync 修饰符用于创建一个双向绑定的 prop。它使子组件能够更新父组件的 prop 值，实现父子组件之间的双向数据同步。具体来说，.sync 修饰符主要有以下几个功能： 简化双向绑定： 使用…
阅读更多...
【附源码】基于环信鸿蒙IM SDK实现一个聊天Demo

【附源码】基于环信鸿蒙IM SDK实现一个聊天Demo

项目背景 本项目基于环信IM 鸿蒙SDK 打造的鸿蒙IM Demo，完全适配HarmonyOS NEXT系统，实现了发送消息，添加好友等基础功能。代码开源，功能简洁，如果您有类似开发需求可以参考。 源码地址：https://github.c…
阅读更多...
SHELL----正则表达式

SHELL----正则表达式

一、文本搜索工具——grep grep -参数 条件 文件名 其中参数有以下： -i 忽略大小写 -c 统计匹配的行数 -v 取反，不显示匹配的行 -w 匹配单词 -E 等价于 egrep ，即启用扩展正则表达式 -n 显示行号 -rl 将指定目录内的文件打…
阅读更多...
Can‘t find variable: token（token is not defined）

Can‘t find variable: token（token is not defined）

文章目录 例子 1：使用 var例子 2：使用 let 或 const例子 3：异步操作你的代码中的情况 Cant find variable: tokentoken is not defined源代码 // index.jsPage({data: {products:[],cardLayout: grid, // 默认卡片布局为网格模式isGrid: tr…
阅读更多...
【AI系统】GhostNet 系列

【AI系统】GhostNet 系列

GhostNet 系列 本文主要会介绍 GhostNet 系列网络，在本文中会给大家带来卷积结构的改进方面的轻量化，以及与注意力(self-attention)模块的进行结合，部署更高效，更适合移动计算的 GhostNetV2。让读者更清楚的区别 V2 与 V1 之间的…
阅读更多...
YOLOv8改进，YOLOv8引入CARAFE轻量级通用上采样算子，助力模型涨点

YOLOv8改进，YOLOv8引入CARAFE轻量级通用上采样算子，助力模型涨点

摘要 CARAFE模块的设计目的是在不增加计算复杂度的情况下，提升特征图的质量，特别是在视频超分辨率任务中，提升图像质量和细节。CARAFE结合了上下文感知机制和聚合特征的能力，通过动态的上下文注意力机制来提升细节恢复的效果。 理论介绍 传统的卷积操作通常依赖于局部区域…
阅读更多...
大型制造企业IT蓝图、信息化系统技术架构规划与实施路线方案

大型制造企业IT蓝图、信息化系统技术架构规划与实施路线方案

关注 获取ppt​​​​​​全文，请关注作者
阅读更多...
HTTP 长连接（HTTP Persistent Connection）简介

HTTP 长连接（HTTP Persistent Connection）简介

HTTP长连接怎么看？ HTTP 长连接（HTTP Persistent Connection）简介 HTTP 长连接（Persistent Connection）是 HTTP/1.1 的一个重要特性，它允许在一个 TCP 连接上发送多个 HTTP 请求和响应，而无需为…
阅读更多...
001集—— 创建一个WPF项目 ——WPF应用程序入门 C#

001集—— 创建一个WPF项目 ——WPF应用程序入门 C#

本例为一个WPF应用&#xff08;.NET FrameWork&#xff09;。 首先创建一个项目 双击xaml文件 双击xaml文件进入如下界面&#xff0c;开始编写代码。 效果如下&#xff1a; 付代码&#xff1a; <Window x:Class"WpfDemoFW.MainWindow"xmlns"http://schema…
阅读更多...
微信小程序配置less并使用

微信小程序配置less并使用

1.在VScode中下载Less插件 2.在微信小程序中依次点击如下按钮 选择 从已解压的扩展文件夹安装… 3.选中刚在vscode中下载安装的插件文件 如果没有修改过插件的安装目录&#xff0c;一般是在c盘下C:\用户\用户名.vscode\extensions\mrcrowl.easy-less-2.0.2 我的路径是&#xf…
阅读更多...
Vue网页屏保

Vue网页屏保

Vue网页屏保 在vue项目中&#xff0c;如果项目长时间未操作需要弹出屏幕保护程序&#xff0c;以下为网页屏保效果&#xff0c;看板内容为连接的资源。 屏保组件 <template><div v-if"isActive" class"screensaver" click"disableScreens…
阅读更多...
【SpringBoot】使用IDEA创建SpringBoot项目

【SpringBoot】使用IDEA创建SpringBoot项目

1、使用SpringBoot脚手架创建 我们使用SpringBoot的脚手架Spring Initializr创建&#xff0c;如图所示&#xff1a; 2、选择SpringBoot版本 最开始做项目时候&#xff0c;组长说创建一个 springboot 2.5.4 的项目&#xff0c;mysql使用 5.6.X &#xff0c;maven使用是3.6.X…
阅读更多...
如何在鸿蒙API9和x86模拟器中使用MQTT

如何在鸿蒙API9和x86模拟器中使用MQTT

目录 引言 安装MQTT软件包 避免MQTT软件包自动升级 程序的编写 运行测试 结语 引言 虽然我的课主要是OpenHarmony南向开发的&#xff0c;但是结课时有个同学说他在写鸿蒙APP时无法将MQTT库加入到设备中&#xff0c;希望我帮忙看看。由于他没有鸿蒙的真机&#xff0c;只能…
阅读更多...
保姆级教程用vite创建vue3项目并初始化添加PrimeVue UI踩坑实录

保姆级教程用vite创建vue3项目并初始化添加PrimeVue UI踩坑实录

文章目录 一、什么是PrimeVue二、详细教程1.添加PrimeVue2.配置main.js3.添加自动引入4.配置vite.config.js5.创建测试页面 一、什么是PrimeVue PrimeVue 是一个用于 Vue.js 3.x 开发的一款高质量、广受欢迎的 Web UI 组件库。 官网地址&#xff1a;https://primevue.org/ 二、…
阅读更多...
QT的ui界面显示不全问题（适应高分辨率屏幕）

QT的ui界面显示不全问题（适应高分辨率屏幕）

//自动适应高分辨率 QCoreApplication::setAttribute(Qt::AA_EnableHighDpiScaling);一、问题 电脑分辨率高&#xff0c;默认情况下&#xff0c;打开QT的ui界面&#xff0c;显示不全按钮内容 二、解决方案 如果自己的电脑分辨率较高&#xff0c;可以尝试以下方案&#xff1a;自…
阅读更多...
超级详细，如何手动安装python第三方库？

超级详细，如何手动安装python第三方库？

文章目录 1&#xff0c;python第三方库安装包有3种类型2&#xff0c;python第三方库安装包whl文件如何安装&#xff1f;3&#xff0c;python第三方库安装包zip和tar.gz文件如何安装&#xff1f;4&#xff0c; python第三方库安装包exe文件如何安装&#xff1f; 手动安装第三方库…
阅读更多...
Alibaba EasyExcel 导入导出全家桶

Alibaba EasyExcel 导入导出全家桶

一、阿里巴巴EasyExcel的优势 首先说下EasyExcel相对 Apache poi的优势&#xff1a; EasyExcel也是阿里研发在poi基础上做了封装&#xff0c;改进产物。它替开发者做了注解列表解析&#xff0c;表格填充等一系列代码编写工作&#xff0c;并将此抽象成通用和可扩展的框架。相对p…
阅读更多...
什么叫自动获得ip地址？自动获得的ip地址怎么设置

什么叫自动获得ip地址？自动获得的ip地址怎么设置

在数字化时代&#xff0c;网络连接已成为我们日常生活和工作中不可或缺的一部分。然而&#xff0c;对于非技术用户而言&#xff0c;复杂的网络配置常常令人感到困惑。幸运的是&#xff0c;自动获得IP地址技术的出现&#xff0c;极大地简化了网络配置过程。本文将详细介绍自动获…
阅读更多...
流媒体之linux下离线部署FFmpeg 和 SRS

流媒体之linux下离线部署FFmpeg 和 SRS

前言 用户对网络做了限制&#xff0c;只能访问指定的网址&#xff0c;和没网没啥区别&#xff0c;导致无法连接外网&#xff0c;无法获取安装包&#xff0c;还有一些编译需要的开源工具 用户需要用平台查看库房的海康摄像头实时监控&#xff0c;只能在库房里一台纯净的ubantu…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023