【kettle】mysql数据抽取至kafka/消费kafka数据存入mysql

目录

      • 一、mysql数据抽取至kafka
        • 1、表输入
        • 2、json output
        • 3、kafka producer
        • 4、启动转换，查看是否可以消费
      • 二、消费kafka数据存入mysql
        • 1、Kafka consumer
        • 2、Get records from stream
        • 3、字段选择
        • 4、JSON input
        • 5、表输出

一、mysql数据抽取至kafka

在这里插入图片描述

1、表输入

点击新建数据源
在sql窗口输入sql
在这里插入图片描述

2、json output

操作选择Output value
根据需要更改字段名
在这里插入图片描述
在这里插入图片描述

3、kafka producer

Bootstrap servers:kafka集群中的ip及端口
Client ID:随便
Topic：拉下选择
Key field：随便
Messaage field：随便
在这里插入图片描述
在这里插入图片描述

4、启动转换，查看是否可以消费

在这里插入图片描述
在这里插入图片描述

二、消费kafka数据存入mysql

在这里插入图片描述
在这里插入图片描述

1、Kafka consumer

Bootstrap servers:kafka集群中的ip及端口
consumer group：自定义
Result fields：选择Get records from stream这个转换
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、Get records from stream

在这里插入图片描述

3、字段选择

在这里插入图片描述

4、JSON input

在这里插入图片描述
在这里插入图片描述

5、表输出

事先在mysql中创建目标表以存放数据，也可以在该窗口点击SQL创建
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/888691.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

docker-compose部署skywalking 8.1.0

docker-compose部署skywalking 8.1.0

一、下载镜像 #注意 skywalking-oap-server和skywalking java agent版本强关联，版本需要保持一致性 docker pull elasticsearch:7.9.0 docker pull apache/skywalking-oap-server:8.1.0-es7 docker pull apache/skywalking-ui:8.1.0二、部署文件docker-compose.yam…
阅读更多...
用Python开发一个经典贪吃蛇小游戏

用Python开发一个经典贪吃蛇小游戏

Python 是开发小游戏的绝佳工具，借助第三方库，如 pygame，我们可以快速开发一个经典的贪吃蛇游戏。本篇将介绍如何用 Python 实现一个完整的贪吃蛇小游戏。 一、游戏设计 1.1 游戏规则 玩家通过方向键控制贪吃蛇移动。贪吃蛇吃到食物后会变长，同时得分增加。如果贪吃蛇撞到…
阅读更多...
在 MacOS 上为 LM Studio 更换镜像源

在 MacOS 上为 LM Studio 更换镜像源

在 MacOS 之中使用 LM Studio 部署本地 LLM时，用户可能会遇到无法下载模型的问题。 一般的解决方法是在 huggingface.co 或者国内的镜像站 hf-mirror.com 的项目介绍卡页面下载模型后拖入 LM Studio 的模型文件夹。这样无法利用 LM Studio 本身的搜索功能。 本文将…
阅读更多...
vue中.sync修饰符的用法

vue中.sync修饰符的用法

一、什么是.sync修饰符 在Vue.js中，.sync 修饰符用于创建一个双向绑定的 prop。它使子组件能够更新父组件的 prop 值，实现父子组件之间的双向数据同步。具体来说，.sync 修饰符主要有以下几个功能： 简化双向绑定： 使用…
阅读更多...
【附源码】基于环信鸿蒙IM SDK实现一个聊天Demo

【附源码】基于环信鸿蒙IM SDK实现一个聊天Demo

项目背景 本项目基于环信IM 鸿蒙SDK 打造的鸿蒙IM Demo，完全适配HarmonyOS NEXT系统，实现了发送消息，添加好友等基础功能。代码开源，功能简洁，如果您有类似开发需求可以参考。 源码地址：https://github.c…
阅读更多...
SHELL----正则表达式

SHELL----正则表达式

一、文本搜索工具——grep grep -参数 条件 文件名 其中参数有以下： -i 忽略大小写 -c 统计匹配的行数 -v 取反，不显示匹配的行 -w 匹配单词 -E 等价于 egrep ，即启用扩展正则表达式 -n 显示行号 -rl 将指定目录内的文件打…
阅读更多...
Can‘t find variable: token（token is not defined）

Can‘t find variable: token（token is not defined）

文章目录 例子 1：使用 var例子 2：使用 let 或 const例子 3：异步操作你的代码中的情况 Cant find variable: tokentoken is not defined源代码 // index.jsPage({data: {products:[],cardLayout: grid, // 默认卡片布局为网格模式isGrid: tr…
阅读更多...
Kafka-创建topic源码

Kafka-创建topic源码

一、命令创建topic kafka-topics --create --topic quickstart-events --bootstrap-server cdh1:9092 --partitions 2 --replication-factor 2 二、kafka-topics脚本 exec $(dirname $0)/kafka-run-class.sh org.apache.kafka.tools.TopicCommand "$" 脚本中指定了…
阅读更多...
【AI系统】GhostNet 系列

【AI系统】GhostNet 系列

GhostNet 系列 本文主要会介绍 GhostNet 系列网络，在本文中会给大家带来卷积结构的改进方面的轻量化，以及与注意力(self-attention)模块的进行结合，部署更高效，更适合移动计算的 GhostNetV2。让读者更清楚的区别 V2 与 V1 之间的…
阅读更多...
传奇996_51——脱下装备，附加属性设为0

传奇996_51——脱下装备，附加属性设为0

奶奶的lua怎么都修改不了&#xff0c;可以调用txt的 ; LINKPICKUPITEM ; ChangeitemaddvaLue -1 5 0 ; GETITEMADDVALUE 3 5 M10 ; SENDUPGRADEITEM ; SENDMSG 9 你的衣服附加了<$STR(M10)>点防御属性. 或者lua callscriptex(actor,“LINKPICKUPITEM”) callscriptex(…
阅读更多...
YOLOv8改进，YOLOv8引入CARAFE轻量级通用上采样算子，助力模型涨点

YOLOv8改进，YOLOv8引入CARAFE轻量级通用上采样算子，助力模型涨点

摘要 CARAFE模块的设计目的是在不增加计算复杂度的情况下，提升特征图的质量，特别是在视频超分辨率任务中，提升图像质量和细节。CARAFE结合了上下文感知机制和聚合特征的能力，通过动态的上下文注意力机制来提升细节恢复的效果。 理论介绍 传统的卷积操作通常依赖于局部区域…
阅读更多...
大型制造企业IT蓝图、信息化系统技术架构规划与实施路线方案

大型制造企业IT蓝图、信息化系统技术架构规划与实施路线方案

关注 获取ppt​​​​​​全文&#xff0c;请关注作者
阅读更多...
HTTP 长连接（HTTP Persistent Connection）简介

HTTP 长连接（HTTP Persistent Connection）简介

HTTP长连接怎么看&#xff1f; HTTP 长连接&#xff08;HTTP Persistent Connection&#xff09;简介 HTTP 长连接&#xff08;Persistent Connection&#xff09;是 HTTP/1.1 的一个重要特性&#xff0c;它允许在一个 TCP 连接上发送多个 HTTP 请求和响应&#xff0c;而无需为…
阅读更多...
MySQL悲观锁和乐观锁

MySQL悲观锁和乐观锁

MySQL悲观锁和乐观锁 在数据库中&#xff0c;锁是用来管理并发控制的一种机制&#xff0c;确保数据的一致性和完整性。MySQL中的悲观锁和乐观锁是两种不同的并发控制策略&#xff0c;它们在处理并发事务时采用不同的方法。 悲观锁&#xff08;Pessimistic Locking&#xff09…
阅读更多...
控制模组进入飞行模式

控制模组进入飞行模式

控制模组进入飞行模式 控制模组进入飞行模式 控制模组进入飞行模式 控制模组进入飞行模式 #!/bin/bash ## 5G模组采用USB3.0与上位机连接&#xff0c;usb接口在上位机上虚拟出多个port,其中一个可用于发送AT命令&#xff0c;控制模组 ## 本脚本控制模组进入飞行模式## flyin …
阅读更多...
001集—— 创建一个WPF项目 ——WPF应用程序入门 C#

001集—— 创建一个WPF项目 ——WPF应用程序入门 C#

本例为一个WPF应用&#xff08;.NET FrameWork&#xff09;。 首先创建一个项目 双击xaml文件 双击xaml文件进入如下界面&#xff0c;开始编写代码。 效果如下&#xff1a; 付代码&#xff1a; <Window x:Class"WpfDemoFW.MainWindow"xmlns"http://schema…
阅读更多...
微信小程序配置less并使用

微信小程序配置less并使用

1.在VScode中下载Less插件 2.在微信小程序中依次点击如下按钮 选择 从已解压的扩展文件夹安装… 3.选中刚在vscode中下载安装的插件文件 如果没有修改过插件的安装目录&#xff0c;一般是在c盘下C:\用户\用户名.vscode\extensions\mrcrowl.easy-less-2.0.2 我的路径是&#xf…
阅读更多...
AUTOSAR AP 汽车API知识点总结（Automotive API ）R24-11

AUTOSAR AP 汽车API知识点总结（Automotive API ）R24-11

汽车API知识点总结 一、背景与目标 背景：智能互联汽车正逐步依赖远程诊断、软件更新等功能以确保行驶安全，并且用户已习惯于通过智能设备中的应用程序控制连接设备。虽然AUTOSAR标准支持车辆软件的可更新性，但尚未提供将AUTOSAR应用产生的数据和功能安全可靠地暴露给非AUTO…
阅读更多...
Vue网页屏保

Vue网页屏保

Vue网页屏保 在vue项目中&#xff0c;如果项目长时间未操作需要弹出屏幕保护程序&#xff0c;以下为网页屏保效果&#xff0c;看板内容为连接的资源。 屏保组件 <template><div v-if"isActive" class"screensaver" click"disableScreens…
阅读更多...
【SpringBoot】使用IDEA创建SpringBoot项目

【SpringBoot】使用IDEA创建SpringBoot项目

1、使用SpringBoot脚手架创建 我们使用SpringBoot的脚手架Spring Initializr创建&#xff0c;如图所示&#xff1a; 2、选择SpringBoot版本 最开始做项目时候&#xff0c;组长说创建一个 springboot 2.5.4 的项目&#xff0c;mysql使用 5.6.X &#xff0c;maven使用是3.6.X…
阅读更多...
最新文章

Copyright @ 2022~2023