使用 Clickhouse 集成的表引擎同步数据方式详解

Clickhouse作为一个列式存储分析型数据库,提供了很多集成其他组件的表引擎数据同步方案。

官网介绍

 一 Kafka 表引擎

使用Clickhouse集成的Kafka表引擎消费Kafka写入Clickhouse表中。 

1.1 流程图

1.2 建表

根据上面的流程图需要建立三张表,分别Clickhouse存储数据表、Kafka数据消费引擎表、物化视图。

(1)Clickhouse存储数据表

create table if not exists my_test (`id` Int64 comment '主键ID',`name` String comment '名称',`create_time` DateTime comment '创建时间'
)ENGINE = MergeTree()
PARTITION BY toInt64(toYYYYMMDD(create_time))
PRIMARY KEY id
ORDER BY (id, create_time)
SETTINGS index_granularity = 8192;

(2)Kafka数据消费引擎表

create table if not exists kafka_my_test (`id` Int64 comment '主键ID',`name` String comment '名称',`create_time` DateTime comment '创建时间'
)ENGINE = Kafka()
SETTINGS
kafka_broker_list = '192.168.10.1:9092',
kafka_topic_list = 'kafka_m_test',
kafka_group_name = 'group_id_test',
kafka_format = 'JSONEachRow';

必要参数:

  • kafka_broker_list – 以逗号分隔的 brokers 列表 (localhost:9092)。
  • kafka_topic_list – topic 列表 (my_topic)。
  • kafka_group_name – Kafka 消费组名称 (group1)。如果不希望消息在集群中重复,请在每个分片中使用相同的组名。
  • kafka_format – 消息体格式。使用与 SQL 部分的 FORMAT 函数相同表示方法,例如 JSONEachRow。了解详细信息,请参考 Formats 部分。

可选参数:

  • kafka_row_delimiter - 每个消息体(记录)之间的分隔符。
  • kafka_schema – 如果解析格式需要一个 schema 时,此参数必填。例如,普罗托船长 需要 schema 文件路径以及根对象 schema.capnp:Message 的名字。
  • kafka_num_consumers – 单个表的消费者数量。默认值是:1,如果一个消费者的吞吐量不足,则指定更多的消费者。消费者的总数不应该超过 topic 中分区的数量,因为每个分区只能分配一个消费者。

(3)物化视图

CREATE MATERIALIZED VIEW IF NOT EXISTS view_m_test TO m_test AS SELECT id, name, create_time FROM kafka_m_test;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/793071.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue 组合式 API

Vue 组合式 API 生命周期钩子 在 Vue2 中,我们通过以下方式实现生命周期钩子函数: export default {beforeMount() {console.log(V2 beforeMount!)},mounted() {console.log(V2 mounted!)} }; 在 Vue3 组合 API 中实现生命周期钩子函数可以在 setup()…

鸿蒙组件学习_Image组件

说明 该组件从API Version 7 开始支持 使用网络图片时,需要申请ohos.permission.INTERNET 参数 必填 src 图片的数据源,支持本地图片和网络图片 不支持跨包跨模块调用该Image组件,建议使用$r方式来管理需全局使用的图片资源。属性 alt 加载时显示的占位图&#xf…

Linux云计算之网络基础8——IPV6和常用网络服务

目录 一、IPV6基础 IPV6详解 IPv6数据报的基本首部 IPv6数据报的扩展首部 IPv6地址的表示方法 IPv6地址分类 网际控制报文协议ICMPv6 二、cisco基于IPV6的配置 cisco基于IPV6的配置步骤 模拟配置 三、HTML基础介绍 文档的结构 动手操作一下 四、常用网络服务介绍…

【架构一】CS架构和BS架构

最近在做架构的设计工作,做技术选型难免要区分好CS架构和BS架构。下面就来谈谈两者的区别。 首先CS架构分两层C/S和三层C/S架构。最开始人们都是用的两层CS架构,但它的缺点也孕育而生。 两层CS架构的缺点? (1)服务器…

B2029 大象喝水

题目描述 一只大象口渴了,要喝 20 升水才能解渴,但现在只有一个深 ℎh 厘米,底面半径为 r 厘米的小圆桶 (h 和 r 都是整数)。问大象至少要喝多少桶水才会解渴。 Update:数据更新,这里我们近似地…

网络编程(TCP、UDP)

文章目录 一、概念1.1 什么是网络编程1.2 网络编程中的基本知识 二、Socket套接字2.1 概念及分类2.2 TCP VS UDP2.3 通信模型2.4 接口方法UDP数据报套接字编程TCP流套接字编程 三、代码示例3.1 注意点3.2 回显服务器基于UDP基于TCP 一、概念 首先介绍了什么是网络编程&#xff…

Emacs之实现复制当前已打开文件buffer(一百三十五)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏:多媒…

ruoyi-nbcio-plus基于vue3的flowable流程元素选择区面板的升级修改

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码: https://gitee.com/nbacheng/ruoyi-nbcio 演示地址:RuoYi-Nbcio后台管理系统 http://122.227.135.243:9666/ 更多nbcio-boot功能请看演示系统 gitee源代码地址 后端代码&#xff1a…

51单片机实验01-点亮LED小灯

目录 一,软件下载 二,单片机概述 1,单片机内部资源 1)flash 2)ram 3)sfr 2,51单片机 3,单片机最小系统 三,点亮最右边的小灯 1,指出满足小灯点亮的有…

适用于车载设备无钥匙进入系统汽车用晶振FA-238A

汽车用晶振FA-238A是一款适用于车载设备无钥匙进入系统的耐高温晶振。汽车用晶振FA-238A是爱普生推出一的款MHz表贴式晶体单元,具有很好的预率性能,符合AEC-0200标准,其封装尺寸仅为3.2x2.5x0.7mm,工作温度范围在-40℃~125℃之间&…

【计算机考研】408到底有多难?值得冲吗?

考408就必须要面对的现实!拒绝眼高手低!! 408其实想达到110并不难,但是想上130是比较困难的。 几个必须要面对的现实: 1.如果备考的是11408,除非基础特别好或者学习能力特别强,否则一定要尽早…

非关系型数据库-----------探索Redis支持五种数据类型

目录 一、Redis支持五种数据类型 1.String(字符串) 2.Hash(哈希) 3.List(列表) 4.Set(集合) 5.sorted set(有序集合) 二、Redis的字符串类型string 1、 SET/GET/APPEND/STRL…

代码随想录第十六天: 二叉树part03

力扣222 完全二叉树的节点个数 class Solution {public int countNodes(TreeNode root) {if(root null) return 0;TreeNode leftnode root.left;int leftdepth 0;TreeNode rightnode root.right;int rightdepth 0;while(leftnode ! null) {leftnode leftnode.left;leftd…

MySQL面试题系列-7

MySQL是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的RDBMS (Relational Database Management System,关系数据…

LeetCode 973 最接近原点的K个点

题目信息 LeetoCode地址: . - 力扣(LeetCode) 题目理解 题意简单且直观,而且是很经典的考验快速排序以及堆排序的算法题,很考验基本功。 堆排序写法 对points数组原地建立小顶堆 并依次弹出第1个元素,重新调整堆…

Vue关键知识点

watch侦听器 Vue.js 中的侦听器(Watcher)是 Vue提供的一种响应式系统的核心机制之一。 监听数据的变化,并在数据发生变化时执行相应的回调函数。 目的:数据变化能够自动更新到视图中 原理: Vue 的侦听器通过观察对象的属性&#…

Red Hat Enterprise Linux release 8.4安装Jenkins

1. 查看安装 1.1 显示 Linux 系统的详细信息,包括内核版本、操作系统版本和其他相关信息 uname -a1.2 查看 Red Hat Linux 系统的版本 cat /etc/redhat-release # 或者 cat /etc/os-release1.3 查看 JDK 是否安装 java -version #查看安装路径 echo $JAVA_HOME1…

【保姆级介绍Oracle】

🎥博主:程序员不想YY啊 💫CSDN优质创作者,CSDN实力新星,CSDN博客专家 🤗点赞🎈收藏⭐再看💫养成习惯 ✨希望本文对您有所裨益,如有不足之处,欢迎在评论区提出…

Linux云计算之Linux基础2——Linux发行版本的安装

目录 一、彻底删除VMware 二、VMware-17虚拟机安装 三、MobaXterm 安装 四、Centos 发行版 7.9的安装 五、rockys 9.1的安装 六、ubuntu2204的安装 一、彻底删除VMware 在卸载VMware虚拟机之前,要先把与VMware相关的服务和进程终止 1. 在windows中按下【Windo…

windows安装OpenUSD

一、下载OpenUSD git clone https://github.com/PixarAnimationStudios/OpenUSDOpenUSD,原名USD(Universal Scene Description,通用场景描述),是由皮克斯动画工作室开发的一种开放数据格式。OpenUSD主要用于在虚拟世界…