Kubernetes Kafka 系列|MirrorMaker 2 同步数据

一、MirrorMaker 2介绍

MirrorMaker 2(简称MM2)是Apache Kafka的一个工具,主要用于跨Kafka集群的数据复制和同步。相比早期的MirrorMaker 1(简称MM1),MirrorMaker 2在设计和功能上有了显著的提升,能够更好地适应生产环境的需求。

首先,MM2采用了并行复制的方式,能够实现高吞吐量的数据复制和同步,使得在大数据场景下也能保持高效性能。这使得MM2成为数据备份、灾难恢复、数据分析和实时处理等多种应用场景下的理想选择。

其次,MM2在数据同步方面具有很高的灵活性。它可以构建不同数据中心的主备两个集群容灾架构,实时同步两个集群的数据。当其中一个集群不可用时,可以将上面的应用程序切换到另一个集群,从而实现异地容灾功能。此外,MM2还可以将多个Kafka子集群的数据同步到一个中心Kafka集群,实现数据的汇聚。

二、mm2部署

Strimzi是一个孵化项目,旨在简化Kubernetes上Apache Kafka的部署。通过一组扩展Kubernetes API的操作符与Kafka交互,Strimzi提供了一种Kubernetes原生方式,以更轻松地在Kubernetes上配置、部署和操作Kafka。
本文简洁使用Strimzi部署mm2
具体含义理解可去官网学习
https://strimzi.io/documentation/

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:name: my-mirror-maker-2
spec:version: 3.7.0replicas: 1connectCluster: "cluster-b" # Must be the target custerclusters:- alias: "cluster-a" # Source clusterbootstrapServers: my-cluster-kafka-bootstrap:9092- alias: "cluster-b" # Target clusterbootstrapServers: 10.10.101.114:32094config:# -1 means it will use the default replication factor configured in the brokerconfig.storage.replication.factor: -1offset.storage.replication.factor: -1status.storage.replication.factor: -1mirrors:- sourceCluster: "cluster-a"targetCluster: "cluster-b"sourceConnector:tasksMax: 1config:# -1 means it will use the default replication factor configured in the brokerreplication.factor: -1offset-syncs.topic.replication.factor: -1sync.topic.acls.enabled: "false"refresh.topics.interval.seconds: 600   #broker刷新间隔checkpointConnector:tasksMax: 1config:# -1 means it will use the default replication factor configured in the brokercheckpoints.topic.replication.factor: -1sync.group.offsets.enabled: "false"refresh.groups.interval.seconds: 600topicsPattern: ".*"groupsPattern: ".*"

后续会更新,关注不迷糊

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/327.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【创建型模式】原型模式

一、原型模式概述 原型(Prototype)模式的定义:用一个已经创建的实例作为原型,通过复制该原型对象来创建一个和原型相同或相似的新对象。在这里,原型实例指定了要创建的对象的种类。用这种方式创建对象非常高效&#xf…

CV 面试指南—深度学习知识点总结(1)

本期专栏文章: CV 面试指南—深度学习知识点总结(1)CV 面试指南—深度学习知识点总结(2)CV 面试指南—深度学习知识点总结(3)CV 面试指南—深度学习知识点总结(4)CV 面试指南—深度学习知识点总结(5)

吴恩达深度学习笔记:深度学习的 实践层面 (Practical aspects of Deep Learning)1.4-1.5

目录 第一门课:第二门课 改善深层神经网络:超参数调试、正 则 化 以 及 优 化 (Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization)第一周:深度学习的 实践层面 (Practical aspects of Deep Learning)…

QT c++ 将浮点数数组转换成 QByteArray

//上一篇文章&#xff0c;描写了怎么将数据已字节数组的形式写到Sqlite 数据库&#xff0c;那么。 //本文描述2种方法将浮点数数组转换为字节数组QByteArray //在QT6.2.4 MSVC2019 调试通过 #include <QCoreApplication> #include <QByteArray> #include <Q…

Baumer工业相机堡盟工业相机如何通过BGAPI SDK实现相机给外界IO信号输出(C#)

Baumer工业相机堡盟工业相机如何通过BGAPI SDK实现相机给外界IO信号输出&#xff08;C#&#xff09; Baumer工业相机Baumer工业相机BGAPISDK和相机IO信号输出的技术背景Baumer工业相机通过BGAPISDK实现相机IO信号的输出功能1.引用合适的类文件2.通过BGAPISDK在初始化时设置相应…

Vue接收接口返回的mp3格式数据并支持在页面播放音频

一、背景简介 在实际工作中需要开发一个转音频工具&#xff0c;并且能够在平台页面点击播放按钮播放音频 二、相关知识介绍 2.1 JS内置对象Blob Blob对象通常用于处理大量的二进制数据&#xff0c;可以读取/写入/操作文件、音视频等二进制数据流。Blob表示了一段不可变的二…

【PCL】教程alignment_prerejective.cpp 刚性物体的鲁棒位姿估计

The viewer window provides interactive commands; for help, press h or H from within the window. > Loading V:\learn\PCL\pcl\examples\test\chef.pcd [PCLVisualizer::setUseVbos] Has no effect when OpenGL version is 鈮?2 [done, 327.147 ms : 5092 points] Ava…

【torch函数】torch.multinomial函数

torch.multinomial 是PyTorch中的一个函数&#xff0c;用于从多项分布中抽取样本。多项分布是一种描述多个可能结果的概率分布&#xff0c;例如抛硬币、掷骰子等。 torch.multinomial的用法如下&#xff1a; torch.multinomial(input, num_samples, replacementFalse, *, gene…

C++入门之类和对象(下)

C入门之类和对象(下) 文章目录 C入门之类和对象(下)一、初始化列表1.1 概念1.2 注意事项 11.3 注意事项 21.4 注意事项 3 二、explicit关键字2.1 为什么要有explicit关键字 三、static成员3.1 static修饰类的成员和成员函数 一、初始化列表 1.1 概念 先来看看构造函数 #incl…

MySQL 中 InnoDB 存储引擎使用的 B+树底层数据结构

简要介绍 InnoDB 和它为什么选择使用 B树 InnoDB 是 MySQL 中默认的存储引擎&#xff0c;广泛用于生产环境中&#xff0c;特别是在要求高可靠性和事务性的应用场景。这个存储引擎支持事务处理、行级锁定、外键约束等高级数据库功能&#xff0c;这使得它非常适合处理大量数据并…

力扣爆刷第122天之CodeTop100五连刷96-100

力扣爆刷第122天之CodeTop100五连刷96-100 文章目录 力扣爆刷第122天之CodeTop100五连刷96-100一、912. 排序数组二、24. 两两交换链表中的节点三、297. 二叉树的序列化与反序列化四、560. 和为 K 的子数组五、209. 长度最小的子数组 一、912. 排序数组 题目链接&#xff1a;h…

AI大模型量化格式介绍(GPTQ,GGML,GGUF,FP16/INT8/INT4)

在 HuggingFace 上下载模型时&#xff0c;经常会看到模型的名称会带有fp16、GPTQ&#xff0c;GGML等字样&#xff0c;对不熟悉模型量化的同学来说&#xff0c;这些字样可能会让人摸不着头脑&#xff0c;我开始也是一头雾水&#xff0c;后来通过查阅资料&#xff0c;总算有了一些…

嵌入式学习57-ARM6(linux驱动启动程序)

知识零碎&#xff1a; arm2440 精简指令集架构 …

MongoDB聚合运算符:$reverseArray

MongoDB聚合运算符&#xff1a;$reverseArray 文章目录 MongoDB聚合运算符&#xff1a;$reverseArray语法使用举例 $reverseArray聚合运算符接受数组表达式作为参数&#xff0c;并返回一个元素按相反顺序排列的数组。 语法 { $reverseArray: <array expression> }参数可…

DFS之剪枝(上交考研题目--正方形数组的数目)

题目 给定一个非负整数数组 A A A&#xff0c;如果该数组每对相邻元素之和是一个完全平方数&#xff0c;则称这一数组为正方形数组。 返回 A A A 的正方形排列的数目。 两个排列 A 1 A1 A1 和 A 2 A2 A2 不同的充要条件是存在某个索引 i i i&#xff0c;使得 A 1 [ i …

Spring MVC found on classpath, which is incompatible with Spring Cloud Gateway.

报错信息 Description: Spring MVC found on classpath, which is incompatible with Spring Cloud Gateway. Action: Please set spring.main.web-application-typereactive or remove spring-boot-starter-web dependency.解析 这个错误信息是因为你的项目中同时存在…

前端基础(之五)

Q1: git常用的命令有哪些 git init 在当前目录下创建一个新的Git仓库 git clone 复制一个远程仓库到本地 git add 将文件添加到暂存区&#xff0c;准备提交 git commit 提交暂存区的更改到本地仓库&#xff0c;并记录提交信息 git status 查看仓库的当前状态&am…

头歌平台云计算实验

云计算 Hive综合应用案例——用户学历查询1 查询每一个用户从出生到现在的总天数2 同一个地区相同的教育程度的最高收入3 统计各级学历所占总人数百分比 Hive综合应用案例——用户学历查询 1 查询每一个用户从出生到现在的总天数 ---------- 禁止修改 ----------drop databas…

测试一下 Meta Llama3-70b-Instruct-q8

测试一下 Meta Llama3-70b-Instruct-q8 0. 引言1. 测试 Meta Llama3-70b-Instruct-q8 0. 引言 今天&#xff0c;Meta 正式介绍Meta Llama 3&#xff0c;Meta 开源大型语言模型的下一代产品。 这次发布包括具有80亿&#xff08;8B&#xff09;和700亿&#xff08;70B&#xff0…

5G 边缘计算如何赋能工业自动化生产线?

5G边缘计算为工业自动化生产线带来的赋能主要体现在以下几个方面&#xff1a; 低延迟与高可靠性&#xff1a;5G网络的低延迟特性对于工业自动化是至关重要的&#xff0c;特别是在需要快速响应的生产线上。边缘计算可以在数据产生地点附近处理数据&#xff0c;从而进一步减少通信…