Kafka 常用功能总结(不断更新中....)

kafka 用途

业务中我们经常用来两个方面

1.发送消息

2.发送日志记录

kafka 结构组成

broker:可以理解成一个单独的服务器,所有的东西都归属到broker中

partation:为了增加并发度而做的拆分,相当于把broker拆分成不同的小块;

topic:消息发送的必要条件,把topic理解成插座板,消息内容理解成电。

group:消费者组,可以理解成电器,不同的电器,插座上可以也一直插很多电器,然后不同电器用电做不同的事。

kafka如何做到群发功能

消费者中可以指定消费者组,当我们把消息发送到指定的topic上时,不同的消费者组可以根据这个topic去拿到这个消息,所以我们可以:

指定多个消费者组,然后消费同一个topic;消费者组是电器,不同的电器,插座上可以也一直插很多电器,然后不同电器用电做不同的事。

kafka 如何让消息按照我给的顺序消费

patation:可以保证加进来的消息都是按照顺序来推送的,所以只需要能把消息发送到同一个partation上就行

那么kafka是如何保证发到哪个partation呢

1.指定partation

2.指定key,kafka内部根据key求hash,然后发送到kafka,相同的key就可以落在同一个kafka上

但是我们大多数情况下都是指定key,然后kafka内部去自动分配到不同的partation。

kafka 如何指定partation的数量

kafka的配置文件中conf/server.properties中,通过replication-factor可以指定partation的数量

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/166144.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

党建信息管理系统源码 支持在线交党费 附带完整的搭建教程

传统的党建管理模式通常采用手工方式,不仅效率低下,而且容易出错。随着组织规模的扩大和党员数量的增加,这种管理方式已经无法满足现实需求。此外,传统的党建管理模式缺乏在线交党费功能,给党员带来不便。因此&#xf…

Kubernetes 离线部署 Spinnaker

离线部署 Spinnaker 离线部署 spinnaker 需要提前准备以下依赖项 halyard 安装工具:该hal命令的apt源地址https://us-apt.pkg.dev/projects/spinnaker-community位于国外halyard boms物料清单:Spinnaker 将其halyard boms配置存储在公共谷歌云存储 ( g…

Divisibility Trick

Dmitry最近学会了一个简单的规则来检查一个整数是否可以被3整除。如果一个整数的位数之和可以被3整除,那么它就可以被3所整除。 后来他还了解到,同样的规则也可以用来检查一个整数是否可以被9整除。如果一个整数的位数之和可以被9整除,那么它…

如何在 Web 应用程序中查找端点?

如何在 Web 应用程序中查找端点? 这篇文章主要讲述了如何在网络应用中找到端点。以下是文章的主要要点: 端点是网络服务的访问地址,通过引用这个URL,客户可以访问服务提供的操作。端点提供了寻址Web服务端点所需的信息。 HTTP消息是服务器和客户端之间交换数据的方式,包…

Anaconda深度学习环境配置命令参考

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 Anaconda深度学习环境配置 Anaconda 管理1. 检查 Anaconda 版本2. 获取版本号3. 列出所有的虚拟环境4. 查看环境管理的全部命令帮助5. conda升级6. conda升级后释放空间 Anac…

2024免费MacBook清理工具CleanMyMac X4.15

CleanMyMac X 是一款专业的Mac清理软件,可智能清理mac磁盘垃圾和多余语言安装包,快速释放电脑内存,轻松管理和升级 Mac 上的应用。同时 CleanMyMac X 可以强力卸载恶意软件,修复系统漏洞,一键扫描和优化 Mac 系统&…

竞赛知识点12【树状数组】

文章目录 1、思路引入2、求lowbit(n)3、对某个元素进行加法操作(单点更新)4、查询前缀和5、统计A[x]~A[y] 的值1、思路引入 如果线段树每个节点维护的是对应区间的和,比如说计算从 s s s 到 t t t 的和 ( a s + … + a t ) (a_s+…+a_t) (as​+…+at​),在基于线段树的实…

【ChatGLM3-6B】Docker下部署及微调

【ChatGLM2-6B】小白入门及Docker下部署 注意:Docker基于镜像中网盘上上传的有已经做好的镜像,想要便捷使用的可以直接从Docker基于镜像安装看Docker从0安装前提下载启动访问 Docker基于镜像安装容器打包操作(生成镜像时使用的命令&#xff0…

Nginx常用负载均衡策略

Nginx常用负载均衡策略 轮询(默认) 注意:这里的轮询并不是每个请求轮流分配到不同的后端服务器,与ip_hash类似,但是按照访问url的hash结果来分配请求,使得每个url定向到同一个后端服务器,主要…

什么手机30万?VERTU唐卡手机顶配56.8万

近日,一则新闻在社交媒体上引发了广泛关注。一名男子遗失了一部价值30万的VERTU唐卡定制款手机,而一位女士在捡到这部手机后,误以为是一部普通的老年机,引发了种种误会。30万的手机是什么牌子?VERTU唐卡手机浮出水面 据了解,这部VERTU唐卡定制款手机是一款豪华的奢侈品定制手机…

2-Python与设计模式--前言

0-Python与设计模式–前言 一 什么是设计模式 设计模式是面对各种问题进行提炼和抽象而形成的解决方案。这些设计方案是前人不断试验, 考虑了封装性、复用性、效率、可修改、可移植等各种因素的高度总结。它不限于一种特定的语言, 它是一种解决问题的思…

GoogleNet详解

一、亮点 AlexNet、VGG都只有一个输出层。googlenet有三个(其中两个是辅助分类层) 二、先看看Inception结构 1、Inception 之前的网络: AlexNet、VGG都是串行结构 Inception: 并行结构 上一层的输出同时传入四个并行结构&…

有了倾斜摄影,如何搭建一座智慧城市?

随着无人机航测、倾斜摄影等全新一代测绘信息技术方法的发展,可以迅速搜集制作精细化的城市三维模型,搭建城市地理信息基础服务架构。 近期都在重点关注的“智慧城市”究竟是什么,有什么重大作用,同时又面临着什么难关&#xff0c…

短剧付费变现小程序源码系统+开通会员+在线充值 附带完整的搭建教程

大家好啊,今天小编来给大家分享一款短剧付费变现小程序源码系统。近年来,随着互联网技术的飞速发展,短剧成为了一个备受瞩目的领域。短剧以其简洁、紧凑的故事情节和制作周期短、传播速度快的特点,成为了越来越多人的选择。然而&a…

小红书达人类型特点有哪些,创作形式总结!

小红书自带的社交电商属性,吸引了众多优秀的内容创作者和品牌达人。他们以不同的风格和主题,赢得了粉丝们的喜爱和关注。今天为大家分享下小红书达人类型特点有哪些,创作形式总结! 1. 内容创作风格 我们从内容上来区分小红书达人类…

微信小程序开发学习——小程序基本架构

1.创建一个包含:首页、咨询、关于我们 3个标签的小程序,每个标签都有对应的页面、图标和标签文字。 知识点:app.json文件对小程序进行全局配置,同名.json文件对本窗口进行配置 app.json属性: pages用于指定小程序由哪…

设计模式之建造者(Builder)模式

目录 1、什么是建造者Builder模式? 2、建造者Builder模式的利与弊 3、建造者Builder模式的应用场景 4、建造者模式中的指导者(Director)有什么作用? 5、建造者Builder模式与其他模式的关系 小结 1、什么是建造者Builder模式…

百分点科技入选《2023年央国企数字化升级研究报告》

近日,艾瑞咨询发布了《2023年央国企数字化升级研究报告》,报告总结了央国企数字化升级的方向和特点,并重点研究了基础平台及关键技术工具、通用及综合型应用、重要配套建设等方面。报告指出,数据治理是央国企数字化升级过程中的重…

【鸿蒙应用ArkTS开发系列】- 云开发入门实战二 实现省市地区三级联动地址选择器组件(上)

目录 概述 云数据库开发 一、创建云数据库的对象类型。 二、预置数据(为对象类型添加数据条目)。 三、部署云数据库 云函数实现业务逻辑 一、创建云函数 二、云函数目录讲解 三、创建resources目录 四、获取云端凭据 五、导出之前创建的元数据…

HTML新手入门笔记整理:特殊符号

音标符 音标符 字符 Construct 输出结果 ̀、 a a à ́′ a a án ˆ a a â ̃&#xff5e; a a ã ̀̀、 O O Ò ́́′ O O Ó ˆ O O Ô ̃&#xff5e; O O Õ 字符 显示结果 描述 实体名称 实体编号 空格 <…