Kafka 常用功能总结(不断更新中....)

kafka 用途

业务中我们经常用来两个方面

1.发送消息

2.发送日志记录

kafka 结构组成

broker:可以理解成一个单独的服务器,所有的东西都归属到broker中

partation:为了增加并发度而做的拆分,相当于把broker拆分成不同的小块;

topic:消息发送的必要条件,把topic理解成插座板,消息内容理解成电。

group:消费者组,可以理解成电器,不同的电器,插座上可以也一直插很多电器,然后不同电器用电做不同的事。

kafka如何做到群发功能

消费者中可以指定消费者组,当我们把消息发送到指定的topic上时,不同的消费者组可以根据这个topic去拿到这个消息,所以我们可以:

指定多个消费者组,然后消费同一个topic;消费者组是电器,不同的电器,插座上可以也一直插很多电器,然后不同电器用电做不同的事。

kafka 如何让消息按照我给的顺序消费

patation:可以保证加进来的消息都是按照顺序来推送的,所以只需要能把消息发送到同一个partation上就行

那么kafka是如何保证发到哪个partation呢

1.指定partation

2.指定key,kafka内部根据key求hash,然后发送到kafka,相同的key就可以落在同一个kafka上

但是我们大多数情况下都是指定key,然后kafka内部去自动分配到不同的partation。

kafka 如何指定partation的数量

kafka的配置文件中conf/server.properties中,通过replication-factor可以指定partation的数量

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/166144.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

党建信息管理系统源码 支持在线交党费 附带完整的搭建教程

传统的党建管理模式通常采用手工方式,不仅效率低下,而且容易出错。随着组织规模的扩大和党员数量的增加,这种管理方式已经无法满足现实需求。此外,传统的党建管理模式缺乏在线交党费功能,给党员带来不便。因此&#xf…

Kubernetes 离线部署 Spinnaker

离线部署 Spinnaker 离线部署 spinnaker 需要提前准备以下依赖项 halyard 安装工具:该hal命令的apt源地址https://us-apt.pkg.dev/projects/spinnaker-community位于国外halyard boms物料清单:Spinnaker 将其halyard boms配置存储在公共谷歌云存储 ( g…

如何在 Web 应用程序中查找端点?

如何在 Web 应用程序中查找端点? 这篇文章主要讲述了如何在网络应用中找到端点。以下是文章的主要要点: 端点是网络服务的访问地址,通过引用这个URL,客户可以访问服务提供的操作。端点提供了寻址Web服务端点所需的信息。 HTTP消息是服务器和客户端之间交换数据的方式,包…

2024免费MacBook清理工具CleanMyMac X4.15

CleanMyMac X 是一款专业的Mac清理软件,可智能清理mac磁盘垃圾和多余语言安装包,快速释放电脑内存,轻松管理和升级 Mac 上的应用。同时 CleanMyMac X 可以强力卸载恶意软件,修复系统漏洞,一键扫描和优化 Mac 系统&…

【ChatGLM3-6B】Docker下部署及微调

【ChatGLM2-6B】小白入门及Docker下部署 注意:Docker基于镜像中网盘上上传的有已经做好的镜像,想要便捷使用的可以直接从Docker基于镜像安装看Docker从0安装前提下载启动访问 Docker基于镜像安装容器打包操作(生成镜像时使用的命令&#xff0…

什么手机30万?VERTU唐卡手机顶配56.8万

近日,一则新闻在社交媒体上引发了广泛关注。一名男子遗失了一部价值30万的VERTU唐卡定制款手机,而一位女士在捡到这部手机后,误以为是一部普通的老年机,引发了种种误会。30万的手机是什么牌子?VERTU唐卡手机浮出水面 据了解,这部VERTU唐卡定制款手机是一款豪华的奢侈品定制手机…

GoogleNet详解

一、亮点 AlexNet、VGG都只有一个输出层。googlenet有三个(其中两个是辅助分类层) 二、先看看Inception结构 1、Inception 之前的网络: AlexNet、VGG都是串行结构 Inception: 并行结构 上一层的输出同时传入四个并行结构&…

有了倾斜摄影,如何搭建一座智慧城市?

随着无人机航测、倾斜摄影等全新一代测绘信息技术方法的发展,可以迅速搜集制作精细化的城市三维模型,搭建城市地理信息基础服务架构。 近期都在重点关注的“智慧城市”究竟是什么,有什么重大作用,同时又面临着什么难关&#xff0c…

短剧付费变现小程序源码系统+开通会员+在线充值 附带完整的搭建教程

大家好啊,今天小编来给大家分享一款短剧付费变现小程序源码系统。近年来,随着互联网技术的飞速发展,短剧成为了一个备受瞩目的领域。短剧以其简洁、紧凑的故事情节和制作周期短、传播速度快的特点,成为了越来越多人的选择。然而&a…

小红书达人类型特点有哪些,创作形式总结!

小红书自带的社交电商属性,吸引了众多优秀的内容创作者和品牌达人。他们以不同的风格和主题,赢得了粉丝们的喜爱和关注。今天为大家分享下小红书达人类型特点有哪些,创作形式总结! 1. 内容创作风格 我们从内容上来区分小红书达人类…

微信小程序开发学习——小程序基本架构

1.创建一个包含:首页、咨询、关于我们 3个标签的小程序,每个标签都有对应的页面、图标和标签文字。 知识点:app.json文件对小程序进行全局配置,同名.json文件对本窗口进行配置 app.json属性: pages用于指定小程序由哪…

设计模式之建造者(Builder)模式

目录 1、什么是建造者Builder模式? 2、建造者Builder模式的利与弊 3、建造者Builder模式的应用场景 4、建造者模式中的指导者(Director)有什么作用? 5、建造者Builder模式与其他模式的关系 小结 1、什么是建造者Builder模式…

百分点科技入选《2023年央国企数字化升级研究报告》

近日,艾瑞咨询发布了《2023年央国企数字化升级研究报告》,报告总结了央国企数字化升级的方向和特点,并重点研究了基础平台及关键技术工具、通用及综合型应用、重要配套建设等方面。报告指出,数据治理是央国企数字化升级过程中的重…

【鸿蒙应用ArkTS开发系列】- 云开发入门实战二 实现省市地区三级联动地址选择器组件(上)

目录 概述 云数据库开发 一、创建云数据库的对象类型。 二、预置数据(为对象类型添加数据条目)。 三、部署云数据库 云函数实现业务逻辑 一、创建云函数 二、云函数目录讲解 三、创建resources目录 四、获取云端凭据 五、导出之前创建的元数据…

编程实例,随机抽奖编程

编程实例,随机抽奖编程 操作步骤: 1、将在本店消费的会员数据导入到抽奖池,可以设定最近多少天内的记录。 2、点击 开始随机抽奖,软件将从抽奖池随机抽取9名,并不断变化,每0.02秒重新随机抽取9名显示到屏…

Java 项目中常用注解汇总!! (自整理)

Spring框架的注解 PostMapping("/getDetails") post请求 映射到接口 RequestBody 用来接收HTTP请求体中参数 GetMapping("/getDetails") get请求 映射到接口 RequestParam 用来接收URL中的查询参数 PutMappi…

关于js的find的基本用法

Array.prototype.find() 是 JavaScript 的一个数组方法,它被用来在数组中查找一个符合条件的元素。一旦找到第一个符合条件的元素, find() 会立即返回这个元素的值,否则返回 undefined。 以下是 find() 方法的基本语法: arr.find(callback(el…

利用企业被执行人信息查询API保障商业交易安全

前言 在当今竞争激烈的商业环境中,企业为了保障商业交易的安全性不断寻求新的手段。随着技术的发展,利用企业被执行人信息查询API已经成为了一种强有力的工具,能够帮助企业在商业交易中降低风险,提高合作的信任度。 企业被执行人…

GitHub桌面版

GitHub桌面版 一、GitHub 桌面版二、clone 仓库三、更新仓库 一、GitHub 桌面版 二、clone 仓库 三、更新仓库

Azure Machine Learning - Azure可视化图像分类操作实战

目录 一、数据准备二、创建自定义视觉资源三、创建新项目四、选择训练图像五、上传和标记图像六、训练分类器七、评估分类器概率阈值 八、管理训练迭代 在本文中,你将了解如何使用Azure可视化页面创建图像分类模型。 生成模型后,可以使用新图像测试该模型…