Kafka入门介绍+集群部署+简单使用

Kafka入门介绍+集群部署+简单使用

  • 简介
    • 核心概念
      • Broker（服务节点/实例）
      • Producer（生产者）
      • Topic（主题）
      • Partition（分区）
      • Consumer（消费者）和Consumer Group（消费者组）
  • 安装部署
    • 下载安装
    • 集群部署
    • 启动
  • 简单使用
    • 创建Topic主题
    • 发送消息
    • 消费消息

简介

官网：https://kafka.apache.org/
中文文档：https://kafka1x.apachecn.org/intro.html
Kafka是一个开源的分布式流处理平台
主要有三个关键功能

  1. 发布订阅事件流（可以用作消息队列）
  2. 分布式持久化存储事件流（可以用作数据处理系统）
  3. 可以在事件发生时处理或回顾性的处理

整体架构图如下：
在这里插入图片描述

核心概念

Broker（服务节点/实例）

一个Broker 可以看作一个独立的Kafka服务节点。
多个Broker组成一个Kafka集群。

Producer（生产者）

消息的生产者，将数据发送到Topic中。

Topic（主题）

Topic是Kafka实现发布订阅的核心。类比其他MQ，可以把Topic看作 交换机和队列 的组合。
相同类型的消息发到同一个Topic。
生产者将消息发送给 Topic，Topic接收消息并持久化。
Topic 内部持久化存储了所有消息。所以Kafka也常被当做一个存储系统。
在这里插入图片描述

思考一个问题：Kafka为什么持久化存储所有消息？

Kafka作为消息队列，一般要提供给多个消费者消费，即广播。
而传统MQ，在消费者消费完一个消息后，会将消息删除。传统MQ想实现广播，需要复制一份给新的消费者消费。
在这里插入图片描述
这个复制的过程无疑加大了性能开销，这与Kafka高性能处理海量数据的设计理念相违背。

所以Kafka在设计时，在Topic下持久化存储所有消息。将消费选择权交给消费者，由消费者提供offset偏移量 来实 现同一消息不同消费者进行消费，进而实现广播。

Partition（分区）

partition 是 消息实际存储的位置，属于Topic的一部分。
生产者向Topic丢数据，最终会落到Partition中。
消费者消费Topic中的数据，也是消费的Partition中的数据。
在这里插入图片描述
Kafka是为大数据而生，需要经常处理海量数据。单机的存储容量和读写性能肯定不能满足需求。需要对数据进行分片存储，Partition就是Kafka分片的数据子集。
也就是说，Partition是Kafka分布式的核心组件。
并且 Partition 是Kafka高性能，高可用，高并发的关键所在。

Consumer（消费者）和Consumer Group（消费者组）

消费者：即消费消息的。
Kakfa设计了消费者组的概念。
同一个消费者组中的消费者共同消费一个Topic中的消息
同时做了如下限制：
一个分区只可以被消费组中的一个消费者所消费
在这里插入图片描述
消费者组的特性：

  1. 一个消费组中的一个消费者可以消费多个分区
  2. 一个消费组中的不同消费者消费的分区一定不会重复
  3. 一个消费组中的所有消费者共同完成整个Topic中所有Partition的消费

思考一下，消费者组这种设计的好处是什么？

  1. 分摊消费压力，多个消费者并行无冲突的消费一组消息
  2. 消费模式更灵活，不同组合可以实现不同消费
    例如：所有消费者一个组，实现单播
    一个消费者一个组，实现广播
  3. 高可用，提高容错率，多个消费者一个组，有一个消费者挂了，自己的分区会分配给其他消费者。

安装部署

下载安装

https://kafka.apache.org/downloads
在这里插入图片描述
官网下载并传到服务器进行解压安装

tar -zxvf kafka_2.13-3.1.2.tgz

安装完成后，查看目录结构
在这里插入图片描述
config目录
在这里插入图片描述
bin目录在这里插入图片描述
分别使用ZK和Kafka的启动命令，即完成了Kafka单机模式的启动。（Kafka默认端口9092）

集群部署

接下来介绍下集群模式如何部署：
下面使用单机进行伪集群搭建，多台机器搭建方式类似。

# 创建一个集群配置目录
mkdir -p cluster/config
# 将zk 和 Broker的配置文件复制过去，三台Broker搭建集群，所以部署三份
cp config/zookeeper.properties cluster/config/
cp config/server.properties  cluster/config/server-0.properties
cp config/server.properties  cluster/config/server-1.properties
cp config/server.properties  cluster/config/server-2.properties

修改 zookeeper配置
在这里插入图片描述
修改 三个Broker 配置
注意：broker.id 必须保证每个serve不同

如果是单机搭建的伪集群，注意listeners 端口也要不同，
同时还要修改log.dirs 日志目录，保证日志目录也不相同，
因为Broker在启动时会检查日志目录下的meta.properties中的broker.id，相同日志目录会导致冲突

在这里插入图片描述

启动

进入bin目录下启动zk和broker
启动Zookeeper

./zookeeper-server-start.sh ../cluster/config/zookeeper.properties
# 后台启动nohup ./zookeeper-server-start.sh ../cluster/config/zookeeper.properties > /dev/null 2>&1 &

启动broker集群

./kafka-server-start.sh ../cluster/config/server-0.properties
./kafka-server-start.sh ../cluster/config/server-1.properties
./kafka-server-start.sh ../cluster/config/server-2.properties# 后台启动nohup ./kafka-server-start.sh ../cluster/config/server-0.properties > /dev/null 2>&1 &nohup ./kafka-server-start.sh ../cluster/config/server-1.properties > /dev/null 2>&1 &nohup ./kafka-server-start.sh ../cluster/config/server-2.properties > /dev/null 2>&1 &

简单使用

进入bin目录下
bin下面的kafka相关命令，都可以使用 --help 查看帮助文档，介绍的很全面

例如：./kafka-topics.sh --help

下面是我根据帮助文档做的简单使用

创建Topic主题

# 直接使用./kafka-topics.sh命令 会给出help文档
./kafka-topics.sh
# 创建一个名为 topci_test 的主题，Partition为3个，副本为2个
./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic topic-test --partitions 3 --replication-factor 2
# 查看topic列表
./kafka-topics.sh  --bootstrap-server localhost:9092 --list
# 查看 topic-test 的详细信息
./kafka-topics.sh  --bootstrap-server localhost:9092 --describe --topic topic-test

在这里插入图片描述
ISR：副本同步正常的BrokerId
Replicas：副本所在的BrokerId
Leader：leader所在的BrokerId
Partition：partition的编号

发送消息

./kafka-console-producer.sh --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic topic-test

在这里插入图片描述

消费消息

消费者发送的offset在 0.9版本之前 存放在zookeeper，因为zookeeper 不适合大量频繁的读写，0.9版本之后，放在kafka默认的Topic（__consumer_offsets）里保存
低于0.9的老版本可能需指定Zookeeper地址
我这里使用3.1.2，所以不需要指定 zookeeper

# 如果需要从头消费 可以加上--from-beginning 或者 指定 --offset进行消费，默认是消费最新的./kafka-console-consumer.sh --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic topic-test

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/984.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

shell 脚本常用 逻辑判断符 与 || 或 ! 非

shell 脚本常用 逻辑判断符 与 || 或 ! 非

shell 脚本常用 逻辑判断符 文章目录 1、&& 逻辑与2、|| 逻辑或3、! 逻辑非 – 1、&& 逻辑与 只有两个都是真，结果才是真 如果第一个式子为false，则不会执行后面 2、|| 逻辑或 一真则真 如果左端为真，则右端不需要再进行…
阅读更多...
超级好用的C++实用库之字节流解析器

超级好用的C++实用库之字节流解析器

概述 字节流解析器是一种软件组件，它负责将接收到的原始二进制数据（字节流）转换为有意义的信息结构或格式。在计算机网络、文件处理和数据通信中，字节流是最基本的数据传输形式，但这些原始字节对于应用程序通常是没有直…
阅读更多...
对组合模式的理解

对组合模式的理解

目录 一、场景1、题目描述 【[案例来源](https://kamacoder.com/problempage.php?pid1090)】2、输入描述3、输出描述4、输入示例5、输出示例 二、实现（假的组合模式）1、代码2、为什么上面的写法是假的组合模式？ 三、实现（真的组合…
阅读更多...
文本生成任务的评价方法BLEU 和 ROUGE

文本生成任务的评价方法BLEU 和 ROUGE

BLEU 是 2002 年提出的，而 ROUGE 是 2003 年提出的。这两种指标虽然存在着一些问题，但是仍然是比较主流的评价指标。 BLUE BLEU 的全称是 Bilingual evaluation understudy，BLEU 的分数取值范围是 0～1，分数越接近1&a…
阅读更多...
使用new 关键字调用函数，创建对象的过程中做了什么

使用new 关键字调用函数，创建对象的过程中做了什么

使用new 关键字调用函数，创建对象的过程中做了什么 使用 new关键字创建对象的过程大致可以分为以下几个步骤： 创建空对象：首先，new操作符会创建一个空对象，这个对象的隐式原型__proto__属性会被设置为构造函数的显示原…
阅读更多...
YOLOv9改进策略 | 细节创新篇 | 迭代注意力特征融合AFF机制创新RepNCSPELAN4

YOLOv9改进策略 | 细节创新篇 | 迭代注意力特征融合AFF机制创新RepNCSPELAN4

一、本文介绍 本文给大家带来的改进机制是AFF（迭代注意力特征融合），其主要思想是通过改善特征融合过程来提高检测精度。传统的特征融合方法如加法或串联简单，未考虑到特定对象的融合适用性。iAFF通过引入多尺度通道注意力模块(我…
阅读更多...
搭建vue3组件库(一):Monorepo项目搭建

搭建vue3组件库(一):Monorepo项目搭建

Monorepo Monorepo 是一种项目代码管理方式，指单个仓库中管理多个项目，有助于简化代码共享、版本控制、构建和部署等方面的复杂性，并提供更好的可重用性和协作性。 pnpm pnpm 全称 performant npm，意思为 高性能的 npm。pnpm 由…
阅读更多...
mysql面试题六（视图，存储过程，触发器）

mysql面试题六（视图，存储过程，触发器）

目录 1.什么是视图 视图的特点 视图的创建与使用 视图的用途与优势 注意事项 2.什么是存储过程 存储过程的特点 存储过程的创建与调用 存储过程的使用场景 注意事项 3.什么是触发器 触发器的特点 触发器的创建与管理 触发器的使用场景 注意事项 1.什么是视图 在…
阅读更多...
算法打卡day52|单调栈篇03| 84.柱状图中最大的矩形

算法打卡day52|单调栈篇03| 84.柱状图中最大的矩形

算法题 Leetcode 84.柱状图中最大的矩形 题目链接:84.柱状图中最大的矩形 大佬视频讲解：84.柱状图中最大的矩形视频讲解 个人思路 这题和接雨水是相似的题目，原理上基本相同，也是可以用双指针和单调栈解决，只是有些细节不同。…
阅读更多...
深度学习之目标检测从入门到精通——json转yolo格式

深度学习之目标检测从入门到精通——json转yolo格式

记录点： import json import osname2id {person:0,helmet:1,Fire extinguisher:2,Hook:3,Gas cylinder:4}def convert(img_size, box):dw 1./(img_size[0])dh 1./(img_size[1])x (box[0] box[2])/2.0 - 1y (box[1] box[3])/2.0 - 1w box[2] - box[0]h box…
阅读更多...
23种设计模式之行为模式篇

23种设计模式之行为模式篇

三、行为模式 这类模式主要关注对象之间的通信，尤其是它们之间进行通信的方式和时机。 包括： 策略模式（Strategy）模板方法模式（Template Method）观察者模式（Observer）迭代器模式&…
阅读更多...
jtop安装

jtop安装

一、安装依赖环境 sudo apt-get install git cmake sudo apt-get install python3-dev sudo apt-get install libhdf5-serial-dev hdf5-tools sudo apt-get install libatlas-base-dev gfortran二、pip3安装 sudo apt-get update sudo apt-get upgrade sudo apt-get install …
阅读更多...
「High Cry」Solution

「High Cry」Solution

简述题意 给定长度为 n n n 的数组 n n n，求出有多少个区间满足区间或大于区间最大值。 n ≤ 2 1 0 5 n \le 2 \times 10^5 n≤2105 思路 从区间入手肯定不好做，考虑从最大值入手。 注意到一个区间，其肯定有一个最大值 a i a_i ai​&…
阅读更多...
【rust简单工具理解】

【rust简单工具理解】

1.map方法 map这个闭包的本质就是映射 let numbers vec![1, 2, 3, 4, 5]; let numbers_f64: Vec<f64> numbers.into_iter().map(|&x| x as f64).collect(); println!("{:?}", numbers_f64); // 输出: [1.0, 2.0, 3.0, 4.0, 5.0]2.and_then and_then …
阅读更多...
锦瑟香也MYLOVE：音质与颜值俱佳，入坑HiFi的热门好物！

锦瑟香也MYLOVE：音质与颜值俱佳，入坑HiFi的热门好物！

当下尽管无线耳机大行其道&#xff0c;但有线耳机依旧保有其独特的魅力&#xff0c;特别是在音质表现上&#xff0c;它们拥有无线耳机难以企及的优势。如果对音质要求很高的话&#xff0c;口袋里还是少不了一副有线耳机。国产品牌中就有许多性价比高的有线耳机&#xff0c;它们…
阅读更多...
Django admin后台添加自定义菜单和功能页面

Django admin后台添加自定义菜单和功能页面

django admin是根据注册的模型来动态生成菜单&#xff0c;从这个思路出发&#xff0c;如果想添加自定义菜单&#xff0c;那就创建一个空模型并且注册。步骤如下&#xff1a; 1、创建空模型&#xff1a; class ResetSVNAuthFileModel(models.Model):"""仅用来显…
阅读更多...
学习 Rust 的第五天：了解程序的基本控制流程

学习 Rust 的第五天：了解程序的基本控制流程

大家好呀 欢迎来到这个学习 Rust 的 30 天系列的第五天&#xff0c;今天我们将深入了解 Rust 中的控制流。 控制流&#xff0c;顾名思义&#xff0c;根据条件来 控制程序的流程。 If 表达式 当你想要在满足条件时执行一段代码块时&#xff0c;可以使用 if 表达式。 示例 …
阅读更多...
菜鸟Java基础教程 9.Java 循环结构

菜鸟Java基础教程 9.Java 循环结构

Java 循环结构 - for, while 及 do…while Java循环结构 Java 循环结构 - for, while 及 do...while1. while 循环实例Test.java 文件代码&#xff1a; 2. do…while 循环实例Test.java 文件代码&#xff1a; 3. for循环实例Test.java 文件代码&#xff1a; 4. Java 增强 for 循…
阅读更多...
数据类型判断的方法

数据类型判断的方法

一、typeof 使用方法如下&#xff1a; typeof operand typeof(operand)operand表示要返回类型的对象或基本类型的表达式 &#xff0c;typeof运算符返回一个字符串&#xff0c;表示操作数的类型。 typeof 666 // number typeof 666 // string typeof undefined // undefined …
阅读更多...
《MATLAB科研绘图与学术图表绘制从入门到精通》示例：绘制伊甸火山3D网格曲面图

《MATLAB科研绘图与学术图表绘制从入门到精通》示例：绘制伊甸火山3D网格曲面图

11.4.2小节我们使用3D曲面图可视化分析伊甸火山数据&#xff0c;本小节我们采用3D网格曲面图可视化分析伊甸火山数据&#xff0c;以展示其地形&#xff0c;具体示例代码如下。 购书地址&#xff1a;https://item.jd.com/14102657.html
阅读更多...
最新文章

Copyright @ 2022~2023