Kafka + Kafka-UI

文章目录

  • 前言
    • 🐳 一、使用纯 Kafka + Kafka-UI (无 Zookeeper)Docker 配置
    • 🚀 启动步骤
    • ✅ 服务启动后地址
    • 🔥 注意事项(使用 Kraft)
    • ✅ NestJS Kafka 连接不变
    • 🧠 额外补充
    • 📦 kafka/README.md 内容:
  • Kafka Kraft 模式部署指南
    • 🐳 使用 Docker-Compose 快速启动
    • 🌐 服务地址
    • 🛠️ 常用运维指令
      • 查看所有容器状态
      • 查看 Kafka UI 日志
      • 查看 Kafka Broker 日志
      • 创建 Topic(进入 Kafka 容器内部执行)
      • 查看 Topic 列表
      • 查看 Topic 消息
    • ⚡ NestJS 配置 Kafka
    • 🚨 注意事项


前言

✅ 使用 不需要 Zookeeper 的 Kafka —— 那就是 Kafka KRaft 模式(KRaft = Kafka Raft Metadata Mode),从 Kafka 2.8+ 起官方支持,3.3+ 开始默认推荐

这样可以:

  • 去掉 zookeeper 依赖
  • 简化部署,性能更高
  • 更符合现在 Kafka 的新一代标准架构

🐳 一、使用纯 Kafka + Kafka-UI (无 Zookeeper)Docker 配置

这里直接给你新版 docker-compose.yml(最新流行写法)👇:

version: '3.8'services:kafka:image: bitnami/kafka:3.6container_name: kafkaports:- '9092:9092'environment:- KAFKA_CFG_NODE_ID=0 - KAFKA_CFG_PROCESS_ROLES=broker,controller- KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka:9093- KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092- KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT- KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER- KAFKA_CFG_LOG_DIRS=/bitnami/kafka/data- KAFKA_KRAFT_CLUSTER_ID=替换成base64的uuid- ALLOW_PLAINTEXT_LISTENER=yesvolumes:- kafka_data:/bitnami/kafkakafka-ui:image: provectuslabs/kafka-ui:latestcontainer_name: kafka-uiports:- '8080:8080'environment:- KAFKA_CLUSTERS_0_NAME=kraft-kafka- KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:9092- DYNAMIC_CONFIG_ENABLED=truevolumes:kafka_data:

🚀 启动步骤

docker-compose up -d

✅ 服务启动后地址

服务地址说明
Kafka Brokerlocalhost:9092NestJS 直接连
Kafka UIhttp://localhost:8080查看 Topic、消息

🔥 注意事项(使用 Kraft)

说明备注
控制器Kafka 自己用 Raft 协议管理元数据,不再需要 ZooKeeper
单节点开发环境OK,生产建议部署多节点控制器
镜像推荐使用 bitnami/kafka,官方纯净版 Kraft 支持最好

✅ NestJS Kafka 连接不变

new Kafka({clientId: 'seckill-service',brokers: ['localhost:9092'],
});

🧠 额外补充

特性Zookeeper版 KafkaKraft版 Kafka
简单性❌ 复杂✅ 简洁
启动速度
部署节点数量
生产是否推荐使用需要搭建多个 Broker需要搭建多个 Controller Broker

kafka/README.md 运维指令集和最佳实践


📦 kafka/README.md 内容:

Kafka Kraft 模式部署指南

🐳 使用 Docker-Compose 快速启动

cd kafka
docker-compose up -d

✅ 启动以下容器:

  • kafka (KRaft模式,无需Zookeeper)
  • kafka-ui(管理界面)

🌐 服务地址

服务地址说明
Kafka Brokerlocalhost:9092供 NestJS 项目连接使用
Kafka UIhttp://localhost:8080可视化查看 Topic / 消费者组等信息

🛠️ 常用运维指令

查看所有容器状态

docker ps

查看 Kafka UI 日志

docker-compose logs kafka-ui

查看 Kafka Broker 日志

docker-compose logs kafka

创建 Topic(进入 Kafka 容器内部执行)

docker exec -it kafka bash# 创建 topic
kafka-topics.sh --bootstrap-server localhost:9092 --create --topic seckill-orders --partitions 3 --replication-factor 1

查看 Topic 列表

kafka-topics.sh --bootstrap-server localhost:9092 --list

查看 Topic 消息

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic seckill-orders --from-beginning

⚡ NestJS 配置 Kafka

NestJS 项目中连接 Kafka:

new Kafka({clientId: 'seckill-service',brokers: ['localhost:9092'],
});

🚨 注意事项

  • 这是开发测试环境配置(单节点 Kraft)
  • 生产环境应至少部署 3 个 Broker 节点,启用多控制器选举
  • 确认端口号未被占用(默认 9092 / 8080)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/903122.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI声像融合守护幼儿安全——打骂/异常声音报警系统的智慧防护

幼儿园是孩子们快乐成长的摇篮,但打骂、哭闹或尖叫等异常事件可能打破这份宁静,威胁幼儿的身心安全。打骂/异常声音报警系统,依托尖端的AI声像融合技术,结合语音识别、情绪分析与视频行为检测,为幼儿园筑起一道智能安全…

Qt网络数据解析方法总结

在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据。以下是详细步骤和示例: 1. 网络数据接收 使用QTcpSocket或QUdpSocket接收数据,通过readyRead()信号触发读取: // 创建TCP Socket并连接信号 QTcpSo…

unity编辑器的json验证及格式化

UNITY编辑器的json格式化和验证工具资源-CSDN文库https://download.csdn.net/download/qq_38655924/90676188?spm1001.2014.3001.5501 反复去别的网站验证json太麻烦了 用这个工具能方便点 # Unity JSON工具 这是一个Unity编辑器扩展,用于验证、格式化和压缩JSO…

学习笔记:Qlib 量化投资平台框架 — FIRST STEPS

学习笔记:Qlib 量化投资平台框架 — FIRST STEPS Qlib 是微软亚洲研究院开源的一个面向人工智能的量化投资平台,旨在实现人工智能技术在量化投资中的潜力,赋能研究,并创造价值,从探索想法到实施生产。Qlib 支持多种机器…

操作系统:计算机世界的基石与演进

一、操作系统的本质与核心功能 操作系统如同计算机系统的"总管家",在硬件与应用之间架起关键桥梁。从不同视角观察,其核心功能呈现多维价值: 硬件视角的双重使命: 硬件管理者:通过内存管理、进程调度和设…

基于单片机的温湿度采集系统(论文+源码)

2.1系统的功能 本系统的研制主要包括以下几项功能: (1)温度检测功能:对所处环境的温度进行检测; (2)湿度检测功能:对所处环境的湿度进行检测; (3)加热和制冷功能:可以完成加热和制冷功能。 (4)加湿和除…

webrtc使用

demo https://www.webrtc-experiment.com/ github开源demo https://github.com/muaz-khan/WebRTC-Experiment.git ws传递webrtc信令,本机不需要stun服务器,远端电脑需要ice服务器建立peer连接 const WebSocket = require(ws); const express =

【数据可视化-25】时尚零售销售数据集的机器学习可视化分析

🧑 博主简介:曾任某智慧城市类企业算法总监,目前在美国市场的物流公司从事高级算法工程师一职,深耕人工智能领域,精通python数据挖掘、可视化、机器学习等,发表过AI相关的专利并多次在AI类比赛中获奖。CSDN人工智能领域的优质创作者,提供AI相关的技术咨询、项目开发和个…

Python Cookbook-6.11 缓存环的实现

任务 你想定义一个固定尺寸的缓存,当它被填满时,新加入的元素会覆盖第一个(最老的)元素。这种数据结构在存储日志和历史信息时非常有用。 解决方案 当缓存填满时,本节解决方案及时地修改了缓存对象,使其从未填满的缓存类变成了…

OpenCv高阶(九)——背景建模

目录 一、背景建模的核心目标与核心挑战 1. 核心目标 2. 核心挑战 ​二、背景建模模型 1、帧差法原理 2. 概率模型(Parametric Models) (1)高斯混合模型(Gaussian Mixture Model, GMM) (…

小重构,大收益!技术重构实践:如何优雅升级老旧接口

重构格言:"优秀系统不是设计出来的,而是通过持续重构演进而来的。" —— Martin Fowler《重构:改善既有代码的设计》 希望本文能为您的重构之旅提供指引,让老旧系统焕发新生! 一、背景:一个“稳定…

OSPF中DR/BDR的选举

OSPF 开放式最短路径优先协议-CSDN博客 选举原因:广播网络中使路由信息交换更加高速有序,可以降低需要维护的邻接关系数量 基本概念: DR (Designated Router, 指定路由器):负责在广播网络(以太网)或NBMA网…

[特殊字符]‍[特殊字符]Linux驱动开发入门 | 并发与互斥机制详解

文章目录 👨‍💻Linux驱动开发入门 | 并发与互斥机制详解📌为什么驱动中需要并发和互斥控制?💡常见的并发控制机制🔐自旋锁和信号量通俗理解🌀自旋锁(Spinlock)——“厕所…

Kafka 架构设计和组件介绍

什么是Apache Kafka? Apache Kafka 是一个强大的开源分布式事件流平台。它最初由 LinkedIn 开发,最初是一个消息队列,后来发展成为处理各种场景数据流的工具。 Kafka 的分布式系统架构支持水平扩展,使消费者能够按照自己的节奏检…

elk中kibana一直处于可用和降级之间且es群集状态并没有问题的解决方法

前言 在公司部elk的时候发现kibana的web界面一直很卡,数据量为0也会很卡,es群集状态正常,资源足够。 报错信息 [2025-03-17T09:54:50.19400:00][INFO ][status] Kibana is now available (was degraded) [2025-03-17T09:55:03.28000:00][I…

什么是视频上墙

视频联动上墙是指当监控系统中出现报警或其他特定事件时,相关的视频画面能够自动切换并显示在指定的监控大屏或显示设备上,以便监控人员能够快速、直观地查看事件现场的情况,及时做出响应和处理。 具体介绍• 系统组成 :一般由前端…

26考研——存储系统(3)

408答疑 文章目录 一、存储器概述二、主存储器三、主存储器与 CPU 的连接四、外部存储器五、高速缓冲存储器六、虚拟存储器七、参考资料鲍鱼科技课件26王道考研书 八、总结复习提示思考题常见问题和易混淆知识点 一、存储器概述 文章链接: 点击跳转 二、主存储器 文章链接: …

.NET 6 + Dapper + User-Defined Table Type

大家都知道,对于SQL Server IN是有限制条件的,如果IN里面的内容过多,在执行的时候会被自动截断,因而导致查询到的结果不是实际需要的结果。 select * from Payments where Id in (1,2,3,4,...) 为了解决上面的限制,可以…

MySQL 8(Ubuntu 18.04.6 LTS)安装笔记

一、前言 其实之前已经写过一篇笔记【MySQL 8.0.34(x64)安装笔记】。机缘巧合,这次遇到的环境是Ubuntu 18.04 LTS,相比Windows平台的安装,对mysql的版本以及依赖的选择,稍微要窄一些。特作笔记。 二、准备…

学习 Apache Kafka

学习 Apache Kafka 是一个很好的选择,尤其是在实时数据流处理和大数据领域。以下是一个系统化的学习建议,帮助你从入门到进阶掌握 Kafka: 1. 先决条件 在开始 Kafka 之前,确保你具备以下基础: Java 基础:K…