Kafka安装使用指南

Kafka是一种高吞吐量的分布式发布订阅消息系统。
Kafka启动方式有Zookeeper和Kraft,两种方式只能选择其中一种启动,不能同时使用。

【Kafka安装】
Kafka下载 https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz
Kafka解压 tar -xzf kafka_2.13-3.7.1.tgz

【Kafka启动】
启动Kafka本地环境需Java 8+以上, (yum安装Java,sudo yum install java-1.8.0-openjdk)
Kafka依赖Zookeeper,本文使用kafka自带Zookeeper进行启动。

1、启动Zookeeper 
nohup ./zookeeper-server-start.sh ../config/zookeeper.properties &
(停止命令:./zookeeper-server-stop.sh ../config/zookeeper.properties )

2、启动Kafka
nohup ./kafka-server-start.sh ../config/server.properties &
(停止命令:./kafka-server-stop.sh ../config/server.properties )

3、查看端口启动
netstat -tpln


Zookeeper默认启动2181端口,可修改配置文件config/zookeeper.properties。

# the port at which the clients will connect
clientPort=2181

同时修改配置文件config/server.properties。
############################# Zookeeper #############################

# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=localhost:2181

Kafka默认启动9092端口(需要耐心等待数分钟),可修改配置文件config/server.properties。
############################# Socket Server Settings #############################

# The address the socket server listens on. If not configured, the host name will be equal to the value of
# java.net.InetAddress.getCanonicalHostName(), with PLAINTEXT listener name, and port 9092.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
#listeners=PLAINTEXT://:9092


【Kafka使用】
进入kafka服务的bin目录执行创建topic主题
(老版本)./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1
报错如下:
zookeeper is not a recognized option joptsimple.UnrecognizedOptionException: zookeeper is not a recognized option
kafka2.2+=的版本,已经不需要依赖zookeeper来查看/创建topic,新版本使用 --bootstrap-server替换老版本的 --zookeeper-server。

创建topic
./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic topic1

查看topic列表
./kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092
查特定topic
./kafka-topics.sh --describe --topic TestTopic --bootstrap-server localhost:9092

生产者
./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic topic1

消费者
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic topic1 --from-beginning

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/44060.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

神经网络设计过程

1.可根据Iris特征直接判断 2.神经网络方法,采集大量的Iris特征,分类对应标签,构成数据集。 将数据集喂入搭好的神经网络结构,网络通过反向传播优化参数得到模型。 有新的网络送入到模型里,模型会给出识别结果。 3.…

SaaS知识库新选择: 值得学习的七大SaaS知识库实例

|概述 在当前的SaaS(Software as a Service)行业中,公司面临着前所未有的机遇与挑战并存的现状。随着云计算和人工智能技术的飞速发展,SaaS模式已成为企业信息化转型的优选路径,为企业提供了高效、灵活且成本效益显著…

【linux】服务器配置raid1教程(硬件配置RAID1)

【linux】服务器配置raid1教程(硬件配置RAID1) 【创作不易,求点赞+关注+收藏】 【linux】服务器创建RAID1(软件配置RAID1) 文章目录 【linux】服务器配置raid1教程(硬件配置RAID1)一、前沿二、硬件配置RAID介绍三、通过BIOS界面设置RAID模式并创建RAID1三、查看RAID1数…

python(3.7版本)安装mitmproxy

环境介绍:win11, python3.7 pip install mitmproxy5.0.0 命令行cmd下,输入 Mitmdump 查看结果是否报错 如果报错上面这样子,就是markupsafe版本问题 换个Markupsafe版本就可以了 成功了吧!!!,如有问题,欢迎留言

nodejs学习之glob

用途 以shell使用的模式匹配文件。 安装 pnpm add glob使用 常用 import {glob} from "glob";//常用匹配 let pattern"./src/util/*.js"; //匹配src/util目录下所有js文件 let jsFiles await glob(pattern); jsFiles.forEach((item)>{console.lo…

【深度学习基础】MAC pycharm 专业版安装与激活

文章目录 一、pycharm专业版安装二、激活 一、pycharm专业版安装 PyCharm是一款专为Python开发者设计的集成开发环境(IDE),旨在帮助用户在使用Python语言开发时提高效率。以下是对PyCharm软件的详细介绍,包括其作用和主要功能&…

高品质标准化诊断肝素诱导性血小板减少症试剂盒—HIT AlertTM Kit

肝素诱导的血小板减少症是一种免疫机制介导的综合征,实验室通常进行免疫学和功能学检测来诊断。免疫学通过检测PF4/肝素抗体来诊断,不考虑其激活血小板能力,比如ELISA,化学发光免疫等检测手段。功能学检测引起肝素依赖性血小板活化…

学习笔记——动态路由——OSPF链路状态通告(LSA)

十、OSPF链路状态通告(LSA) 1、链路状态通告简介 (1)LAS概述 链路状态通告(Link State Advertisement,LSA)是路由器之间链路状态信息的载体。LSA是LSDB的最小组成单位,LSDB由一条条LSA构成的。是OSPF中计算路由的重要依据。 LSA用于向其它邻接OSPF路…

Web3知识图谱,一篇读完

这张图展示了区块链生态系统的架构和主要组件。以下是对图中内容的概括总结: 基础层: 底层基础设施:包括光纤网络、P2P网络、非对称加密、哈希算法、默克尔树和随机数生成。共识机制: PoW(工作量证明): 比特…

Kafka 典型问题与排查以及相关优化

Kafka 是一个高吞吐量的分布式消息系统,但在实际应用中,用户经常会遇到一些性能问题和消息堆积的问题。本文将介绍 Kafka 中一些典型问题的原因和排查方法,帮助用户解决问题并优化 Kafka 集群的性能。 一、Topic 消息发送慢,并发性…

强化学习实战1:OpenAI Gym 实验环境介绍

环境配置 我的 torch 版本是 2.3.0,然后 gym 版本是 0.22.0,python 版本是 3.8 ,pygame 版本是 2.6.0 。 首先安装一下 gym: pip install gym0.22.0 -i https://pypi.tuna.tsinghua.edu.cn/simple然后安装一下 pygame&#xff…

AI究竟是在帮助开发者还是取代他们?来看大佬的观点你就明白了

AI(人工智能)在现代社会中扮演着越来越重要的角色,其在软件开发领域的应用也日益广泛。关于AI是在帮助开发者还是取代他们,V 哥个人认为,一半一半吧,为什么这么说,先不用噴,我们需要…

Transformer与CNN在目标检测对决:现代视觉识别的较量

标题:Transformer与CNN在目标检测对决:现代视觉识别的较量 目标检测作为计算机视觉领域的核心技术之一,一直在不断进化。随着深度学习的发展,卷积神经网络(CNN)和Transformer架构都已被应用于目标检测任务…

YOLOv8改进 | 注意力机制 | 增强模型在图像分类和目标检测BAM注意力【小白必备 + 附完整代码】

秋招面试专栏推荐 :深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 💡💡💡本专栏所有程序均经过测试,可成功执行💡💡💡 专栏目录 :《YOLOv8改进有效…

极狐GitLab 17.0 重磅发布,100+ DevSecOps功能更新来啦~【四】

GitLab 是一个全球知名的一体化 DevOps 平台,很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab :https://gitlab.cn/install?channelcontent&utm_sourcecsdn 是 GitLab 在中国的发行版,专门为中国程序员服务。可以一键式部署…

安防管理平台LntonCVS视频汇聚融合云平台智慧火电厂安全生产管理应用方案

中国的电力产业作为国民经济发展的重要能源支柱,被视为国民经济的基础产业之一。目前,我国主要依赖火力发电,主要燃料包括煤炭、石油和天然气等,通过燃烧转化为动能,再转变为电能输送至全国各地。火力发电量占全国发电…

【软件测试】 1+X初级 功能测试试题

【软件测试】 1X初级 功能测试试题 普通员工登录系统,在“个人信息维护”模块,可以查看和维护个人信息。个人信息维护需求包括用户(UI)页面、业务规则两部分。 UI 界面 个人信息维护 修改基本信息 业务规则 1. 个人信息维护页面…

环形链表1-2 js 快慢指针

环形链表1: 设置两个指针, 慢指针一次走一步,快指针一次走两步, 如果 fast null 或者 fast.next null 不存在环, 如果存在环,两个指针进入环中,是一个追及问题,一定会相遇 var h…

CB-LLM 可信大模型,让大模型可解释

CB-LLM 可信大模型,让大模型可解释 提出背景解法拆解目的问题框架图第1步:概念生成第2步:自动概念评分(ACS)第3步:训练概念瓶颈层(CBL)第4步:学习预测器 例子&#xff1a…

图片批量重命名bat,一个脚本快速搞定图片批量重命名

BAT 批处理 是一种在 Microsoft Windows 操作系统中使用的脚本语言,用于自动执行一系列预定义的命令或任务。这些命令集合通常存储在一个文本文件中,文件扩展名为 .bat 或 .cmd。批处理脚本可以包含简单的命令,如文件复制、移动、删除&#x…