Kafka 安装详解

注意:确保有JDK1.8版本及以上

官方文档:https://kafka.apache.org/quickstart

清华镜像下载:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/

首先下载安装包,在linux及Windows都可以使用。

1. Centos 安装部署

1.1 下载

  • 将下载好的安装包上传至服务器

  • 解压

    tar -zxvf kafka_2.12-2.6.3.tgz
    

1.2 启动zookeeper

  • 后台启动zookeeper

    kafka需要依赖ZK,安装包中已经自带了一个ZK,也可以改成指定已运行的ZK。
    如果改成指定的ZK需要修改修改 kafka 安装目录下的 config/server.properties 文件中的zookeeper.connect 。这里使用自带的ZK。

    nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties >> zookeeper.nohup &
    
  • 检查zookeeper是否启动成功:

    ps -ef|grep zookeeper
    

1.3 启动Kafka

  • 修改相关配置

    vim config/server.properties
    
  • Broker ID启动以后就不能改了

    broker.id=0
    
  • 取消注释,改成本机IP;如果是云服务器记得开启端口;

    # 允许外部端口连接                                            
    listeners=PLAINTEXT://0.0.0.0:9092  
    # 外部代理地址                                                
    advertised.listeners=PLAINTEXT://127.0.0.1:9092
    
  • num.partitions后面增加2行。
    发送到不存在topic自动创建。允许永久删除topic。

    num.partitions=1
    auto.create.topics.enable=true
    delete.topic.enable=true
    
  • 后台启动kafka(kafka安装目录下):

    nohup ./bin/kafka-server-start.sh ./config/server.properties >> kafka.nohup &
    
  • 日志在tmp目录下,可以自行设置。

1.4 创建Topic

sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

1.5 查看Topic

sh bin/kafka-topics.sh -list -zookeeper localhost:2181

image-20211212201501699

1.6 启动Producer

新窗口,在Kafka的解压目录下。

sh bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

1.7 启动Consumer

开启一个新的窗口,在Kafka的解压目录下。

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

1.8 测试

image-20211212205142135

image-20211212205150665

2. Windows安装部署

2.1 下载解压

目录结构:

image-20211212202746978

2.2 启动zookeepeer

打开CMD,执行如下命令:

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

image-20211212203022854

2.3 启动Kafka

打开CMD,执行如下命令:

bin\windows\kafka-server-start.bat config\server.properties

2.4 创建Topic

bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkaTest

2.4 查看Topic

bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

image-20211212203157707

2.5 启动Producer

新开窗口。

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic kafkaTest

2.6 启动Consumer

新开窗口。

bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic kafkaTest --from-beginning

2.7 测试

image-20211212203427403


---------------------
作者:、楽.
来源:CSDN
原文:https://blog.csdn.net/qq_41432730/article/details/121893405
版权声明:本文为作者原创文章,转载请附上博文链接!
内容解析By:CSDN,CNBLOG博客文章一键转载插件

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/283807.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Maui正式版】创建可跨平台的Maui程序,以及有关依赖注入、MVVM双向绑定的实现和演示...

前言:Maui终于在2022年8月9日推送出来了。今儿就迫不及待来把玩一下先。A、我本地已有VS2022,不过版本比较老,此处选择更新。工具 -> 获取功能和更新里面,可以获取到新版本更新。B、最新版本是17.3.0,我本地只有17.…

WebSQL存储

2019独角兽企业重金招聘Python工程师标准>>> WebSQL这种存储技术,相对于学过数据库的人来说,还是比较容易理解和上手的,主要就是它的存储风格和我们一般所学的SQL Server 和Oracle比较像,对于HTML5来说,当然…

抖音服务器带宽有多大,才能供上亿人同时刷?

最近看到一个有意思的提问:抖音服务器带宽有多大,为什么能够供那么多人同时刷?今天来给小伙伴们科普一下。 抖音,百度,阿里云,腾讯都是自建的数据中心,都是 T 级别出口带宽(总出口带…

ASP.NET Core 5.0中的Host.CreateDefaultBuilder执行过程

通过Rider调试的方式看了下ASP.NET Core 5.0的Web API默认项目,重点关注Host.CreateDefaultBuilder(args)中的执行过程,主要包括主机配置、应用程序配置、日志配置和依赖注入配置这4个部分。由于水平和篇幅有限,先整体理解、建立框架&#xf…

404和302

为什么80%的码农都做不了架构师?>>> 404 php中用header()函数是可以为返回页面添加404的头信息的,从而提示浏览器该网页找不到了。 所以可以使用:header("HTTP/1.0 404 Not Found");或者:header("Stat…

oracle sqlplus使用

2019独角兽企业重金招聘Python工程师标准>>> 1、常用连接方式 sqlplus / as sysdba 无需数据库进入可用状态,就可用用该命令登录,运行startup来启动。 sqlplus username/pwdhost/service_name,如: sqlplus tiger/scott…

20款IDEA 神级插件 效率提升 30 倍,写代码必备

插件目录 1. Alibaba Java Coding Guidelines 2.GsonFormat 3.A8Translation 4.Maven Helper 5.Free Mybatis plugin 6.Grep Console 7.Lombok 8.Nyan progress bar 9.FindBugs-IDEA 10.Key Promoter X 11.JavaDoc 12.ignore 13.RainbowBrackets 14.Activate-power-mode 15.C…

【温故知新】C# Linq中 Where使用技巧

微信公众号:趣编程ACE关注可了解更多的.NET日常实战开发技巧,如需源码 后台回复 源码 即可;如果觉得对你有帮助,欢迎关注C# Linq中 Where使用技巧hello 大家好,很开心又能重新分享C#编程开发技巧了,之前因为工作和生活…

分布式id解决方案

文章目录 1.分布式id实现方案 1.1.uuid1.2 数据库主键自增1.3 Redis自增1.4 号段模式1.5 雪花算法(snowflake) 1.5.1 百度(uid-generator)1.5.2 美团(Leaf)所谓id就是能够用作唯一标识的记号。 在我们日常的…

我和大象的十年往事 - 感恩、感谢、加油、腾飞

背景 http://www.idcquan.com/Special/OSCAR2018/index.html 由中国信息通信研究院主办、中国通信标准化协会支持的"OSCAR云计算开源产业大会"于2018年3月21日-22日在国家会议中心举行。 非常有幸获得了“OSCAR尖峰开源人物”奖项。 奖项不敢自居&#xf…

4种分布式session解决方案

cookie和session的区别和联系 cookie是本地客户端用来存储少量数据信息的,保存在客户端,用户能够很容易的获取,安全性不高,存储的数据量小 session是服务器用来存储部分数据信息,保存在服务器,用户不容易获…

Blazor University (43)JavaScript 互操作 —— 类型安全

原文链接:https://blazor-university.com/javascript-interop/calling-dotnet-from-javascript/type-safety/类型安全在从 JavaScript 调用 .NET[1] 部分中,您可能已经注意到我们的 JavaScript 的第 6 行在将随机生成的数字传递给 .NET 之前调用了 toStr…

分享 60 个神级 VS Code 插件

文章来源:juejin.cn/post/6994327298740600839 本文不做任何编辑器的比较,只是我本人日常使用 vscode 进行开发,并且比较喜欢折腾 vscode ,会到处找这一些好玩的插件,于是越攒越多,今天给大家推荐一下我收…

PHP 基础篇 - PHP 中 DES 加解密详解

2019独角兽企业重金招聘Python工程师标准>>> 一、简介 DES 是对称性加密里面常见一种,全称为 Data Encryption Standard,即数据加密标准,是一种使用密钥加密的块算法。密钥长度是64位(bit),超过位数密钥被忽略。所谓对…

PerfView专题 (第一篇): 如何寻找热点函数

一:背景 准备开个系列来聊一下 PerfView 这款工具,熟悉我的朋友都知道我喜欢用 WinDbg,这东西虽然很牛,但也不是万能的,也有一些场景他解决不了或者很难解决,这时候借助一些其他的工具来辅助,是…

Centos7设置IP为固定值

1.进入到系统的IP地址保存文件所在目录 [rootlocalhost ~]# cd /etc/sysconfig/network-scripts 2.修改保存IP信息的文件 [rootlocalhost ~]# vim ifcfg-eth0 (你机器上的名字有可能不是这个,但是是以ifcfg-eth开头的文件) 保存后退出 3.重启…

为 EditorConfig 文件开启错误编译失败

前言上次,我们介绍了 EditorConfig 文件可以自定义代码样式规则。但是,当我们想设置代码样式严重性,比如不允许编译成功时,又踩了不少坑。修改无效想把 var 首选项,从“首选"var" 仅重构”,改成“…

【.NET特供-第三季】ASP.NET MVC系列:传统WebForm站点和MVC站点执行机制对照

本文以图形化的方式,从‘执行机制’方面对照传统WebForm站点和MVC站点。请參看下面图形: 一、执行机制 当我们訪问一个站点的时候,浏览器和server都是做了哪些动作呢? (本文仅仅是提供一个简单的执行过程,有…

投阿里被拒,说跳槽太频繁!三年两个工作,问题真的那么大吗?

什么样的跳槽频率才不算频繁?一位网友发问:投阿里被拒,理由是跳槽太频繁,不合适。三年两个工作,问题真的那么大吗?网友说,阿里对稳定性要求非常高,三年两跳和五年三跳都是红线&#…

为什么信息化 ≠ 数字化?终于有人讲明白了

作者:石秀峰 来源:谈数据(ID:learning-bigdata) 近期,我一做数字化咨询的朋友(化名老王)遇到了一个头痛的问题:话说老王的团队近期接了一个大单——一大型制造业的数字化…