Kafka 安装详解

注意:确保有JDK1.8版本及以上

官方文档:https://kafka.apache.org/quickstart

清华镜像下载:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/

首先下载安装包,在linux及Windows都可以使用。

1. Centos 安装部署

1.1 下载

  • 将下载好的安装包上传至服务器

  • 解压

    tar -zxvf kafka_2.12-2.6.3.tgz
    

1.2 启动zookeeper

  • 后台启动zookeeper

    kafka需要依赖ZK,安装包中已经自带了一个ZK,也可以改成指定已运行的ZK。
    如果改成指定的ZK需要修改修改 kafka 安装目录下的 config/server.properties 文件中的zookeeper.connect 。这里使用自带的ZK。

    nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties >> zookeeper.nohup &
    
  • 检查zookeeper是否启动成功:

    ps -ef|grep zookeeper
    

1.3 启动Kafka

  • 修改相关配置

    vim config/server.properties
    
  • Broker ID启动以后就不能改了

    broker.id=0
    
  • 取消注释,改成本机IP;如果是云服务器记得开启端口;

    # 允许外部端口连接                                            
    listeners=PLAINTEXT://0.0.0.0:9092  
    # 外部代理地址                                                
    advertised.listeners=PLAINTEXT://127.0.0.1:9092
    
  • num.partitions后面增加2行。
    发送到不存在topic自动创建。允许永久删除topic。

    num.partitions=1
    auto.create.topics.enable=true
    delete.topic.enable=true
    
  • 后台启动kafka(kafka安装目录下):

    nohup ./bin/kafka-server-start.sh ./config/server.properties >> kafka.nohup &
    
  • 日志在tmp目录下,可以自行设置。

1.4 创建Topic

sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

1.5 查看Topic

sh bin/kafka-topics.sh -list -zookeeper localhost:2181

image-20211212201501699

1.6 启动Producer

新窗口,在Kafka的解压目录下。

sh bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

1.7 启动Consumer

开启一个新的窗口,在Kafka的解压目录下。

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

1.8 测试

image-20211212205142135

image-20211212205150665

2. Windows安装部署

2.1 下载解压

目录结构:

image-20211212202746978

2.2 启动zookeepeer

打开CMD,执行如下命令:

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

image-20211212203022854

2.3 启动Kafka

打开CMD,执行如下命令:

bin\windows\kafka-server-start.bat config\server.properties

2.4 创建Topic

bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkaTest

2.4 查看Topic

bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

image-20211212203157707

2.5 启动Producer

新开窗口。

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic kafkaTest

2.6 启动Consumer

新开窗口。

bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic kafkaTest --from-beginning

2.7 测试

image-20211212203427403


---------------------
作者:、楽.
来源:CSDN
原文:https://blog.csdn.net/qq_41432730/article/details/121893405
版权声明:本文为作者原创文章,转载请附上博文链接!
内容解析By:CSDN,CNBLOG博客文章一键转载插件

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/283807.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Maui正式版】创建可跨平台的Maui程序,以及有关依赖注入、MVVM双向绑定的实现和演示...

前言:Maui终于在2022年8月9日推送出来了。今儿就迫不及待来把玩一下先。A、我本地已有VS2022,不过版本比较老,此处选择更新。工具 -> 获取功能和更新里面,可以获取到新版本更新。B、最新版本是17.3.0,我本地只有17.…

学go语言能做什么工作?

Go语言主要用作服务器端开发,其定位是用来开发“大型软件”的,适合于很多程序员一起开发大型软件,并且开发周期长,支持云计算的网络服务。Go语言能够让程序员快速开发,并且在软件不断的增长过程中,它能让程…

WebSQL存储

2019独角兽企业重金招聘Python工程师标准>>> WebSQL这种存储技术,相对于学过数据库的人来说,还是比较容易理解和上手的,主要就是它的存储风格和我们一般所学的SQL Server 和Oracle比较像,对于HTML5来说,当然…

软件工程第一次作业补充

1.关注《构建之法》的作者邹欣老师的博客;2.花二十分钟写一个能自动生成小学四则运算题目的“软件”,要求除了整数以外,还要支持真分数的四则运算。将代码上传至coding.net,并将地址发布至自己的博客。代码地址: https://coding.n…

抖音服务器带宽有多大,才能供上亿人同时刷?

最近看到一个有意思的提问:抖音服务器带宽有多大,为什么能够供那么多人同时刷?今天来给小伙伴们科普一下。 抖音,百度,阿里云,腾讯都是自建的数据中心,都是 T 级别出口带宽(总出口带…

ASP.NET Core 5.0中的Host.CreateDefaultBuilder执行过程

通过Rider调试的方式看了下ASP.NET Core 5.0的Web API默认项目,重点关注Host.CreateDefaultBuilder(args)中的执行过程,主要包括主机配置、应用程序配置、日志配置和依赖注入配置这4个部分。由于水平和篇幅有限,先整体理解、建立框架&#xf…

404和302

为什么80%的码农都做不了架构师?>>> 404 php中用header()函数是可以为返回页面添加404的头信息的,从而提示浏览器该网页找不到了。 所以可以使用:header("HTTP/1.0 404 Not Found");或者:header("Stat…

oracle sqlplus使用

2019独角兽企业重金招聘Python工程师标准>>> 1、常用连接方式 sqlplus / as sysdba 无需数据库进入可用状态,就可用用该命令登录,运行startup来启动。 sqlplus username/pwdhost/service_name,如: sqlplus tiger/scott…

20款IDEA 神级插件 效率提升 30 倍,写代码必备

插件目录 1. Alibaba Java Coding Guidelines 2.GsonFormat 3.A8Translation 4.Maven Helper 5.Free Mybatis plugin 6.Grep Console 7.Lombok 8.Nyan progress bar 9.FindBugs-IDEA 10.Key Promoter X 11.JavaDoc 12.ignore 13.RainbowBrackets 14.Activate-power-mode 15.C…

【温故知新】C# Linq中 Where使用技巧

微信公众号:趣编程ACE关注可了解更多的.NET日常实战开发技巧,如需源码 后台回复 源码 即可;如果觉得对你有帮助,欢迎关注C# Linq中 Where使用技巧hello 大家好,很开心又能重新分享C#编程开发技巧了,之前因为工作和生活…

JS引用类型 -- Array类型

ECMAScript数组与其他语言中的数组都是数据的有序列表,但与其他语言不同的是,ECMAScript数组的每一项可以保存任何类型的数据。而且ECMAScript数组的大小是可以动态调整的,即可以随着数据的添加自动增长。 创建数组的基本方式有两种&#xff…

分布式id解决方案

文章目录 1.分布式id实现方案 1.1.uuid1.2 数据库主键自增1.3 Redis自增1.4 号段模式1.5 雪花算法(snowflake) 1.5.1 百度(uid-generator)1.5.2 美团(Leaf)所谓id就是能够用作唯一标识的记号。 在我们日常的…

我和大象的十年往事 - 感恩、感谢、加油、腾飞

背景 http://www.idcquan.com/Special/OSCAR2018/index.html 由中国信息通信研究院主办、中国通信标准化协会支持的"OSCAR云计算开源产业大会"于2018年3月21日-22日在国家会议中心举行。 非常有幸获得了“OSCAR尖峰开源人物”奖项。 奖项不敢自居&#xf…

Httpclient发送json请求

一、Httpclient发送json请求 public String RequestJsonPost(String url){ String strresponse null; try{ HttpClient hc new DefaultHttpClient(); HttpPost hp new HttpPost(url); JSONObject jsonParam new JSONObject(); jsonParam.pu…

基于ABP的AppUser对象扩展

在ABP中AppUser表的数据字段是有限的,现在有个场景是和小程序对接,需要在AppUser表中添加一个OpenId字段。今天有个小伙伴在群中遇到的问题是基于ABP的AppUser对象扩展后,用户查询是没有问题的,但是增加和更新就会报"XXX fie…

html (align 、placeholder )

onblur 事件会在对象失去焦点时发生。 onkeyup 事件会在键盘按键被松开时发生。 ----------------------------------------------------------------------------------------------------------- align 属性规定单元格中内容的水平对齐方式。 <td align"value"&…

4种分布式session解决方案

cookie和session的区别和联系 cookie是本地客户端用来存储少量数据信息的&#xff0c;保存在客户端&#xff0c;用户能够很容易的获取&#xff0c;安全性不高&#xff0c;存储的数据量小 session是服务器用来存储部分数据信息&#xff0c;保存在服务器&#xff0c;用户不容易获…

L2-020. 功夫传人

一门武功能否传承久远并被发扬光大&#xff0c;是要看缘分的。一般来说&#xff0c;师傅传授给徒弟的武功总要打个折扣&#xff0c;于是越往后传&#xff0c;弟子们的功夫就越弱…… 直到某一支的某一代突然出现一个天分特别高的弟子&#xff08;或者是吃到了灵丹、挖到了特别的…

找数组里没出现的数

题目&#xff1a;给定整数的数组&#xff0c;其中1≤A [1]≤ N&#xff08;N数组的大小&#xff09;&#xff0c;一些元素出现两次以及其他出现一次。找到不出现在这个数组中的[1&#xff0c;n ]包含的所有元素。 思路&#xff1a;map的思想。。。。 public List<Integer>…

Blazor University (43)JavaScript 互操作 —— 类型安全

原文链接&#xff1a;https://blazor-university.com/javascript-interop/calling-dotnet-from-javascript/type-safety/类型安全在从 JavaScript 调用 .NET[1] 部分中&#xff0c;您可能已经注意到我们的 JavaScript 的第 6 行在将随机生成的数字传递给 .NET 之前调用了 toStr…