kafka安装

win10

来源:https://blog.csdn.net/tianmanchn/article/details/78943147

  • 进入:http://kafka.apache.org/downloads.html
  • 点击Scala 2.12 - kafka_2.12-2.1.0.tgz
  • 点击http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.1.0/kafka_2.12-2.1.0.tgz
  • 下载后解压缩 😄:\Tools\kafka_2.11-1.0.0\
  • 建立一个空文件夹 logs. eg: D:\Tools\kafka_2.11-1.0.0\logs
  • 进入config目录，编辑修改 server.properties文件
    • log.dirs= D:\Tools\kafka_2.11-1.0.0\logs
    • zookeeper.connect=localhost:2181

启动kafka

进入D:\WorkSoftware\kafka_2.11-1.0.0 ,打开cmd,运行:

.\bin\windows\kafka-server-start.bat .\config\server.properties

测试使用

  • 创建一个kafka的topic
//创建一个test1队列:
.\bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test1 --partitions 3 --replication-factor 1
//检查创建结果:
.\bin\kafka-topics.sh --zookeeper localhost:2181 --describe --topic test1
  • 启动接收方
.\bin/kafka-console-consumer.sh --zookeeper localhost:2181--topic test1
//显示数据
  • 启动发送方
.\bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1
//发送数据

Linux安装

参考：https://www.cnblogs.com/lsdb/p/7762871.html

下载：http://kafka.apache.org/downloads
在这里插入图片描述

在这里插入图片描述

下载完之后，上传到Linux上（我放到了/usr/lib/kafka）

安装kafka

只需要解压就可以了

cd /usr/lib/kafka

配置单节点

配置单节点zookeeper

使用kafka自带的zookeeper

cd /usr/lib/kafka/kafka_2.11-2.3.0
mkdir -p zk/data   #创建zookeeper数据存放目录
mkdir -p zk/logs    #创建zookeeperl存放日志目录
cd config       #进入配置文件所在目录mv zookeeper.properties zookeeper.properties.bak #将原配置文件移走，并重命名
cat > zookeeper.properties << EOF
tickTime=2000
dataDir=/usr/lib/kafka/kafka_2.11-2.3.0/zk/data
dataLogDir=/usr/lib/kafka/kafka_2.11-2.3.0/zk/logs
clientPort=2181
EOF

到具体情况时注意修昨dataDir和dataLogDir为自己的相应目录

配置单结点kafka
cd /usr/lib/kafka/kafka_2.11-2.3.0
mkdir logs    #创建logs目录用于存放日志
cd config       #进入配置文件所在目录
mv server.properties server.properties.bak #将原配置文件移走cat > server.properties << EOF
broker.id=1
listeners=PLAINTEXT://192.168.88.128:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/usr/lib/kafka/kafka_2.11-2.3.0/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.88.128:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
EOF

上边配置的server.properties的内容基本都是原server.properties的默认配置，到自己安装时主要修改：

  • broker.id–broker的id；修改为任意自己想要的数值（和zookeeper中的id类似的）
  • listeners–监听址址；修改为kafka要监听的地址
  • log.dirs–日志文件存放目录；修改为自己要存放日志的目录
  • zookeeper.connect–zookeeper监听地址；修改为自己的zookeeper的监听地址，如果是集群所有地址全写上用逗号（半角）隔开即可

启动和停止

启动前要配置JAVA_HOME，不然无法启动（和tomcat一样虽然输出started了但并有有启，可查看kafkaServer.out）

启动
cd /usr/lib/kafka/kafka_2.11-2.3.0/bin
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties    #启动zookeeper
./kafka-server-start.sh -daemon ../config/server.properties           #启动kafka
停止：
cd /usr/lib/kafka/kafka_2.11-2.3.0/bin
./zookeeper-server-stop.sh    #停止zookeeper
./kafka-server-stop.sh        #停止kafka，centos7上可能关不了用kill -9直接杀掉
查看是否有zookeeper和kafka进程
jps

在这里插入图片描述

搭建集群

zookeeper改造
cd /usr/lib/kafka/kafka_2.11-2.3.0/config #进入配置文件路径cat >> zookeeper.properties << EOF
initLimit=5
syncLimit=2
server.1=192.168.88.128:2888:3888
server.2=192.168.88.129:2888:3888
server.3=192.168.88.130:2888:3888
EOFecho '1' > ../zk/data/myid          #配置zookeeper的myid文件
kafka改造

编缉server.properties文件，将所有的zookeeper集群地址追加到zookeeper.connect后，每个地址间用逗号（半角）隔开即可

集群搭建
  • 将上边安装配置好的kafka打包传到其创机器上，然后解压；
  • 对于zookeeper，各机修改zk/data/myid文件的为不同的值，然后各机重启zookeeper即可。
  • 对于kafka，各机修改server.properties中的broker.id为不同的值,listeners修改为本各机IP，然后各机重启kafka即可。

测试是否可用

创建topics：

./kafka-topics.sh --create --zookeeper 192.168.88.128:2181 --replication-factor 2 --partitions 1 --topic test_topics

在一台上创建生产者：

./kafka-console-producer.sh --broker-list 192.168.88.128:9092 --topic test_topics

在另一台上创建消费者：

./kafka-console-consumer.sh --zookeeper 192.168.220.88:2181 --topic test_topics --from-beginning

正常的话在生产者中输入的内容，会在消费者端输出。

docker安装kafka

https://blog.csdn.net/y393016244/article/details/126405864

  • 首先创建一个网络
docker network create app-tier --driver bridge
####
app-tier：网络名称
–driver：网络类型为bridge
  • 安装zookeeper
docker run -d --name zookeeper-server \--network app-tier \-e ALLOW_ANONYMOUS_LOGIN=yes \bitnami/zookeeper:latest
####
Kafka依赖zookeeper所以先安装zookeeper
-p：设置映射端口（默认2181）
-d：后台启动
  • 查看zookeeper容器日志
docker logs -f zookeeper-server
  • 安装Kafka
docker run -d --name kafka-server \--network app-tier \-v /etc/localtime:/etc/localtime:ro \-v /etc/hosts:/etc/hosts \-p 9092:9092 \-e ALLOW_PLAINTEXT_LISTENER=yes \-e KAFKA_CFG_ZOOKEEPER_CONNECT=local-vm1:2181 \-e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://local-vm1:9092 \bitnami/kafka:latest
#####
–name：容器名称
-p：设置映射端口（默认9092 ）
-d：后台启动
ALLOW_PLAINTEXT_LISTENER任何人可以访问
KAFKA_CFG_ZOOKEEPER_CONNECT链接的zookeeper
KAFKA_ADVERTISED_HOST_NAME当前主机IP或地址（重点：如果是服务器部署则配服务器IP或域名否则客户端监听消息会报地址错误）
-e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.101:9092 \

图形化界面

docker run -d --name kafka-map \--network app-tier \-p 9001:8080 \-v /usr/local/soft/docker/kafka/kafka-map/data:/usr/local/kafka-map/data \-e DEFAULT_USERNAME=admin \-e DEFAULT_PASSWORD=admin \--restart always dushixiang/kafka-map:latest

打开:http://127.0.0.1:9001

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/107129.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

微信小程序使用阿里巴巴iconfont,报错Failed to load font http://at.alicdn.com/t/..........

微信小程序使用阿里巴巴iconfont,报错Failed to load font http://at.alicdn.com/t/..........

介绍 上篇文章&#xff0c;介绍了&#xff0c;在微信小程序里导入并使用阿里巴巴iconfont图标&#xff1b;但是在页面里使用后&#xff0c;可以看到后台日志有打印错误信息&#xff0c;具体报错如下&#xff1a; 分析 报这个错&#xff0c;是因为项目里使用了 iconfont字体…
阅读更多...
主机jvisualvm连接到tomcat服务器查看jvm状态

主机jvisualvm连接到tomcat服务器查看jvm状态

​使用JMX方式连接到tomcat&#xff0c;连接后能够查看前边的部分内容&#xff0c;但是不能查看Visual GC&#xff0c;显示不受此JVM支持&#xff0c; 对了&#xff0c;要显示Visual GC&#xff0c;首先要安装visualvm工具&#xff0c;具体安装方式就是根据自己的jdk版本下载…
阅读更多...
基于RuoYi-Flowable-Plus的若依ruoyi-nbcio支持自定义业务表单流程（二）

基于RuoYi-Flowable-Plus的若依ruoyi-nbcio支持自定义业务表单流程（二）

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码&#xff1a; https://gitee.com/nbacheng/ruoyi-nbcio 演示地址&#xff1a;RuoYi-Nbcio后台管理系统 之前讲到了流程保存的时候还要看是否是自定义业务流程应用类型&#xff0c;若是保存的时候不再检查是否有关…
阅读更多...
AWS香港Web3方案日，防御云安全实践案例受关注

AWS香港Web3方案日，防御云安全实践案例受关注

9月26日&#xff0c;AWS合作伙伴之Web3解决方案日在香港举办。来自人工智能、Web3等领域的创业公司、技术专家、风险投资商&#xff0c;就元宇宙时代未来发展进行了深入交流。现场展示了顶象防御云在金融与Web3领域的安全实践案例。 Web3为互联网体系架构的一个整体演进和升级&…
阅读更多...
SpringBoot配置输出的日志文件

SpringBoot配置输出的日志文件

SpringBoot配置输出的日志文件 1、无需导入依赖&#xff0c;因为我们创建springboot时&#xff0c;导入的关于springboot的依赖中已经包含了。 2、我们在项目的resources 资源文件下创建logback.xml文件&#xff0c;文件内容如下 作用&#xff1a; 如果是开发时启动的项目&a…
阅读更多...
【Apollo】感知工程安装测试

【Apollo】感知工程安装测试

安装基础软件 安装Linux - Ubuntu 安装 Ubuntu 操作系统&#xff0c;请参见官方安装指南。 注意&#xff1a;推荐您使用 Ubuntu 18.04.5 或以上的版本作为您主机的操作系统&#xff0c;若采用18.04版本可使用&#xff1a;Ubuntu 18.04.5 LTS (Bionic Beaver) Ubuntu系统安装完…
阅读更多...
Android Handler/Looper视角看UI线程的原理

Android Handler/Looper视角看UI线程的原理

概述 Handler/Looper机制是android系统非重要且基础的机制&#xff0c;即使在rtos或者linux操作系统上开发应用框架时&#xff0c;也经常借鉴这个机制。通过该机制机制可以让一个线程循环处理事件&#xff0c;事件处理逻辑即在Handler的handleMessge种。本文建议android8.1源码…
阅读更多...
【22】c++设计模式——＞外观模式

【22】c++设计模式——＞外观模式

外观模式定义 为复杂系统提供一个简化接口&#xff0c;它通过创建一个高层接口(外观)&#xff0c;将多个子系统的复杂操作封装起来&#xff0c;以便客户端更容易使用。 简单实现 #include<iostream>// 子系统类 class SubsystemA { public:void operationA() {std::co…
阅读更多...
保姆式教程：MAC安装Android studio（包括安装JDK，Android SDK），解决gradle下载慢的问题

保姆式教程：MAC安装Android studio（包括安装JDK，Android SDK），解决gradle下载慢的问题

文章目录 参考文章安装JDK并配置环境变量安装JDK配置JDK相关的环境变量 Android studio 安装下载Android studiogradle下载慢解决方法 安装Android SDK选择jdk版本安装SDK并配置环境变量 参考文章 原文链接 原文链接 安装JDK并配置环境变量 安装JDK 下载地址 下载后双击安装…
阅读更多...
Docker开启远程访问+idea配置docker+dockerfile发布java项目

Docker开启远程访问+idea配置docker+dockerfile发布java项目

一、docker开启远程访问 1.编辑docker服务文件 vim /usr/lib/systemd/system/docker.servicedocker.service原文件如下&#xff1a; [Unit] DescriptionDocker Application Container Engine Documentationhttps://docs.docker.com Afternetwork-online.target docker.socke…
阅读更多...
【设计模式】十、组合模式

【设计模式】十、组合模式

文章目录 案例组合模式基本介绍类图代码 组合模式在 JDK 集合的源码分析组合模式的注意事项和细节 案例 编写程序展示一个学校院系结构&#xff1a;需求是这样&#xff0c;要在一个页面中展示出学校的院系组成&#xff0c;一个学校有多个学院&#xff0c;一个学院有多个系。如…
阅读更多...
Kotlin笔记(四):高阶函数

Kotlin笔记(四):高阶函数

1. 高阶函数 1.1 定义高阶函数 高阶函数和Lambda的关系是密不可分的。一些与集合相关的函数式API的用法&#xff0c;如map、filter函数等,Kotlin的标准函数&#xff0c;如run、apply函数等。这几个函数有一个共同的特点&#xff1a;它们都会要求我们传入一个Lambda表达式作为参…
阅读更多...
4.查询用户的累计消费金额及VIP等级

4.查询用户的累计消费金额及VIP等级

思路分析&#xff1a; &#xff08;1&#xff09;按照user_id及create_date 分组求消费金额total_amount &#xff08;2&#xff09;开窗计算同user_id下的累计销售金额sum(total_amount) over(partition by user_id order by create_date ROWS BETWEEN UNBOUNDED PRECEDING AN…
阅读更多...
07测试Maven中依赖的范围,依赖的传递原则,依赖排除的配置

07测试Maven中依赖的范围,依赖的传递原则,依赖排除的配置

依赖的特性 scope标签在dependencies/dependency标签内,可选值有compile(默认值),test,provided,system,runtime,import compile&#xff1a;在项目实际运行时真正要用到的jar包都是以compile的范围进行依赖 ,比如第三方框架SSM所需的jar包test&#xff1a;测试过程中使用的j…
阅读更多...
CustomShapes/自定义形状, CustomCurves/自定义曲线, AnimateableData/数据变化动画 的使用

CustomShapes/自定义形状, CustomCurves/自定义曲线, AnimateableData/数据变化动画 的使用

1. CustomShapes 自定义形状视图 1.1 资源图文件 therock.png 1.2 创建自定义形状视图 CustomShapesBootcamp.swift import SwiftUI/// 三角形 struct Triangle: Shape{func path(in rect: CGRect) -> Path {Path { path inpath.move(to: CGPoint(x: rect.midX, y: rect.mi…
阅读更多...
云原生网关可观测性综合实践

云原生网关可观测性综合实践

作者&#xff1a;钰诚 可观测性 可观测性&#xff08;Observability&#xff09;是指系统、应用程序或服务的运行状态、性能和行为能够被有效地监测、理解和调试的能力。 随着系统架构从单体架构到集群架构再到微服务架构的演进&#xff0c;业务越来越庞大&#xff0c;也越来…
阅读更多...
数字孪生在制造运行管理（MOM）的七大应用场景

数字孪生在制造运行管理（MOM）的七大应用场景

数字经济时代&#xff0c;数字孪生作为实现各行各业智能化、数字化的重要手段之一&#xff0c;受到了各方的广泛重视。随着各项关键使能技术的不断发展&#xff0c;数字孪生的应用价值有望得到进一步释放。这些关键使能技术包括建模、渲染、仿真、物联网、虚拟调试、可视化等&a…
阅读更多...
02_单片机及开发板介绍

02_单片机及开发板介绍

单片机简介 单片机&#xff0c;又称为微控制器&#xff08;Microcontroller&#xff09;&#xff0c;是一种集成了微处理器核心、存储器、输入/输出接口及各种功能模块的集成电路芯片。它通常由中央处理器&#xff08;CPU&#xff09;、存储器、输入/输出接口以及各种外设组成&…
阅读更多...
文献阅读快速法-ChatPDF

文献阅读快速法-ChatPDF

如题&#xff0c;直接提供给大家一款能够快速阅读文档的好工具——iTextMaster。 iTextMaster是一款免费的pdf阅读浏览器&#xff0c;上传pdf文档后等待几秒钟&#xff0c;AI就会自动反馈给用户关于文档的摘要总结。十分的方便且实用。 ChatPDF为您提供简洁的文档摘要。对于那…
阅读更多...
【算法|动态规划No.21】leetcode494. 目标和

【算法|动态规划No.21】leetcode494. 目标和

个人主页&#xff1a;兜里有颗棉花糖 欢迎 点赞&#x1f44d; 收藏✨ 留言✉ 加关注&#x1f493;本文由 兜里有颗棉花糖 原创 收录于专栏【手撕算法系列专栏】【LeetCode】 &#x1f354;本专栏旨在提高自己算法能力的同时&#xff0c;记录一下自己的学习过程&#xff0c;希望…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023