Kafka搭建(单机版)

部署前提

VMware环境 : 两台centos系统

Jdk包:jdk-8u202-linux-x64.tar.gz
Kafka包:kafka_2.12-3.5.0.tgz
Zookeeper包:apache-zookeeper-3.7.2-bin.tar.gz

百度网盘自取: 链接: https://pan.baidu.com/s/11EWuhBoSmH3musd_3Rgodw?pwd=e32t 提取码: e32t

Kafka搭建(单机版)

Centos搭建JDK8

mkdir /usr/local/env/java
cd /usr/local/env/java
wget https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz
#解压java包到usr/local/env下
tar -zxvf jdk-8u202-linux-x64.tar.gz -C /usr/local/env/java
mv jdk1.8.0_411/* ./
#配置环境变量
vim /etc/profile#将如下命令添加到文件末尾
export JAVA_HOME=/usr/local/java/jdk1.8.0_202
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH#ESC退出并输入:wq保存#使配置生效
source /etc/profile#检查是否配置成功
java -version

Centos搭建Kafka

解压Kafka安装包

mkdir /usr/local/env/kafka
cd /user/local/env/kafka
tar -zxvf /usr/local/env/kafka_2.12-3.5.0.tgz -C /usr/local/env/kafka
mv kafka_2.12-3.5.0/* ./

配置Zookeeper

#创建zookeeper对应的数据地址、log地址
mkdir -p /usr/local/env/zookeeper/data
mkdir -p /usr/local/env/zookeeper/logs
#修改zookper配置
vim /usr/local/env/kafka/config/zookeeper.properties
#添加如下配置
dataDir=/usr/local/env/zookeeper/data
dataLogDir=/usr/local/env/zookeeper/logs#设置zookeeperserver-service
#创建zookeeper自启动service
vim /etc/systemd/system/zookeeper.service#添加如下配置
[Unit]
Description=zookeeper   #描述
Requires=network.target #需要的服务
After=network.target #在什么服务之后启动
[Service]
Type=forking
Environment=JAVA_HOME=/usr/local/env/java/jdk1.8.0_202  #依赖环境
WorkingDirectory=/usr/local/env/zookeeper
ExecStart=/usr/local/env/kafka/bin/zookeeper-server-start.sh -daemon /usr/local/env/kafka/config/zookeeper.properties 
ExecStop=/usr/local/env/kafka/bin/zookeeper-server-start.sh stop
Restart=always
RestartSec=10
TimeoutSec=360
[Install]
WantedBy=multi-user.target#系统启动命令
systemctl daemon-reload   #重新加载service
systemctl enable zookeeper #开机自启动
systemctl start zookeeper
systemctl status zookeeper
systemctl stop zookeeper

配置Kafka

#修改Kafka配置
vim /usr/local/env/kafka/config/server.propertiesfirewall-cmd --zone=public --add-port=9092/tcp --permanent 
# 重启防火墙
firewall-cmd --reload#添加如下配置
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://127.0.0.1:9092 #如果需要开启外网的情况下 比如外网IP为127.0.0.1
zookeeper.connect=:2181
delete.topic.enable=true
#advertised.listeners=PLAINTEXT://0.0.0.0:9092#配置Kafka服务
vim /etc/systemd/system/kafka.service[Unit]
Description=kafka
Requires=network.target
After=network.target zookeeper.service
[Service]
Type=forking
Environment=JAVA_HOME=/usr/local/env/java/jdk1.8.0_202
ExecStart=/usr/local/env/kafka/bin/kafka-server-start.sh -daemon /usr/local/env/kafka/config/server.properties
ExecStop=/usr/local/env/kafka/bin/kafka-server-stop.sh
Restart=always
RestartSec=10
TimeoutSec=360
[Install]
WantedBy=multi-user.target#启动命令
systemctl daemon-reload
systemctl enable kafka
systemctl start kafka
systemctl status kafka
systemctl restart kafka
systemctl stop kafka#测试命令
# 生产消息(创建名为testTopic的主题)
./bin/kafka-console-producer.sh --topic testTopic --bootstrap-server 172.16.2.25:9092
# 监听消息(重开一个终端监听testTopic主题的消息,在生产消息的终端发消息,此终端收消息)
./bin/kafka-console-consumer.sh --topic testTopic --from-beginning --bootstrap-server 172.16.2.25:9092

基本命令

Kafka基本命令

  • 生产者启动

    ./bin/kafka-console-producer.sh --topic myTestTopic --bootstrap-server 101.126.112.112:9092

  • 消费者启动

    ./bin/kafka-console-consumer.sh --topic myTestTopic --from-beginning --bootstrap-server 101.126.112.112:9092

  • 创建topic

    ./bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic myTestTopic --bootstrap-server 101.126.112.112:9092

  • 查看全部Topic

    ./kafka-topics.sh --bootstrap-server 101.126.112.112:9092 --list

部署参考文档

Kafka

WARN AdminClient clientId=adminclient-1 Connection to node -1 (localhost/127.0.0.1:9092) could not_2023-10-24 12:42:45,766warn adminclient client-CSDN博客

CentOS7安装配置Kafka3.2.0(含SpringBoot连接测试)_centos下载kafka-CSDN博客

SpringBoot3.1.7集成Kafka和Kafka安装_springboot3集成kafka-CSDN博客

FTP

FTP设置普通用户单一上传功能 - 补风的杨大爷 - 博客园

阿里云服务器,使用FTP客户端连接,报(331 Please specify the password…530 Login incorrect.)问题解决方案-CSDN博客

vsftp配置文件详解-腾讯云开发者社区-腾讯云

Linux实验13 配置虚拟用户登录FTP服务器-腾讯云开发者社区-腾讯云

配置ftp服务器只能上传不能进行其他操作 - Jerry_Jin - 博客园

Linux(Centos)配置vsftp使用账号密码(虚拟用户)登录ftp进行文件上传和修改 - yvioo - 博客园

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/40771.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Camtasia 2024新功能 Camtasia2024更新介绍:AI剪辑助力微课制作 Camtasia2024密钥 Camtasia2023免费升级更新

Camtasia 是一款功能强大的屏幕录制和视频编辑软件,广泛应用于教育、商业和娱乐领域。无论是创建教学视频、产品演示、教程还是营销内容,Camtasia都能提供专业的工具和功能,帮助用户制作高质量的视频内容。 Camtasia 2024 中文免费安装包百度…

暑假学习DevEco Studio第2天

学习目标: 掌握页面跳转 学习内容: 跳转页面 创建页面: 在“project”窗口。打开“entry>src>main>ets”,右击“pages”,选择“New>ArkTS File”,命名“Second”,点击回车键。 在页面的路由&#xff0…

昇思25天学习打卡营第16天|文本解码原理——以MindNLP为例

在大模型中,文本解码通常是指在自然语言处理(NLP)任务中使用的大型神经网络模型(如Transformer架构的模型)将编码后的文本数据转换回可读的原始文本的过程。这些模型在处理自然语言时,首先将输入文本&#…

【Unix/Linux】Unix/Linux如何查看系统版本

Unix和Linux查看系统版本的指令有些区别,下面分别介绍: 一.Unix查看系统版本 在Unix系统中,查看系统版本的方法可能会根据具体的Unix操作系统而有所不同。以下是一些通用的方法,适用于多种Unix系统,包括但不限于Solaris、AIX、H…

vienna整流器过零畸变原因分析

Vienna整流器是一种常见的三电平功率因数校正(PFC)整流器,广泛应用于电源和电能质量控制领域。由于其高效率、高功率密度和低谐波失真的特点,Vienna整流器在工业和电力电子应用中具有重要地位。然而,在实际应用中&…

ssh:(xshell)远程连接失败

项目场景: 提示:这里简述项目相关背景: 云服务器远程连接失败 xshell 远程连接失败 xshell (ssh客户端) ---------------------------------------------安全组----------防火墙-------黑白名单-----SSH服务 问题排查 1. 安全…

Playwright之录制脚本转Page Object类

Playwright之录制脚本转Page Object类 设计思路 : 我们今天UI自动化设计的时候,通常会遵循一些设计模式,例如Page Object模式。但是自己找元素再去填写有一些麻烦,所以我们可以通过拆解录制的脚本,将其中的元素提取出来…

DALL-E、Stable Diffusion 等 20+ 图像生成模型综述

二、任务场景 2.1. 无条件生成 无条件生成是指生成模型在生成图像时不受任何额外条件或约束的影响。模型从学习的数据分布中生成图像,而不需要关注输入条件。 2.2. 有条件生成 有条件生成是指生成模型在生成图像时受到额外条件或上下文的影响。这些条件可以是类别…

Vscode 保存代码,代码自动格式化

我这里使用的插件是Prettier-Code formatter:自动缩进整理代码的格式,使用方法如下: 先在vscode商店找到插件并安装:安装插件之后,随便找到一个项目文件,右键选择格式化文档:选中我们安装的插件…

掌握Vim的会话之道:深度解析会话管理功能

掌握Vim的会话之道:深度解析会话管理功能 在高效的文本编辑工作流中,能够保存和恢复编辑会话是极其重要的。Vim,作为一个功能强大的文本编辑器,提供了会话管理功能,允许用户保存当前的工作状态,并在之后重…

spring6框架解析(by尚硅谷)

文章目录 spring61. 一些基本的概念、优势2. 入门案例实现maven聚合工程创建步骤分析实现过程 3. IoC(Inversion of Control)基于xml的bean环境搭建获取bean获取接口创建实现类依赖注入 setter注入 和 构造器注入原生方式的setter注入原生方式的构造器注…

Java 多线程stream流按行读取文件

stream并行流快&#xff08;文件11g&#xff09; try (Stream<String> lines Files.lines(filePath)) {lines.parallel().forEach(str -> operatePartData(str, allDataList)); } catch (IOException e) {throw new RuntimeException(e); }线程池慢&#xff08;文件…

PyPDF2合并PDF文件的高级应用:指定合并方式

本文目录 前言一、合并PDF的高级应用1、逻辑讲解2、合并效果图3、完整代码二、异常校验1、合并过程中的错误校验前言 本文我们主要来讲解一下PyPDF2合并PDF文件的高级应用,就是指定合并方式进行合并,构建函数支持模式选择,主要不管咋折腾,其实就是不想去付费买那个PDF编辑…

PDF怎么分割成一页一页的?原来可以这么轻松

PDF怎么分割成一页一页的&#xff1f;PDF文档因其跨平台兼容性和可打印性而被广泛使用&#xff0c;但有时为了便于发送电子邮件、管理文档或保护敏感信息&#xff0c;我们需要将一个大型的PDF文件分割成多个小文件。幸运的是&#xff0c;分割PDF文件并不复杂。下文中就介绍了三…

webp2jpg网页在线图片格式转换源码

源码介绍 webp2jpg-免费在线图片格式转化器, 可将jpeg、jpg、png、gif、 webp、svg、ico、bmp文件转化为jpeg、png、webp、webp动画、gif文件。 无需上传文件&#xff0c;本地即可完成转换! 源码特点&#xff1a; 无需上传&#xff0c;使用浏览器自身进行转换批量转换输出we…

easyexcel使用小结-未完待续

官网&#xff1a;https://easyexcel.opensource.alibaba.com/docs/current/ <dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>4.0.1</version></dependency>一、读 1.1简单读 Getter…

系统安全体系架构规划框架

安全技术体系架构是对组织机构信息技术系统的安全体系结构的整体描述。安全技术体系架构框架是拥有信息技术系统的组织机构根据其策略的要求和风险评估的结果&#xff0c;参考相关技术体系构架的标准和最佳实践&#xff0c;结合组织机构信息技术系统的具体现状和需求&#xff0…

鸿蒙小案例-自定义键盘

一个自定义键盘 效果 完成简单的26键中英文输入 使用&#xff1a; Entry Component struct IndexInput {State text: string inputController: TextInputController new TextInputController()//自定义键盘关闭事件hideClick(){this.inputController.stopEditing()}//自定义…

软件测评机构:关于软件验收测试作用与实施步骤全解析

软件验收测试是指在软件项目交付给用户之前进行的一系列测试活动&#xff0c;其主要目的是验证软件是否符合用户需求和设计规范&#xff0c;以确保软件的质量和稳定性。 软件验收测试在软件开发生命周期的最后阶段进行&#xff0c;起到了至关重要的作用。它能够帮助客户确认软…

c++:动态内存变量

典型的C面向对象编程 元素 (1)头文件hpp中类的定义 (2)源文件cpp中类的实现&#xff08;构造函数、析构函数、方法&#xff09; (3)主程序 案例 (1)用C来编程“人一天的生活” (2)“人”的属性&#xff1a;name、age、male (3)“人”的方法&#xff1a;eat、work(coding/shop…