Ubuntu22.04下安装kafka_2.11-0.10.1.0并运行简单实例

目录

一、版本信息

二、安装Kafka

1.将Kafka安装包移到下载目录中

2.下载Spark并确保hadoop用户对Spark目录有操作权限

三、启动Kafka并测试Kafka是否正常工作

1.启动Kafka

2.测试Kafka是否正常工作

一、版本信息

虚拟机产品：VMware® Workstation 17 Pro   虚拟机版本：17.0.0 build-20800274

ISO映像文件：ubuntukylin-22.04-pro-amd64.iso

Hadoop版本：Hadoop 3.1.3

JDK版本：Java JDK 1.8

Spark版本：Spark 3.2.0

Kafka版本：kafka_2.11-0.10.1.0

前面的2.11就是该Kafka所支持的Scala版本号，后面的0.10.1.0是Kafka自身的版本号

这里有我放的百度网盘下载链接，读者可以自行下载：

链接：https://pan.baidu.com/s/121zVsgc4muSt9rgCWnJZmw 
提取码：wkk6

也可去Kafka官网进行下载：Apache Kafka

注意：其中的ISO映像文件为ubuntukylin-16.04.7版本的而不是22.04版本，22.04版本内存过大无法上传，见谅！！！

附上Ubuntu Kylin(优麒麟)官网下载：优麒麟 (ubuntukylin.com)        读者可以前去官网下载ISO映像文件

现附上相关资料，读者可通过这些资料来查看自己的Spark与其他组件（例如JDK，Hadoop，Yarn，Hive，Kafka等）的兼容版本、Spark Streaming + Kafka 集成指南、Kafka清华源镜像下载地址等：

1. 查看Spark与Hadoop等其他组件的兼容版本

查看Spark与Hadoop等其他组件的兼容版本 - 技术研究与问题解决 - 博客园 (cnblogs.com)icon-default.png?t=N7T8https://www.cnblogs.com/liuys635/p/12371793.html

2. Github中Spark开源项目地址

apache/spark: Apache Spark - A unified analytics engine for large-scale data processing (github.com)icon-default.png?t=N7T8https://github.com/apache/spark3. Spark Streaming + Kafka 集成指南

Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher) - Spark 3.2.0 Documentation (apache.org)icon-default.png?t=N7T8https://spark.apache.org/docs/3.2.0/streaming-kafka-0-10-integration.html4. Kafka清华源镜像下载地址

Index of /apache/kafka (tsinghua.edu.cn)icon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/

二、安装Kafka

1.将Kafka安装包移到下载目录中

将物理机上下载的Kafka安装包拖拽到读者虚拟机Ubuntu系统家目录中的下载目录中（安装包内已经附带zookeeper,不需要额外安装zookeeper）：

2.下载Spark并确保hadoop用户对Spark目录有操作权限

sudo tar -zxf ~/下载/kafka_2.11-0.10.1.0.tgz -C /usr/local
cd /usr/local
sudo mv kafka_2.11-0.10.1.0/ ./kafka
sudo chown -R hadoop ./kafka    # 此处的 hadoop 为你的用户名

sudo tar -zxf ~/下载/kafka_2.11-0.10.1.0.tgz -C /usr/local：

  • 使用 sudo 权限解压缩并解包 Kafka 压缩包文件 kafka_2.11-0.10.1.0.tgz
  • -zxf 参数表示使用 gzip 解压缩，并且是解包操作
  • ~/下载/kafka_2.11-0.10.1.0.tgz 是 Kafka 压缩包的路径
  • -C /usr/local 指定了解压缩后的文件应该放置的目标路径为 /usr/local

cd /usr/local：

  • 切换当前工作目录到 /usr/local

sudo mv kafka_2.11-0.10.1.0/ ./kafka：

  • 使用 sudo 权限将 Kafka 解压后的文件夹 kafka_2.11-0.10.1.0 重命名为 kafka
  • ./kafka 意味着将文件夹移动到当前目录下，也就是 /usr/local 目录

sudo chown -R hadoop ./kafka：

  • 使用 sudo 权限递归地更改 kafka 文件夹及其所有子文件和子文件夹的所有者为 hadoop 用户
  • -R 参数表示递归地更改权限

至此，Kafka安装完成，下面在Ubuntu系统环境下测试简单的实例

三、启动Kafka并测试Kafka是否正常工作

1.启动Kafka

打开第一个终端，输入下面命令启动Zookeeper服务：

cd /usr/local/kafka
./bin/zookeeper-server-start.sh config/zookeeper.properties

千万不要关闭这个终端窗口，一旦关闭，Zookeeper服务就停止了（Kafka工作运行完毕后不再使用时再关闭）

打开第二个终端，然后输入下面命令启动Kafka服务：

cd /usr/local/kafka
bin/kafka-server-start.sh config/server.properties

千万不要关闭这个终端窗口，一旦关闭，Kafka服务就停止了（Kafka工作运行完毕后不再使用时再关闭）

2.测试Kafka是否正常工作

再打开第三个终端，然后输入下面命令创建一个自定义名称为“wordsendertest”的Topic：

cd /usr/local/kafka
./bin/kafka-topics.sh  --create  --zookeeper  localhost:2181 --replication-factor  1  --partitions  1  --topic  wordsendertest
#可以用list列出所有创建的Topic，验证是否创建成功
./bin/kafka-topics.sh  --list  --zookeeper  localhost:2181
  • kafka-topics.sh：Kafka 提供的命令行工具，用于管理 Kafka 主题（topics）
  • --create：指示命令要创建一个新的主题
  • --zookeeper localhost:2181：指定ZooKeeper 的连接地址，Kafka 使用 ZooKeeper 来管理集群的状态信息。在此，localhost:2181 表示 ZooKeeper 运行在本地主机上，端口号为2181
  • --replication-factor 1：指定主题的副本因子（replication factor），即该主题的每个分区的数据将被复制到几个副本中。这里设置为1，表示每个分区只有一个副本
  • --partitions 1：指定主题的分区数。分区用于将主题的数据分散存储和处理，可以提高性能和扩展性。这里设置为1，表示只有一个分区
  • --topic dblab：指定要创建的主题的名称，这里命名为 "dblab"。 在本地主机上创建一个名为 "dblab" 的 Kafka 主题，该主题具有1个副本因子和1个分区

下面用生产者（Producer）来产生一些数据，请在当前终端（记作“数据源终端”）内继续输入下面命令：

./bin/kafka-console-producer.sh  --broker-list  localhost:9092 --topic  wordsendertest
  • - kafka-console-producer.sh： Kafka 提供的命令行工具，用于在控制台上向 Kafka 主题发送消息
  • --broker-list localhost:9092：指定Kafka 集群的 broker 地址列表，用于指定消息要发送到哪个 Kafka 集群。在此，localhost:9092 表示 Kafka 集群的一个 broker 运行在本地主机上，端口号为9092
  • --topic dblab：指定要发送消息的目标主题，这里是 "dblab"。 在本地主机上向名为 "dblab" 的 Kafka 主题发送消息

上面命令执行后，就可以在当前终端内用键盘输入一些英文单词（也可以等消费者启用后再输入）

现在可以启动一个消费者（Consumer），来查看刚才生产者产生的数据。请另外打开第四个终端，输入下面命令：

cd /usr/local/kafka
./bin/kafka-console-consumer.sh  --zookeeper  localhost:2181 --topic  wordsendertest  --from-beginning
  • - kafka-console-consumer.sh：Kafka 提供的命令行工具，用于在控制台上消费 Kafka 主题的消息
  • --zookeeper localhost:2181：指定了 ZooKeeper 的连接地址，Kafka 使用 ZooKeeper 来管理集群的状态信息。在此，localhost:2181 表示 ZooKeeper 运行在本地主机上，端口号为2181。尽管在较新的 Kafka 版本中，已经不再需要指定 ZooKeeper 地址，而是直接连接到 Kafka broker，但是一些旧版本的命令仍然需要指定
  • --topic dblab：指定要消费消息的目标主题，这里是 "dblab"
  • --from-beginning：指示消费者从该主题的起始位置开始消费消息，而不是从当前最新的消息开始消费。 从名为 "dblab" 的 Kafka 主题消费消息，并从起始位置开始消费

可以看到，屏幕上会显示出如下结果，也就是刚才在另外一个终端里面输入的内容（启动消费者后亦可在生产者中输入内容，消费者终端也可查看到）

-> 实例运行结束后可以Ctrl+Z停止进程 ~~~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/8558.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

2024.5.4 —— LeetCode 高频题复盘

2024.5.4 —— LeetCode 高频题复盘

目录 14. 最长公共前缀128. 最长连续序列718. 最长重复子数组169. 多数元素662. 二叉树最大宽度179. 最大数122. 买卖股票的最佳时机 II62. 不同路径226. 翻转二叉树227. 基本计算器 II 14. 最长公共前缀 题目链接 Python 解法一 class Solution:def longestCommonPrefix(se…
阅读更多...
uniapp——阻止冒泡

uniapp——阻止冒泡

点击事件阻止冒泡 click.stop"onSubmit"其他类型&#xff0c;比如视频&#xff1a; 最后加了一个 click.stop <view class"videoBox" v-if"item.video_url"><video :src"i.image(item.video_url)" :controls"true&quo…
阅读更多...
软件测试实战项目(含电商、银行、APP等)

软件测试实战项目(含电商、银行、APP等)

&#x1f345; 视频学习&#xff1a;文末有免费的配套视频可观看 &#x1f345; 关注公众号【互联网杂货铺】&#xff0c;回复 1 &#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 今天给大家带来几个软件测试项目的实战总结及经验&#xff0c;适…
阅读更多...
初学python记录：力扣1652. 拆炸弹

初学python记录：力扣1652. 拆炸弹

题目&#xff1a; 你有一个炸弹需要拆除&#xff0c;时间紧迫&#xff01;你的情报员会给你一个长度为 n 的 循环 数组 code 以及一个密钥 k 。 为了获得正确的密码&#xff0c;你需要替换掉每一个数字。所有数字会 同时 被替换。 如果 k > 0 &#xff0c;将第 i 个数字用…
阅读更多...
JUC下的ScheduledThreadPoolExecutor详解

JUC下的ScheduledThreadPoolExecutor详解

ScheduledThreadPoolExecutor是Java并发编程框架中一个强大且灵活的线程池实现&#xff0c;专为定时与周期性任务而设计。作为ThreadPoolExecutor的子类&#xff0c;它不仅继承了线程池管理的高效与灵活性&#xff0c;还内置了基于优先级队列的延迟任务调度机制&#xff0c;支持…
阅读更多...
将一层的json转成拼接的query字符串

将一层的json转成拼接的query字符串

方法: 封装方法手写利用第三方库 qs利用浏览器api- URLSearchParams 记录一下URLSearchParams const a new URLSearchParams({bar:foo,foo:20}) a.toString() // barfoo&foo20
阅读更多...
基于模糊PI控制算法的龙格库塔CSTR模型控制系统simulink建模与仿真

基于模糊PI控制算法的龙格库塔CSTR模型控制系统simulink建模与仿真

目录 1.课题概述 2.系统仿真结果 3.核心程序与模型 4.系统原理简介 5.完整工程文件 1.课题概述 基于模糊PI控制算法的龙格库塔CSTR模型控制系统simulink建模与仿真。基于模糊PI控制算法的龙格-库塔&#xff08;Runge-Kutta, RK&#xff09;连续搅拌釜反应器&#xff08;Co…
阅读更多...
景源畅信电商：抖音小店需要请专业人员装修店铺吗？

景源畅信电商：抖音小店需要请专业人员装修店铺吗？

在数字营销的海洋中&#xff0c;抖音小店如一艘航船&#xff0c;装修得当才能吸引顾客登船。那么&#xff0c;小店是否需要请专业人员来装修呢?答案是肯定的。 一、视觉冲击力是关键 专业设计师擅长运用色彩、布局与图像创造出强烈的视觉冲击力&#xff0c;这对于抓住用户的注…
阅读更多...
费用报销（01背包

费用报销（01背包

题目 #include<bits/stdc.h> using namespace std; #define ios ios::sync_with_stdio(false),cin.tie(0),cout.tie(0) int n,m,k; struct node {int m,d,v; }a[1007]; int mon[13]{0,31,28,31,30,31,30,31,31,30,31,30,31}; int dp[1007][2],mm[13],mx; map<int,int…
阅读更多...
2024vue官方生态最全整理

2024vue官方生态最全整理

👩 个人主页：程序媛夏天 🙋‍♂️ 作者简介：前端领域新星创作者、CSDN内容合伙人、自媒体职场博主，专注于前端各领域技术，成长的路上共同学习共同进步，一起加油呀！ ✨系列专栏：前端面试宝典、JavaScript进阶、vue实战 📢 资料领取：前端进阶资料以及文中源码可以在…
阅读更多...
【四、性能测试】性能测试基础与几个重要的概念

【四、性能测试】性能测试基础与几个重要的概念

你好&#xff0c;我是山茶&#xff0c;一个95后在职程序员。也是一个目标跟 1000 程序员探索出 AI 测试 副业之路的 bro&#xff0c;欢迎跟我一起沟通交流&#xff01; 一、什么是性能测试&#xff1f; 性能测试是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来…
阅读更多...
【Linux——Centos7安装RabbitMQ】 RabbitMQ无法连接

【Linux——Centos7安装RabbitMQ】 RabbitMQ无法连接

到这一步是基本已经装好了&#xff0c;现在是在开放端口&#xff0c;我这个报错是因为我的防火墙是处于关闭状态&#xff0c;所以在开放端口时会报防火墙为运行&#xff0c;把防火墙打开&#xff0c;在开放端口&#xff0c;就可以访问到了 重启防火墙&#xff1a; systemctl …
阅读更多...
MATLAB的Bar3函数调节渐变色

MATLAB的Bar3函数调节渐变色

一. colormap函数 可以使用colormap函数： t1=[281.1,584.6, 884.3,1182.9,1485.2; 291.6,592.6,896,1197.75,1497.33; 293.8,596.4,898.6,1204.4,1506.4; 295.8,598,904.4,1209.0,1514.6];bar3(t1,1) set(gca,XTickLabel,{300,600,900,1200,1500},FontSize,10) set(gca,YTic…
阅读更多...
常见C语言基础题说明一

常见C语言基础题说明一

一. 简介 整理一些C语言常见的基础笔试题。 假如系统是 32位计算机的情况下&#xff0c;字节对齐方式为 4字节对齐。计算如下题目。 二. 常见C语言基础笔试题 1. 计算 sizeof(数组名)&#xff0c; sizeof(指针)&#xff0c;strlen(数组名) 大小 计算如下的变量的值&…
阅读更多...
npm无法安装node-sass 的问题

npm无法安装node-sass 的问题

安装 node-sass 的问题呈现&#xff1a;4.9.0版本无法下载 Downloading binary from https://github.com/sass/node-sass/releases/download/v4.9.0/win32-x64-72_binding.node Cannot download "https://github.com/sass/node-sass/releases/download/v4.9.0/win32-x64-…
阅读更多...
JavaScript检测数组类型

JavaScript检测数组类型

在JavaScript中&#xff0c;可以使用typeof操作符检测一个变量的数据类型。对于数组类型来说&#xff0c;typeof操作符返回的结果是"object"。 虽然typeof操作符可以用来检测数组类型&#xff0c;但它并不能区分数组和其他对象类型。为了准确地检测一个变量是否是数…
阅读更多...
Verilog 触发器状态机语言描述-条件语句

Verilog 触发器状态机语言描述-条件语句

条件语句 调试探针条件 调试探针条件可在双向或三向分支条件语句中使用。每个调试探针条件都占用调试探针连接到的 ILA 的 PROBE 端口上 的 1 个触发器比较器。 重要提示 &#xff01; 每个 PROBE 端口都可包含 1 到 16 个触发器比较器 &#xff08; 在编译时配置 &a…
阅读更多...
MySQL调优-01反范式化表设计

MySQL调优-01反范式化表设计

MySQL调优-01反范式化表设计 数据库设计三范式 第一范式&#xff08;1NF&#xff09;。确保数据库表的每一列都是不可分割的原子数据项&#xff0c;即列中不可包含数组、记录等非原子数据项&#xff1b;确保表中没有重复的属性或列&#xff0c;每个属性只出现一次&#xff0c;…
阅读更多...
技术速递｜介绍 .NET MAUI 社区工具包 v8 ：包含 TouchBehavior 支持！

技术速递｜介绍 .NET MAUI 社区工具包 v8 ：包含 TouchBehavior 支持！

作者&#xff1a;Gerald Versluis 排版&#xff1a;Alan Wang .NET MAUI 社区工具包团队很自豪地向您介绍 .NET MAUI 社区工具包的第 8 版&#xff01; 在这个最新的主要版本中&#xff0c;我们为您带来了备受期待的 TouchBehavior&#xff08;以前称为 TouchEffect&#xff0…
阅读更多...
Hutool 只复制不为空的属性

Hutool 只复制不为空的属性

在使用 Hutool 的工具类进行复制时&#xff0c;有时候需要只复制不为空的属性。 比如在修改时&#xff0c;先把数据库中的数据查出来&#xff1a; SysArea sysArea getById(dto.getId());此时再以传入值复制到数据库表对象中&#xff0c;但如果传入值中有属性为null&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023