大数据基础设施搭建 - Kafka（with ZooKeeper）

文章目录

  • 一、简介
  • 二、单机部署
    • 2.1 上传压缩包
    • 2.2 解压压缩包
    • 2.3 修改配置文件
      • （1）配置zookeeper地址
      • （2）修改kafka运行日志(数据)存储路径
    • 2.4 配置环境变量
    • 2.5 启动/关闭
    • 2.6 测试
      • （1）查看当前服务器中的所有topic
      • （2）创建topic等增删改查操作未测试，担心后面升级为集群模式时出问题。
  • 三、集群部署
    • 3.0 清空log.dirs目录并删除zookeeper的kafka节点
    • 3.1 同步到其他机器
      • （1）同步Kafka软件
      • （2）修改其他机器的broker.id
      • （3）配置其他机器的环境变量
    • 3.2 启动/停止集群
    • 3.3 测试
      • （1）查看当前服务器中的所有topic
      • （2）创建topic
      • （3）删除topic
      • （4）发送消息
      • （5）消费消息
      • （6）查看某个Topic的详情
      • （7）修改分区数
  • 四、监控（kafka-eagle单机模式）
    • 4.0 上传并解压kafka-eagle压缩包
    • 4.1 修改Kafka集群配置
      • （1）暴露JMX端口
      • （2）调大Kafka内存
      • （3）分发配置
    • 4.2 配置kafka-eagle
      • 4.2.1 修改配置文件
        • （1）配置zk地址
        • （2）Kafka Offset的存储地址
        • （3）配置MySQL地址
        • （4）其他配置
      • 4.2.2 配置环境变量
    • 4.3 启动
      • 4.3.1 启动Kafka集群
      • 4.3.2 启动kafka-eagle
      • 4.3.3 关闭kafka-eagle
    • 4.4 测试

一、简介

Kafka官网：https://kafka.apache.org/intro
Kafka是Scala开发的，运行依赖JVM，所以安装Kafka前需要先安装JDK。

在这里插入图片描述

二、单机部署

Kafka集群化部署需要分布式协调服务来帮助Kafka实现高可用，分布式协调服务可以使用通用解决方案Zookeeper或Kafka内部实现的KRaft。ZooKeeper充当的角色是帮助提供公平的选举机制选举leader等作用。本例采用的模式是Kafka with ZooKeeper（参考资料丰富）。

2.1 上传压缩包

2.2 解压压缩包

[hadoop@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/

2.3 修改配置文件

[hadoop@hadoop102 config]$ vim server.properties

（1）配置zookeeper地址

zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

（2）修改kafka运行日志(数据)存储路径

log.dirs=/opt/module/kafka_2.11-2.4.1/datas

2.4 配置环境变量

[hadoop@hadoop102 config]$ sudo vim /etc/profile.d/my_env.sh

新增内容：

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

使环境变量生效：

[hadoop@hadoop102 config]$ source /etc/profile

2.5 启动/关闭

[hadoop@hadoop102 config]$ cd /opt/module/kafka_2.11-2.4.1/
[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-server-start.sh -daemon config/server.properties
[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-server-stop.sh stop

2.6 测试

（1）查看当前服务器中的所有topic

两种查看方式，一种是连kafka查看，一种是连zookeeper看，topic信息存zookeeper上了？？？？

[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka --list
[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

（2）创建topic等增删改查操作未测试，担心后面升级为集群模式时出问题。

三、集群部署

从Kafka单机模式升级到Kafka集群模式，一定要先清空log.dirs目录，否则其他机器会启动失败。需要清空zookeeper中kafka信息吗？

3.0 清空log.dirs目录并删除zookeeper的kafka节点

[hadoop@hadoop102 kafka_2.11-2.4.1]$ rm -r datas/
# 启动zookeeper客户端
[zk: localhost:2181(CONNECTED) 5] deleteall /kafka

3.1 同步到其他机器

（1）同步Kafka软件

[hadoop@hadoop102 ~]$ mytools_rsync /opt/module/kafka_2.11-2.4.1/

（2）修改其他机器的broker.id

不同机器的brokerid不能相同

[hadoop@hadoop103 config]$ vim server.properties
# 修改内容：broker.id=1
[hadoop@hadoop104 config]$ vim server.properties
# 修改内容：broker.id=2

（3）配置其他机器的环境变量

[hadoop@hadoop103 config]$ sudo vim /etc/profile.d/my_env.sh
[hadoop@hadoop104 config]$ sudo vim /etc/profile.d/my_env.sh

新增内容：

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

使环境变量生效：

[hadoop@hadoop103 config]$ source /etc/profile
[hadoop@hadoop104 config]$ source /etc/profile

3.2 启动/停止集群

# 启动
[hadoop@hadoop102 config]$ cd /opt/module/kafka_2.11-2.4.1/
[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-server-start.sh -daemon config/server.properties
[hadoop@hadoop103 config]$ cd /opt/module/kafka_2.11-2.4.1/
[hadoop@hadoop103 kafka_2.11-2.4.1]$ bin/kafka-server-start.sh -daemon config/server.properties
[hadoop@hadoop104 config]$ cd /opt/module/kafka_2.11-2.4.1/
[hadoop@hadoop104 kafka_2.11-2.4.1]$ bin/kafka-server-start.sh -daemon config/server.properties# 停止
[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-server-stop.sh stop
[hadoop@hadoop103 kafka_2.11-2.4.1]$ bin/kafka-server-stop.sh stop
[hadoop@hadoop104 kafka_2.11-2.4.1]$ bin/kafka-server-stop.sh stop

3.3 测试

（1）查看当前服务器中的所有topic

[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

（2）创建topic

[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --replication-factor 2 --partitions 1 --topic first-topic

选项说明：
–topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数

（3）删除topic

[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first-topic

（4）发送消息

[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first-topic

发送内容：

>hello
>hi~
>are you ok?

（5）消费消息

[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first-topic
[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first-topic

消费者组内的消费者数和topic的分区数的关系？

（6）查看某个Topic的详情

[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first-topic

（7）修改分区数

[hadoop@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first-topic --partitions 3

四、监控（kafka-eagle单机模式）

用于监控Kafka的消息堆积、消息延迟等情况。
注意：需要提前准备好MySQL环境，kafka-eagle会将监控数据保存到MySQL中。

4.0 上传并解压kafka-eagle压缩包

注意：压缩包里面还有一个压缩包，需要解压两次

[hadoop@hadoop102 software]$ cd /opt/software/
[hadoop@hadoop102 software]$ tar -zxvf kafka-eagle-bin-1.4.8.tar.gz
[hadoop@hadoop102 software]$ cd kafka-eagle-bin-1.4.8/
[hadoop@hadoop102 kafka-eagle-bin-1.4.8]$ tar -zxvf kafka-eagle-web-1.4.8-bin.tar.gz -C /opt/module/

4.1 修改Kafka集群配置

先关闭Kafka集群

[hadoop@hadoop102 bin]$ vim kafka-server-start.sh

（1）暴露JMX端口

JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务，实际上，用户能够在任何Java应用程序中使用这些代理和服务实现管理。用人话说，就是对外暴露更多数据，方便某些监控之类的插件来使用

（2）调大Kafka内存

默认初始化内存、运行内存为1G，使用kafka-eagle监控，1G内存不够用。需要增加到2G。

修改内容：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"export JMX_PORT="9999"
fi

（3）分发配置

[hadoop@hadoop102 bin]$ mytools_rsync kafka-server-start.sh

4.2 配置kafka-eagle

4.2.1 修改配置文件

[hadoop@hadoop102 ~]$ cd /opt/module/kafka-eagle-web-1.4.8/conf/
[hadoop@hadoop102 conf]$ vim system-config.properties
（1）配置zk地址

为什么要配置zk的地址，因为Kafka的配置信息存储在了zk中。

修改内容：

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
（2）Kafka Offset的存储地址

kafka-eagle需要监控Kafka的offset，所以需要知道Kafka的offset存储在了哪里，存储位置是在Kafka集群中配置的，Kafka默认将offset存储在了kafka的topic中。

修改内容：

cluster1.kafka.eagle.offset.storage=kafka
（3）配置MySQL地址

修改内容：

kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://mall:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456
（4）其他配置
# 是否启动监控图表
kafka.eagle.metrics.charts=true

4.2.2 配置环境变量

[hadoop@hadoop102 conf]$ sudo vim /etc/profile.d/my_env.sh

新增内容：

# kafkaEagle
export KE_HOME=/opt/module/kafka-eagle-web-1.4.8
export PATH=$PATH:$KE_HOME/bin

使环境变量生效：

[hadoop@hadoop102 conf]$ source /etc/profile

4.3 启动

4.3.1 启动Kafka集群

见本文3.2内容

4.3.2 启动kafka-eagle

启动前先放开MySQL所在机器的3306端口号，因为kafka-eagle启动后会进行初始化操作，包括在MySQL中创建ke数据库等。如果不放开初始化数据库会失败！
注意：阿里云安全组内网之间也需要放开对应端口号才能通信。能互相ping同ip，为什么不能连通端口？？？

[hadoop@hadoop102 conf]$ cd /opt/module/kafka-eagle-web-1.4.8/bin
# 给启动文件执行权限
[hadoop@hadoop102 bin]$ chmod 777 ke.sh
[hadoop@hadoop102 bin]$ cd /opt/module/kafka-eagle-web-1.4.8/
[hadoop@hadoop102 kafka-eagle-web-1.4.8]$ bin/ke.sh start

4.3.3 关闭kafka-eagle

[hadoop@hadoop102 kafka-eagle-web-1.4.8]$ bin/ke.sh stop

4.4 测试

安全组放开8048端口

访问：http://hadoop102:8048/ke
Account:admin
Password:123456

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/154145.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

做外贸要学会分析客户情况

做外贸要学会分析客户情况

最近在某产品的专业群里询问一款产品，看谁可以做，然后很快就有一个自称是工厂的人加上了我。因为自己本身并不懂这个产品，很多他们发的问题自己都答不上来。我就如实告诉他自己是个新手，可以把你们现在能做的，或者已经…
阅读更多...
家庭教育专家：如何创建家庭自主学习环境？

家庭教育专家：如何创建家庭自主学习环境？

经常听到一些父母这样抱怨：“明明和孩子说好就看20分钟电视，结果到了时间，他死活都不肯关。”“作业还没完成的情况下，孩子还一直抱着手机或者电子产品玩游戏。到了约定时间也不撒手，一直跟你讨价还价。” 其实&#…
阅读更多...
最前端｜低代码平台轻松设计可视化图表【内含网站资源】

最前端｜低代码平台轻松设计可视化图表【内含网站资源】

在前端设计中，我们经常需要使用可视化图表来呈现数据和信息。然而，每次都要自己从头开始设计图表未免太过繁琐。为了解决这个问题，我们调研了low code平台上的可视化图表功能。 本篇文章为大家带来以下问题的解答： （1&…
阅读更多...
接口测试需要验证数据库么？

接口测试需要验证数据库么？

有的接口会返回很多数据，有的接口可能就返回一个状态码及success之类的消息，这些需要验证数据库么？现在在写一个测试框架，配置接口参数和预期返回值，生成xml文件管理用例，用一个比较方法对预期和返回作比较…
阅读更多...
17.Oracle11g的PL/SQL基础

17.Oracle11g的PL/SQL基础

Oracle11g的PL/SQL基础 一、PL/SQL的体系1、什么是PL/SQL2、PL/SQL 的优缺点2.1 PL/SQL的优点2.2 PL/SQL的缺点 二、PL/SQL的语法1、PL/SQL代码结构（块）2、PL/SQL基本语法2.1 变量声明2.2 流程控制语法 三、oracle的动态SQL 一、PL/SQL的体系 1、什么是P…
阅读更多...
zabbix告警 邮件告警 钉钉告警

zabbix告警 邮件告警 钉钉告警

邮件告警添加主机组添加模板添加主机在模板中添加监控项在模板中添加触发器添加动作，远程执行命令给用户绑定告警媒介类型 钉钉告警安装python依赖模块python-requests配置钉钉告警配置脚本zabbix_ding.conf在目录/var/log/zabbix中创建钉钉告警日志文件zabbix_ding…
阅读更多...
数据结构——散列表

数据结构——散列表

参考书籍： 《数据结构与抽象：Java语言描述》 第四版 一、背景知识 散列（hashing）：是仅利用项的查找键，无需查找就可确定其下标的一项技术散列表（hash table）：数组散列索引…
阅读更多...
Windos操作系统下的Zookeeper安装图文教程

Windos操作系统下的Zookeeper安装图文教程

凯哥已经准备好最新版本3.9.1且已经配置好了。既获取到配置好的。 获取到凯哥准备的安装后，只需要修改一下配置。将解压包解压后，找到conf文件，里面有个zoo.cfg配置文件。如下图： 下载后conf文件夹内容 打开zoo.cfg配置文件后&a…
阅读更多...
手把手教你如何白瓢七个月阿里云云服务器

手把手教你如何白瓢七个月阿里云云服务器

白嫖他不爽吗？ 手把手带你白嫖七个月云服务器，要注意奥，这里白嫖七个月需要学生认证，才能参与高校计划。 开搞： 阿里云官网  不必多说，直接登录，登录时需要用支付宝扫码，授权后即可…
阅读更多...
OpenAI政变背后是科学家创始人的悲歌

OpenAI政变背后是科学家创始人的悲歌

OpenAI政变背后是科学家创始人的悲歌 去年11月突然推出ChatGPT震惊世界的OpenAI，在整整一年后以闪电解职CEO再次震惊世界。 有不少人以为这拿的是乔布斯的剧本，错了，这其实是天才科学家奋力一击的故事。 OpenAI的灵魂人物不是CEO Sam Al…
阅读更多...
每天分享五款工具，让大家工作生活更顺心

每天分享五款工具，让大家工作生活更顺心

​ 快乐不是在于拥有什么,而在于我们和别人分享什么。每天分享五款工具，让大家工作办公更顺心就是我最大的快乐。 1.沙盒软件——Sandboxie ​ Sandboxie是一款可以在沙盒中运行程序的软件，它可以保护用户的系统和数据免受恶意软件、病毒和其他威胁的影…
阅读更多...
零基础想系统地学习金融学、量化投资、数据分析、python，需要哪些课程、书籍？有哪些证书可以考？

零基础想系统地学习金融学、量化投资、数据分析、python，需要哪些课程、书籍？有哪些证书可以考？

曾经我也是零基础小白，题主想走的路，我已经走过啦～作为一名CFA持证人和管理因子投资的量化策略的投资组合经理，我把这些年积累的干货跟大家分享。 量化投资是金融学的一部分，量化投资（跟量化交易的概念有部…
阅读更多...
鸿蒙原生应用/元服务开发-AGC分发如何配置版本信息（上）

鸿蒙原生应用/元服务开发-AGC分发如何配置版本信息（上）

1.配置HarmonyOS应用的“发布国家或地区”。 2.设置是否为开放式测试版本。 注意：HarmonyOS应用开放式测试当前仅支持手机、平板、智能手表。如开发者想发布为开放式测试版本，选择“是”。正式发布的版本请选择“否”。 3.在“软件版本”下点击“软件包…
阅读更多...
《活着》思维导图

《活着》思维导图

今天给大家分享的这部作品的题目叫“活着”，作为一个词语，“活着”在我们中国的语言里充满了力量，它的力量不是来自于喊叫，也不是来自于进攻，而是忍受，去忍受生命赋予我们的责任，去忍受现实给予…
阅读更多...
如何用html css js 画出曲线 或者斜线；

如何用html css js 画出曲线 或者斜线；

效果图 解题思路 将图片全部定位至中心点，然后x轴就变动translateX ，y轴同理； 这里有两个问题 浏览器： 以左上角为原点0，0 越往下y越大 数学坐标系：以中心点为原点0，0 越往下y越小&#xff1…
阅读更多...
广东网络广播电视台《明星小主播》栏目开拍 小主持神采奕奕

广东网络广播电视台《明星小主播》栏目开拍 小主持神采奕奕

近日，由广东网络广播电视台的《明星小主播》栏目，在广东广播电视台（人民北路）广州越秀区人民北路686号主楼五楼火热开拍，幕后花絮曝光。《明星小主播》栏目是一档专业少儿主持类节目，节目旨在培养小朋友的主…
阅读更多...
动态库符号抢占问题分析

动态库符号抢占问题分析

背景 前段时间在北汽项目中，遇到了一个奇怪现象，困扰了大家较长时间。最终在和同事的不懈努力下，从根因上解决了该问题，过程中也学习到了很多。在此，记录并分享，希望能够帮助大家。 问题描述 作为OTA服务的…
阅读更多...
【Pytorch】Visualization of Feature Maps（1）

【Pytorch】Visualization of Feature Maps（1）

学习参考来自 CNN可视化Convolutional Featureshttps://github.com/wmn7/ML_Practice/blob/master/2019_05_27/filter_visualizer.ipynb 文章目录 filter 的激活值 filter 的激活值 原理：找一张图片，使得某个 layer 的 filter 的激活值最大&#xff0c…
阅读更多...
66从零开始学Java之集合中的Collection体系

66从零开始学Java之集合中的Collection体系

作者：孙玉昌，昵称【一一哥】，另外【壹壹哥】也是我哦 千锋教育高级教研员、CSDN博客专家、万粉博主、阿里云专家博主、掘金优质作者 前言 截止到今天，我们《从零开始学Java系列》的文章已经要到一个新的阶段了。在此之前&#xf…
阅读更多...
【网络安全】——区块链安全和共识机制

【网络安全】——区块链安全和共识机制

区块链安全和共识机制 摘要：区块链技术作为一种分布式去中心化的技术，在无需第三方的情况下，使得未建立信任的交易双方可以达成交易。因此，区块链技术近年来也在金融，医疗，能源等多个行业得到了快速发展。然…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023