Kafka集群搭建可视化指南

欢迎来到我的博客，代码的世界里，每一行都是一个故事


在这里插入图片描述

Kafka集群搭建可视化指南

    • 前言
    • 准备工作
      • 硬件要求
      • 环境准备
    • kafka集群的部署与配置
      • 3.1 单节点部署与多节点集群搭建
        • 单节点部署：
        • 多节点集群搭建：
      • 3.2 Broker配置与优化
      • 3.3 Topic的创建与管理
      • 3.4 安全性配置与权限管理
    • knowstreaming
      • docker-compose搭建
      • 引入kafka集群

前言

想象一下，你正在开发一款新的实时数据分析工具，但在处理大规模数据流时遇到了瓶颈。你需要一种可靠、高效的数据传输系统来帮助你实现这一目标。在这个挑战中，Kafka就是你的得力助手。本文将为你揭开Kafka集群搭建的神秘面纱，让你轻松掌握数据处理的主动权。

准备工作

在搭建 Kafka 集群之前，首先需要准备好硬件和环境。以下是一些准备工作的关键步骤：

硬件要求

  1. 服务器资源：

    • 确保每个服务器都有足够的 CPU 和内存资源来运行 Kafka 和 ZooKeeper。资源需求会根据你的实际使用情况而变化。

  2. 网络连接：

    • 确保服务器之间有稳定的网络连接，这对 Kafka 集群的正常运行至关重要。

环境准备

  1. Java 安装：

    • 安装 Java Development Kit (JDK)。Kafka 是用 Java 编写的，因此需要在服务器上安装 Java。推荐使用 Java 8 或更高版本。

  2. ZooKeeper 安装：

    • Kafka 集群依赖于 ZooKeeper 进行协调和管理。在安装 Kafka 之前，确保 ZooKeeper 已经安装并正常运行。你可以参考 ZooKeeper 的官方文档安装和配置 ZooKeeper。

kafka集群的部署与配置

3.1 单节点部署与多节点集群搭建

单节点部署：

  1. 下载 Kafka：

    • 访问 Kafka 的官方网站，下载最新版本的 Kafka。

  2. 解压 Kafka：

    • 将下载的 Kafka 压缩文件解压到你选择的目录。

  3. 配置 Kafka：

    • 进入 Kafka 目录，编辑 config/server.properties 文件。
    • 修改 broker.id 为唯一的整数，表示单节点的 Broker ID。
    • 根据需要修改其他配置，如监听端口、日志目录等。

  4. 启动 Kafka 服务器：

    • 在 Kafka 目录运行以下命令启动 Kafka 服务器：

      bin/kafka-server-start.sh config/server.properties
多节点集群搭建：

  1. 配置不同的 Broker：

    • 在每个 Kafka 服务器上，根据需要修改 config/server.properties 中的 broker.id 和其他配置。
    • 每个 Broker 的 broker.id 必须是唯一的。

  2. 配置 ZooKeeper：

    • 在 config/server.properties 中设置 ZooKeeper 连接信息，如：

      zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

      其中，zk1, zk2, zk3 是你 ZooKeeper 集群的地址。

  3. 启动 Kafka 服务器：

    • 在每个 Kafka 服务器上运行以下命令启动 Kafka 服务器：

      bin/kafka-server-start.sh config/server.properties

3.2 Broker配置与优化

  1. 配置文件详解：

    • config/server.properties 包含了 Kafka 服务器的配置。根据需要修改其中的参数，如 listeners、log.dirs、num.partitions 等。

  2. JVM 配置：

    • 配置 Kafka 的 JVM 参数，可通过 config/server.properties 中的 KAFKA_HEAP_OPTS 来设置内存大小。

  3. 硬盘与网络优化：

    • 配置正确的硬盘路径 (log.dirs)，确保 Kafka 有足够的磁盘空间。
    • 确保服务器之间的网络连接是高速和稳定的。

3.3 Topic的创建与管理

  1. 创建 Topic：

    • 使用 kafka-topics.sh 工具创建主题，例如：

      bin/kafka-topics.sh --create --topic my_topic --bootstrap-server kafka1:9092 --partitions 3 --replication-factor 2

  2. 查看 Topic 列表：

    • 使用 kafka-topics.sh 工具查看已创建的主题列表：

      bin/kafka-topics.sh --list --bootstrap-server kafka1:9092

  3. 查看 Topic 详细信息：

    • 使用 kafka-topics.sh 工具查看主题的详细信息：

      bin/kafka-topics.sh --describe --topic my_topic --bootstrap-server kafka1:9092

3.4 安全性配置与权限管理

  1. SSL 配置：

    • 配置 Kafka 使用 SSL 进行安全通信。编辑 config/server.properties 文件，设置 SSL 配置项。

  2. SASL 配置：

    • 配置 Kafka 使用 SASL 进行身份验证。编辑 config/server.properties 文件，设置 SASL 配置项。

  3. ACL 权限管理：

    • 配置 Kafka ACL（Access Control Lists）进行精确的权限管理。编辑 config/server.properties 文件，设置 ACL 配置项。

  4. 认证与授权：

    • 配置 Kafka 使用其他认证和授权机制，如 Kerberos。编辑 config/server.properties 文件，设置相应的配置项。

请注意，确保配置和安全性设置符合你的生产环境需求。详细的配置选项和更多的信息可以参考 Kafka 的官方文档。

knowstreaming

可视化官方文档

一定要注意脚本单机搭建风险提示，一定注意：

image-20240313163512595

docker-compose搭建

docker-compose操作手册

这个是在官网的基础上做了部分修改

  1. ui端口映射改到了8081，这个最好先试一下你的端口是否被占用了lsof -i tcp:port
  2. es的镜像对于我的系统没有匹配的，也做了修改
  3. 官网默认没有挂载相关的日志以及数据，这里建议挂载一下。
  4. 启动之后如果出现登录网络异常，请稍微等一下再试，你可以看下manage的日志，还没有完全启动
  5. 首次启动之后init模块加载完成后会自动退出
version: '2'
services:# *不要调整knowstreaming-manager服务名称，ui中会用到knowstreaming-manager:image: knowstreaming/knowstreaming-manager:0.7.0container_name: knowstreaming-managerprivileged: truerestart: alwaysdepends_on:- elasticsearch-single- knowstreaming-mysqlexpose:- 80command:- /bin/sh- /ks-start.shenvironment:TZ: Asia/Shanghai# mysql服务地址SERVER_MYSQL_ADDRESS: knowstreaming-mysql:3306# mysql数据库名SERVER_MYSQL_DB: know_streaming# mysql用户名SERVER_MYSQL_USER: root# mysql用户密码SERVER_MYSQL_PASSWORD: admin2022_# es服务地址SERVER_ES_ADDRESS: elasticsearch-single:9200# 服务JVM参数JAVA_OPTS: -Xmx1g -Xms1g# 对于kafka中ADVERTISED_LISTENERS填写的hostname可以通过该方式完成#    extra_hosts:#      - "hostname:x.x.x.x"# 服务日志路径volumes:- /Users/xiaobo/DockerImage/knowstreaming/log:/logsknowstreaming-ui:image: knowstreaming/knowstreaming-ui:0.7.0container_name: knowstreaming-uirestart: alwaysports:- '8081:80'environment:TZ: Asia/Shanghaidepends_on:- knowstreaming-manager#    extra_hosts:#      - "hostname:x.x.x.x"elasticsearch-single:image: elasticsearch:7.16.3container_name: elasticsearch-singlerestart: alwaysexpose:- 9200- 9300#    ports:#      - '9200:9200'#      - '9300:9300'environment:TZ: Asia/Shanghai# es的JVM参数ES_JAVA_OPTS: -Xms512m -Xmx512m# 单节点配置，多节点集群参考 https://www.elastic.co/guide/en/elasticsearch/reference/7.6/docker.html#docker-compose-filediscovery.type: single-node# 数据持久化路径volumes:- /Users/xiaobo/DockerImage/knowstreaming/data:/usr/share/elasticsearch/data# es初始化服务，与manager使用同一镜像# 首次启动es需初始化模版和索引,后续会自动创建knowstreaming-init:image: knowstreaming/knowstreaming-manager:0.7.0container_name: knowstreaming-initdepends_on:- elasticsearch-singlecommand:- /bin/bash- /es_template_create.shenvironment:TZ: Asia/Shanghai# es服务地址SERVER_ES_ADDRESS: elasticsearch-single:9200knowstreaming-mysql:image: knowstreaming/knowstreaming-mysql:0.7.0container_name: knowstreaming-mysqlrestart: alwaysenvironment:TZ: Asia/Shanghai# root 用户密码MYSQL_ROOT_PASSWORD: admin2022_# 初始化时创建的数据库名称MYSQL_DATABASE: know_streaming# 通配所有host,可以访问远程MYSQL_ROOT_HOST: '%'expose:- 3306
#    ports:
#      - '3306:3306'
# 数据持久化路径volumes:- /Users/xiaobo/DockerImage/knowstreaming/mysql:/data/mysql

引入kafka集群

image-20240313164448058

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/1302.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

政安晨：【Keras机器学习示例演绎】（七）—— 利用 NeRF 进行 3D 体积渲染

政安晨：【Keras机器学习示例演绎】（七）—— 利用 NeRF 进行 3D 体积渲染

目录 简介 设置 下载并加载数据 NeRF 模型 训练 可视化训练步骤 推理 渲染三维场景 可视化视频 结论 政安晨的个人主页：政安晨 欢迎 👍点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras机器学习实战 希望政安晨的博客能够对您有所裨益&#xff0…
阅读更多...
open Gauss 数据库-05 openGauss数据库备份恢复指导手册

open Gauss 数据库-05 openGauss数据库备份恢复指导手册

发文章是为了证明自己真的掌握了一个知识，同时给他人带来帮助，如有问题，欢迎指正，祝大家万事胜意！ 目录 前言 openGauss数据库备份恢复 1 实验介绍 1.1 关于本实验 1.2 实验目的 2 实验前提 3 物理备份和恢复…
阅读更多...
「GO基础」在Windows上配置VS Code GO语言开发环境

「GO基础」在Windows上配置VS Code GO语言开发环境

💝💝💝欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」…
阅读更多...
Linux操作系统·Linux简介

Linux操作系统·Linux简介

1.世界上第一个完善的网络操作系统 Unix是1969年由美国电话电报公司(AT&T)贝尔实验室的两个工程师所创造的操作系统，它允许计算机同时处理多用户和程序。目前大型政府单位、大型企业、航空公司、金融机构多在使用，价钱昂贵，但性能和稳定性…
阅读更多...
车载诊断的基本框架和概念

车载诊断的基本框架和概念

车载诊断的基本框架和概念 我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都是你的不对。非必要不费力证明自己，无利益不…
阅读更多...
springboot+java照相馆预约管理系统ssm

springboot+java照相馆预约管理系统ssm

框架：ssm/springboot都有 jdk版本：1.8 及以上 ide工具：IDEA 或者eclipse 数据库: mysql 编程语言: java 前端：layuibootstrapjsp 详细技术：HTMLCSSJSjspspringmvcmybatisMYSQLMAVENtomcat 开发工具 IntelliJ IDEA: 一…
阅读更多...
回归预测 | Matlab实现BO-RF贝叶斯优化随机森林多变量回归预测

回归预测 | Matlab实现BO-RF贝叶斯优化随机森林多变量回归预测

回归预测 | Matlab实现BO-RF贝叶斯优化随机森林多变量回归预测 目录 回归预测 | Matlab实现BO-RF贝叶斯优化随机森林多变量回归预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.Matlab实现BO-RF贝叶斯优化随机森林多变量回归预测； 2.输入7个特征&#xf…
阅读更多...
Linux Supervisor进程控制系统完全教程

Linux Supervisor进程控制系统完全教程

一、简介 Supervisor是一个进程控制系统，它使用户能够监视和控制类unix操作系统进程。它通过提供基于配置或事件启动、停止和重新启动进程的机制，帮助管理应该在系统中连续运行的进程。对于需要控制和监视Linux或其他类unix操作系统上多个进程的状态的开…
阅读更多...
如何设置unbuntu时间及同步时间

如何设置unbuntu时间及同步时间

文章目录 时区时间同步与服务 时间同步的重要性Ubuntu系统中设置时间和同步时间方法一：通过图形界面设置查看当前时间设置时间和时区设置时区（假设设置为UTC）：设置本地时间（例如，设置时间为2024年4月21日 1…
阅读更多...
String、StringBuilder、StringBuffer区别；String底层详解，实例化、拼接、比较；String为什么不可变

String、StringBuilder、StringBuffer区别；String底层详解，实例化、拼接、比较；String为什么不可变

文章目录 0、前言一、String、StringBuilder、StringBuffer区别二、String简介2.1 String类特点2.2 创建String对象、String实例化2.2.1 实例化方法2.2.2 String str1"abc"和String str2new String("abc")区别 2.3 String的比较2.4 String类的“加法”2.5 …
阅读更多...
【youcans电力电子仿真 03】Boost变换电路

【youcans电力电子仿真 03】Boost变换电路

【youcans电力电子仿真 03】Boost变换电路 Boost变换电路是Buck变换电路的对偶拓扑，也属于非隔离型直流变换器，其输出电压大于输入电压。Boost变换电路具有效率高、输出稳定、控制简单和成本低的优点，广泛应用于电子设备、光伏发电、无线通信…
阅读更多...
了解MySQL InnoDB多版本MVCC（Multi-Version Concurrency Control）

了解MySQL InnoDB多版本MVCC（Multi-Version Concurrency Control）

了解MySQL InnoDB多版本MVCC（Multi-Version Concurrency Control） 在数据库管理系统中，多版本并发控制（MVCC）是一种用于实现高并发和事务隔离的技术。MySQL的InnoDB存储引擎支持MVCC，这使得它可以在提供高…
阅读更多...
伪分布Hadoop下安装Hive

伪分布Hadoop下安装Hive

一、下载并安装Mysql （1）下载mysql安装包（mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar） 下载官网：MySQL :: Download MySQL Community Server (Archived Versions)https://downloads.mysql.com/archives/community/ &…
阅读更多...
Linux-用户管理类命令实训

Linux-用户管理类命令实训

掌握Linux各类命令的使用方法。熟悉Linux操作环境。掌握常用文件目录类命令掌握常用系统信息类命令了解其他常用命令 一、文件与目录管理 （1）查看根目录下有哪些内容 （2）进入/tmp目录，以自己的学号建一个目录&#x…
阅读更多...
HTML部分常用标签补充

HTML部分常用标签补充

table（布局方面不建议使用，而是使用CSS来完成）: 标签解释： ~table标签顾名思义，是表格的意思 ~table其中可以使用boder属性来显示表格的线，最好使用CSS来配合HTML的使用 ~table内的内容可以使用colspan来定…
阅读更多...
Vue2slot插槽（理解与应用）

Vue2slot插槽（理解与应用）

1、插槽的概念 插槽（Slot)是vue为组件的封装者提供的能力。允许开发者在封装组件时，把不确定的、希望由用户指定的部分定义为插槽。 举个例子：组件好比小霸王游戏机，插槽就是游戏机的插口，看用户插什么卡，就…
阅读更多...
【论文精读】Attention is all you need

【论文精读】Attention is all you need

摘要 主要的序列转换模型是基于复杂的循环或卷积神经网络，其中包括一个编码器和一个解码器。性能最好的模型还通过一种注意力机制将编码器和解码器连接起来。我们提出了一种新的简单的网络架构，Transformer，完全基于注意机制，完全…
阅读更多...
24五一杯资料汇总！！！！

24五一杯资料汇总！！！！

以下内容为23年五一杯内容，24年也将会按时更新资料！！！ 问题1：给定建筑物数据，假设该建筑物内温度需要一直保持在18-26度，在温度不适宜的时候要通过电来调节温度，消耗一度电相当于0.…
阅读更多...
gazebo中vins-fusion在仿真小车上的部署

gazebo中vins-fusion在仿真小车上的部署

软件要求：Ubuntu 20.04 ros的noetic版本，我是在虚拟机vitrualbox上运行的 这几天在学ROS，跟着赵虚左老师过了一遍之后，感觉还是有很多不懂的地方，xtdrone上仿真跟着文档走了一遍，好像没学到什么东西&#…
阅读更多...
java解决常见递归问题

java解决常见递归问题

最基本的，斐波那契数列，阶乘（0，1的阶乘均为1） 返回字母“x”第一次出现的位置 使用递归编写一个函数，读取一个字符串，返回字母“x”第一次出现的位置。例如，字符串 "abcdefgh…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023