centos 7 kafka2.6单机安装及动态认证SASL SCRAM配置

目录

1.kfaka安装篇

1.1 安装jdk

1.2安装kafka

2.安全篇

2.1 kafka安全涉及3部份：

2.2 Kafka权限控制认证方式

2.3 SASL/SCRAM-SHA-256 配置实例

2.3.1 创建用户

2.3.2 创建 JAAS 文件及配置

3.测试

3.1 创建测试用户

3.2 配置JAAS 文件

3.2.1 生产者配置

3.2.2 消费者配置

3.3 消息收发测试

1.kfaka安装篇

  • 依赖环境：jdk 1.8+
  • 系统：centos 7.6
  • 安装版本：v2.6.2
  • 下载：Apache Kafka

1.1 安装jdk

# 安装jdk 1.8
yum install java-1.8.0-openjdk.x86_64 -y

1.2安装kafka

# 下载2.6.2 kafka
wget https://archive.apache.org/dist/kafka/2.6.2/kafka_2.13-2.6.2.tgz# 解压tar -xzf kafka_2.13-2.6.2.tgz && mv kafka_2.13-2.6.2 /usr/local/kafkacd /usr/local/kafka# 启动zk
bin/zookeeper-server-start.sh config/zookeeper.properties
# 启动kafka
bin/kafka-server-start.sh config/server.properties# 启动后查看端口
# 查看监听zk端口2181、kafka端口 9092
# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    tcp6       0      0 :::9092      :::*                    LISTEN      2164/java           
tcp6       0      0 :::2181                 :::*                    LISTEN      1008/java

2.安全篇

2.1 kafka安全涉及3部份：

  • 传输加密
  • 用户认证与授权
  • ZK开启ACL（默认不开启acl，所有用户可更改，按需开启）

这里只开启传输加密和用户认证部分，acl不在这里配置

2.2 Kafka权限控制认证方式

Kafka支持的认证类别有

具体使用哪种按需选择，这里以sasl scram认证配置为例

2.3 SASL/SCRAM-SHA-256 配置实例

步骤：

  • 创建用户
  • 配置认证
2.3.1 创建用户

配置 SASL/SCRAM 的第一步，是创建能连接 Kafka 集群的用户，创建用户admin ，用于实现 Broker 间通信。

创建用户：

# 注意将密码替换
# 创建用户admin
bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[password=admin],SCRAM-SHA-512=[password=admin]' --entity-type users --entity-name admin

附：管理用户命令

# 查看用户信息
bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name admin# 删除用户
bin/kafka-configs.sh --zookeeper localhost:2181 --alter  --delete-config 'SCRAM-SHA-512' --entity-type users --entity-name admin
2.3.2 创建 JAAS 文件及配置

2.3.2.1 broker配置

创建用户之后，需要为每个 Broker 创建一个对应的 JAAS 文件。因为本例为单机部署，所以只创建了一份 JAAS 文件即可。如果是集群，需要为每个 Broker 机器都创建一份 JAAS 文件

JAAS 的文件内容如下

# 在kafka工作目录下创建jaas.conf文件，用于broker通信
vim config/kafka_server_jaas.confKafkaServer {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="admin"password="admin";
};

开启broker认证配置

vim config/server.properties
# 添加如下配置
# 开启认证配置
advertised.listeners=SASL_PLAINTEXT://:9092
listeners=SASL_PLAINTEXT://:9092
security.inter.broker.protocol=SASL_PLAINTEXT
# Broker 间通信也开启 SCRAM 认证，使用 SHA-256 算法
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
# 开启 SCRAM 认证机制，并启用 SHA-256 算法
sasl.enabled.mechanisms=SCRAM-SHA-256

broker启动命令添加 jaas conf配置，用于通信认证

vim /usr/local/kafka/bin/kafka-server-start.sh 
# 将最下面的命令注释
# exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"
# 增加jvm参数：-Djava.security.auth.login.config
# 修改如下
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=/usr/local/kafka/config/kafka_server_jaas.conf kafka.Kafka "$@"

重启kafka

3.测试

3.1 创建测试用户

在这里创建 2个用户，分别是producer和 consumer 。producer 用于生产消息，consumer 用于消费消息，producer和consumer用于测试使用，生产中使用可根据业务需要创建对应用户，这里仅用于演示。

# 创建用户producer
bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[password=producer],SCRAM-SHA-512=[password=producer]' --entity-type users --entity-name producer
# 创建用户consumer
bin/kafka-configs.sh --zookeeper 127.0.0.1:2181 --alter --add-config 'SCRAM-SHA-256=[password=consumer],SCRAM-SHA-512=[password=consumer]' --entity-type users --entity-name consumer

3.2 配置JAAS 文件

3.2.1 生产者配置
vim /usr/local/kafka/config/producer_jaas.confKafkaClient {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="producer"password="producer";
};

配置生产者启动脚本添加JAAS文件

vim bin/kafka-console-producer.sh
# 将下面的命令注释
#exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"
# 修改如下
exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/usr/local/kafka/config/producer_jaas.conf kafka.tools.ConsoleProducer "$@"

配置producer.properties

vim config/producer.properties
# 添加如下内容
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
3.2.2 消费者配置

配置JAAS文件

vim /usr/local/kafka/config/consumer_jaas.confKafkaClient {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="consumer"password="consumer";
};

配置消费者启动脚本添加JAAS文件配置

vim bin/kafka-console-consumer.sh
# 将下面的命令注释
#exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleConsumer "$@"
# 修改如下
exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/usr/local/kafka/config/consumer_jaas.conf kafka.tools.ConsoleConsumer "$@"

配置consumer.properties

vim config/consumer.properties
# 添加如下内容
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256

3.3 消息收发测试

 # 发送消息到topic testbin/kafka-console-producer.sh --broker-list  localhost:9092 --topic test --producer.config config/producer.properties# 读取test消息
bin/kafka-console-consumer.sh --bootstrap-server  localhost:9092 --topic test --from-beginning --consumer.config config/consumer.properties

效果如下

至此kafka SASL SCRAM认证配置完毕

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/127293.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

arcgis删除细长图斑的方法

arcgis删除细长图斑的方法

1、有一张图斑数据如下： 如上图，有很多细长的面要素，需要保留的仅是图中的块状要素。 2、首先要将被合并的要素进行拆分，具体拆分步骤如下： 将所有要素选中，点击高级编辑中的拆分按钮。 3、拆分后图斑就…
阅读更多...
信号、进程、线程、I/O介绍

信号、进程、线程、I/O介绍

文章目录 信号进程进程通信线程可/不可重入函数线程同步互斥锁条件变量自旋锁读写锁 I/O操作阻塞/非阻塞I/OI/O多路复用存储映射I/O 信号 信号是事件发生时对进程的通知机制，可以看做软件中断。信号与硬件中断的相似之处在于其能够打断程序当前执行的正常流程。大多…
阅读更多...
C语言每日一题（23）兔子的序列

C语言每日一题（23）兔子的序列

牛客网 BC159 兔子的序列 题目描述 描述 兔子发现了一个数字序列，于是开始研究这个序列。兔子觉得一个序列应该需要有一个命名，命名应该要与这个序列有关。由于兔子十分讨厌完全平方数，所以兔子开创了一个新的命名方式：这个序列…
阅读更多...
深度学习数据集大合集—疾病、植物、汽车等

深度学习数据集大合集—疾病、植物、汽车等

最近又收集了一大批深度学习数据集，今天分享给大家！废话不多说，直接上数据！ 1、招聘欺诈数据集 招聘欺诈数据集：共收集了 200,000 条数据，来自三个网站。 该数据集共收集了 200.000 条数据，分别…
阅读更多...
算法-小红的ABC（最短回文子串）- [简单]

算法-小红的ABC（最短回文子串）- [简单]

直通牛客-小红的ABC 题目描述 小红拿到了一个只包含 a , b , c 三种字符的字符串。 小红想知道，这个字符串最短的、长度超过 1 的回文子串的长度是多少？ 子串定义：字符串取一段连续的区间。例如"abcca"的子串有"ab"、&…
阅读更多...
Java程序设计2023-第五次上机测试

Java程序设计2023-第五次上机测试

8-1使用按钮选择绘制不同图形 编写一个程序，实现如下的界面，当点击不同按钮时绘制相应的图形。点击“椭圆”，绘制一个椭圆形；点击“矩形”，绘制一个矩形；点击“直线”，绘制一条直线。实现图形绘…
阅读更多...
短视频账号矩阵系统saas源码搭建/技术

短视频账号矩阵系统saas源码搭建/技术

一、短视频矩阵系统建模----技术api接口--获取用户授权 技术文档分享： 本系统采用MySQL数据库进行存储，数据库设计如下： 1.用户表（user）： - 用户ID（user_id） - 用户名&#xff08…
阅读更多...
纯前端实现图片验证码

纯前端实现图片验证码

前言 之前业务系统中验证码一直是由后端返回base64与一个验证码的字符串来实现的，想了下，前端其实可以直接canvas实现，减轻服务器压力。 实现 子组件，允许自定义图片尺寸(默认尺寸为100 * 40)与验证码刷新时间(默认时间为60秒)…
阅读更多...
MySQL - 系统库之 information_schema

MySQL - 系统库之 information_schema

information_schema 用于存储数据库元数据（metadata）。包含了有关数据库服务器、数据库、表、列、索引、权限、存储引擎和其他数据库对象的信息。information_schema 允许用户查询和检索数据库结构和对象的信息，而不需要直接访问系统表或文件…
阅读更多...
天体学爱好者基础知识-太阳系//未完待续，业余者的学习

天体学爱好者基础知识-太阳系//未完待续，业余者的学习

难过的时候，仰望天空吧，人类有时候，做的事情真的太愚昧且无聊了，渺小的尘埃，也可以飘际宇宙。 太阳系-八大行星 卫星围绕着恒星公转。行星必须围绕着恒星公转。 什么是行星？行星和恒星、卫星有什么区别&am…
阅读更多...
Fourier分析导论——第2章——Fourier级数的基本属性(E.M. Stein R. Shakarchi)

Fourier分析导论——第2章——Fourier级数的基本属性(E.M. Stein R. Shakarchi)

第 2 章 Fourier级数的基本属性(Basic Properties of Fourier Series) Nearly fifty years had passed without any progress on the question of analytic representation of an arbitrary function, when an assertion of Fourier threw new light on the subject. Thus…
阅读更多...
yolov7模型轻量化改进之MobileOne骨干替换

yolov7模型轻量化改进之MobileOne骨干替换

本文在之前文章yolov7分割训练的基础上进行改进： https://blog.csdn.net/qq_41920323/article/details/129464115?spm=1001.2014.3001.5502 具体GitHub工程下载，环境安装配置，数据准备等，请借鉴之前的文章，此处只介绍如何进行改进。 MobileOne地址：https://github.com…
阅读更多...
ArrayList集合1

ArrayList集合1

1.ArrayList集合的特点： 1.ArrayList是集合的一个实现类 2.ArrayList内部封装了一个Object类型的对象，初始长度为10，且长度可变 3.ArrayList集合查询快，但是增删慢 4.线程不安全 2.ArrayList集合的一些方法 ①add(Object…
阅读更多...
Android ActivityLifecycleCallback使用

Android ActivityLifecycleCallback使用

在 Android 开发中，ActivityLifecycleCallbacks 是一个接口，用于监听和管理应用程序中 Activity 的生命周期事件。通过实现 ActivityLifecycleCallbacks 接口，可以在 Activity 的创建、启动、暂停、恢复、停止和销毁等各个阶段执行相应的操作…
阅读更多...
vue(32) : win10创建vue2基础前端框架

vue(32) : win10创建vue2基础前端框架

vue2element-uiaxios 1.创建vue2项目 开发工具为HBuilderX 3.7.3 1.1.新建项目 1.2.普通项目-vue项目(2.6.10) 等待创建项目 2.安装element-ui组件 2.1右键左下角开始图标 2.2.cd进入项目目录,执行安装element-ui npm i element-ui -S 2.3.main.js引入配置 import {Paginat…
阅读更多...
【HarmonyOS】服务卡片 API6 JSUI跳转不同页面并携带参数

【HarmonyOS】服务卡片 API6 JSUI跳转不同页面并携带参数

【关键字】 服务卡片、卡片跳转不同页面、卡片跳转页面携带参数 【写在前面】 本篇文章主要介绍开发服务卡片时，如何实现卡片点击跳转不同页面，并携带动态参数到js页面。在此篇文章“服务卡片 API6 JSUI跳转不同页面”中说明了如果跳转不同页面&#xf…
阅读更多...
VMware Workstation 17安装教程之创建普通用户

VMware Workstation 17安装教程之创建普通用户

创建普通用户 Subscription Manager。它指的是红帽产品订阅服务，是红帽公司的一项收费服务，我们暂时不需要。 安装完毕后等待重启 安装后的收尾工作 接受红帽许可协议 返回到初始化界面，单击FINISH CONFIGURATION按钮进行确认后&#xff0…
阅读更多...
4G物联模组产品

4G物联模组产品

4G物联模组产品 文章目录 4G物联模组产品1.功能2.优势3.规格参数3.1.额定最大值3.2.尺寸规格 4.内部实物图5.产品功能说明5.1.通信功能5.2.GPS定位5.3.充放电管理5.4.告警和保护5.5.软件升级5.6.软件调测 6.通信协议6.1流程6.2.消息定义6.2.1.应用下发到云6.2.2.云下发到设备6.…
阅读更多...
算法学习打卡day36｜ 738.单调递增的数字、 968.监控二叉树、贪心算法阶段学习总结

算法学习打卡day36｜ 738.单调递增的数字、 968.监控二叉树、贪心算法阶段学习总结

738.单调递增的数字 力扣题目链接 题目描述&#xff1a; 当且仅当每个相邻位数上的数字 x 和 y 满足 x < y 时&#xff0c;我们称这个整数是单调递增的。 给定一个整数 n &#xff0c;返回 小于或等于 n 的最大数字&#xff0c;且数字呈 单调递增 。 示例 1: 输入: n 10 …
阅读更多...
虹科案例 | AR内窥镜手术应用为手术节约45分钟？

虹科案例 | AR内窥镜手术应用为手术节约45分钟？

相信医疗从业者都知道&#xff0c;在手术室中有非常多的医疗器械屏幕&#xff0c;特别是内窥镜手术室中医生依赖这些内窥镜画面来帮助病患进行手术。但手术室空间有限&#xff0c;屏幕缩放位置相对固定&#xff0c;在特殊场景下医生观看内窥镜画面时无法关注到病患的状态。这存…
阅读更多...
最新文章

Copyright @ 2022~2023