aws-msk-托管kafka集群的简单使用(VPC内部访问:无验证和SASL认证)

1.使用控制台创建即可

根据实例类型创建需要至少15分以上,可以提前创建好ec2实例和Secrets Manager,一会会使用到
在这里插入图片描述

2. 创建Secrets Manager (使用无认证时请跳过)

官方文档:https://docs.aws.amazon.com/zh_cn/msk/latest/developerguide/msk-password.html
必须以AmazonMSK_前缀,并且不能使用默认加密方式,需要去kms创建一个新的
在这里插入图片描述
kms 详情 截图
注意授权给当前用户,否则不能选择
在这里插入图片描述

3.修改初始的验证方式

确认等待完成
在这里插入图片描述

4.登录ec2测试

按照文档准备环境
https://docs.aws.amazon.com/zh_cn/msk/latest/developerguide/mkc-create-topic.html
以下是我个人总结的,实际参数按自己情况修改

sudo yum -y install java-11
wget https://archive.apache.org/dist/kafka/2.8.1/kafka_2.13-2.8.1.tgz
tar -xzf kafka_2.13-2.8.1.tgz
cd ./kafka_2.13-2.8.1/libs/
wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jar

sasl认证相关
https://docs.aws.amazon.com/zh_cn/msk/latest/developerguide/msk-password.html

##配置认证文件
touch /data/users_jaas.conf
vim /data/users_jaas.confKafkaClient {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="alice"password="alice-secret";};cp /usr/lib/jvm/java-11-amazon-corretto.x86_64/lib/security/cacerts /tmp/kafka.client.truststore.jks
cd /root/kafka_2.13-2.8.1/bin 
touch client_sasl.properties
vim client_sasl.propertiessecurity.protocol=SASL_SSLsasl.mechanism=SCRAM-SHA-512ssl.truststore.location=/tmp/kafka.client.truststore.jks##配置用户密钥文件环境变量(新加的ssh窗口 需要再次申明)
export KAFKA_OPTS=-Djava.security.auth.login.config=/data/users_jaas.conf
##配置地址方便使用(不同的认证方式端点不同,可能需要添加多个变量)
export KAFKA1=b-3.democlusterht.xa7css.c2.kafka.ap-northeast-1.amazonaws.com:9092,b-2.democlusterht.xa7css.c2.kafka.ap-northeast-1.amazonaws.com:9092,b-1.democlusterht.xa7css.c2.kafka.ap-northeast-1.amazonaws.com:9092
export KAFKA2=b-3.democlusterht.xa7css.c2.kafka.ap-northeast-1.amazonaws.com:9096,b-2.democlusterht.xa7css.c2.kafka.ap-northeast-1.amazonaws.com:9096,b-1.democlusterht.xa7css.c2.kafka.ap-northeast-1.amazonaws.com:9096

上述的端点地址:在控制台客户端信息查看
在这里插入图片描述
在这里插入图片描述
测试连接集群和操作集群

(以下命令明文传输时,直接不带 ‘--command-config client_sasl.properties’ 即可)
##列出topic
./kafka-topics.sh --bootstrap-server $KAFKA1 --list --command-config client_sasl.properties##创建topic
./kafka-topics.sh --bootstrap-server $KAFKA2 --create --topic <topic-name> --command-config client_sasl.properties --replication-factor 2 --partitions 1 ##发送消息
./kafka-console-producer.sh --broker-list $KAFKA2 --topic topic-ht --producer.config client_sasl.properties
##接收消息
./kafka-console-consumer.sh --bootstrap-server $KAFKA2 --topic topic-ht --from-beginning --consumer.config client_sasl.properties

测试效果打开2个会话(新会话需要重新声明环境变量)
1.创建topic 2.生产 3.消费

可以看到我1会话使用的无验证方式,产生消息(只支持vpc下开启)
在这里插入图片描述
2会话窗口使用sasl验证连接集群,消费消息
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/72325.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker实战:docker compose 搭建Rocketmq

1、配置文件准备 1.1、 新建目录&#xff1a;/home/docker/data/rocketmq/conf mkdir /home/docker/data/rocketmq/conf1.2、 在上面目录下新建文件broker.conf文件&#xff0c;内容如下 brokerClusterName DefaultCluster brokerName broker-a brokerId 0 deleteWhen 0…

[react基础]关于v6版本route的变化,以及常见应用模式

该说不说,在做这些之前,你要记得一件事 route不是react或者vue等原本就有的组件!需要你手动下载!然后导入! 原本的框架只是最终挂载到一个html界面上!!! 别再问我为啥你扒下来的代码为啥不好使了! 讨厌 > _< 下载指令去看我另一篇推文 今天复盘了一下自己的实训…

详解浏览器HTTP强、协商缓存

私有缓存 私有缓存是绑定到特定客户端的缓存 —通常是浏览器缓存。由于存储的响应不与其他客户端共享&#xff0c;因此私有缓存可以存储该用户的个性化响应 Cache-Control: private 个性化内容通常是由 cookie 控制&#xff0c;但是 cookie 的存在并不能表明他是私有的&#x…

2023年数学建模国赛A 定日镜场的优化设计思路分析

构建以新能源为主体的新型电力系统&#xff0c;是我国实现“碳达峰”“碳中和”目标的一项重要措施。塔式太阳能光热发电是一种低碳环保的新型清洁能源技术[1]。定日镜是塔式太阳能光热发电站&#xff08;以下简称塔式电站&#xff09;收集太阳能的基本组件&#xff0c;其底座由…

论数据库的种类

摘要 数据库是现代信息管理和数据存储的重要工具&#xff0c;几乎在各个领域都有广泛应用。不同类型的数据库适用于不同的应用场景和需求。本文将介绍几种常见的数据库种类&#xff0c;并探讨它们的特点和适用范围。 正文 一、关系型数据库&#xff08;RDBMS&#xff09; 关…

IntelliJ IDEA中那些让你相见恨晚超好用插件

InteIIiJ IDEA 2023.2版本发布了,在2023.2中&#xff0c;官方根据用户的宝贵反馈对新UI做出了大量改进&#xff0c;新UI界面大大减少了干扰&#xff0c;可以让用户更好地专注于代码。相信很多同学都已经迫不及待地尝试了。 安装激活好 Intellij idea 之后&#xff0c;再搭配如下…

小米手机便签怎么导出到华为mate60Pro手机上?

华为mate60Pro手机于2023年8月29日发布了先锋计划&#xff0c;有不少网友都抢到了这款新机。而有一些网友表示自己在换手机之前遇到了问题&#xff0c;这就是之前使用的手机是小米&#xff0c;所以需要把重要的图片、短信、通讯录、便签等数据导出到新的手机上&#xff0c;但是…

使用ChatGLMTokenizer处理json格式数据

我下载了一些中文wikipedia数据&#xff0c;准备采用ChatGLMTokenizer对齐进行清洗&#xff0c;整理为预训练语料。 import numpy as np import json from tqdm import tqdm from chatglm_tokenizer.tokenization_chatglm import ChatGLMTokenizertokenizer ChatGLMTokenizer…

微信小程序父组件向子组件传参,子组件样式无效问题处理

微信小程序父组件向子组件传参,子组件样式无效问题处理 父组件代码 引入 json "usingComponents": {"evaluate":"../evaluate/evaluate"},wxml <evaluate id1111></evaluate>子组件代码 json {"usingComponents": {&…

yolov7添加注意力机制

yolov7结构图 方法&#xff1a;直接在common里改&#xff0c;在相关的后面加上就行 1、接受通道数的注意力机制 1、目的&#xff1a;在三个输出地方添加注意力 yolov7.yaml文件&#xff0c;换成其他模块 注意力链接 2、models下建SE.py 3、common.py下&#xff0c;先找c…

网络连接评分机制之NetworkFactory

在开机时,各个提供网络连接的对象需要向ConnectivityService注册自己,并把自己所提供的网络的分值告诉ConnectivityService。 为了ConnectivityService便于统一管理,每一个具备提供网络服务的对象都需要创建一个NetworkFactory的子类对象,并利用该对象注册自己,以及提供自…

Spring Cloud服务发现与注册的原理与实现

Spring Cloud服务发现与注册的原理与实现 一、简介1 服务发现的定义2 服务发现的意义 二、Spring Cloud服务注册与发现的实现1 Spring Cloud服务注册1.1 服务注册的基本框架1.2 服务注册的实现方式 2 Spring Cloud服务发现2.1 服务发现的基本框架2.2 服务发现的实现方式 三、Sp…

JDK8的lambda方式List多字段排序List.stream().sorted()

JDK8的lambda方式List多字段排序List.stream().sorted() 多字段排序 List<HumanDetailDownloadVO> collect dataList.stream().sorted(// 日期 倒序 Comparator.comparing(HumanDetailDownloadVO::getDate_str, Comparator.reverseOrder())// 仓id 倒序 .thenCompari…

【Java项目实战】牛客网论坛项目1 - Spring入门与初识SpringMVC

目录 Spring 入门SpringInitializrApplicationContextAwareControllerDAODAO 名称索引ServiceConfig自动装配 初识 SpringMVCHttp 请求GETPOSTHTML 渲染响应 JSON 数据 Spring 入门 SpringInitializr IDEA 专业版自带的功能&#xff0c;也可以直接搜索对应网站&#xff0c;通…

数据库概念

定义&#xff1a; 数据库&#xff08;Database 简称DB&#xff09;是持久存储有组织/可共享数据/的容器 数据库管理系统(MySQL、Oracle、DB2)是操作/和管理数据库/的软件 分类&#xff1a; 关系(型)数据库 (MySQL、Oracle、SQL Server、SQLite、DB2) 非关系(型)数据库 (Redis…

华为云 存在不支持迁移的外键解决方法

DRS 检测出源端存在不支持的外键引用操作 MySQL、GaussDB(for MySQL)为源的全量增量或增量迁移、同步场景&#xff0c;以及MySQL、GaussDB(for MySQL)为源灾备场景 表1 源端存在不支持的外键引用操作 预检查项 源端存在不支持的外键引用操作。 描述 同步对象中存在包含CASC…

git如何查看和修改用户名和邮箱

一、查看Git全局配置的用户名和邮箱 在Git中可以通过以下命令查看你的全局配置&#xff1a; git config --global user.namegit config --global user.email其中&#xff0c;git config是Git配置命令&#xff0c;--global是全局配置选项&#xff0c;user.name和user.email是我…

Unity物体查找方式

参考资料 cUnity中使用GameObject.Find、Transform.Find查找GameObject_思月行云的博客-CSDN博客 GameObject.Find 通过名字或路径查找游戏对象。 GameObject.Find("GameObject"); GameObject.Find("GameObject/ChildGameObject); 使用规范: 1.无法查找隐藏…

配置Jedis连接池

一、概述 Jedis本身是线程不安全的&#xff0c;并且频繁的创建和销毁连接会有性能损耗&#xff0c;因此推荐使用Jedis连接池代替Jedis的直连方式。 二、创建连接池 public class JedisConnectionFactory {private static final JedisPool jedisPool;static {//配置连接池Jedi…

Centos 7 通过Docker部署OnlyOffice

前言&#xff1a; 在本文中&#xff0c;我们将详细介绍如何使用 Docker 部署功能强大的协作办公套件 OnlyOffice。通过 Docker&#xff0c;您可以轻松构建、部署和管理 OnlyOffice&#xff0c;从而提高团队协作和企业办公的效率。 一、安装Docker 1、向系统添加Docker CE软件仓…