KAFKA 最新版 Shell API单机生产与消费

文章目录

          • 一、KAFKA 启动与监控
          • 二、KAFKA 主题创建于查看生产与消费
            • 2.1. 查看主题列表
            • 2.2. 创建主题
            • 2.3. 查看主题信息
            • 2.4. 主题信息分析
          • 三、KAFKA 主题创建于查看生产与消费
            • 3.1. 客户端监听消息
            • 3.2. 生产消息
            • 3.3. 从头监听消息

一、KAFKA 启动与监控
# 后台启动kafka
kafka-server-start.sh -daemon /app/kafka_2.12-2.8.0/config/server.properties# 监控kafka
ps -aux |grep kafka# 日志存放目录
cd /var/gblfy/kafka/kafka-logs[root@bogon kafka-logs]# pwd
/var/gblfy/kafka/kafka-logs
[root@bogon kafka-logs]# ll
总用量 4
-rw-r--r--. 1 root root  0 915 13:25 cleaner-offset-checkpoint
-rw-r--r--. 1 root root  0 915 13:25 log-start-offset-checkpoint
-rw-r--r--. 1 root root 54 915 13:25 meta.properties
-rw-r--r--. 1 root root  0 915 13:25 recovery-point-offset-checkpoint
-rw-r--r--. 1 root root  0 915 13:25 replication-offset-checkpoint
二、KAFKA 主题创建于查看生产与消费
2.1. 查看主题列表
kafka-topics.sh --zookeeper localhost:2181/mykafka --list
2.2. 创建主题

创建主题指定主题名称、该主题有几个分区,每个分区有几个副本

副本就是为了提高高可用,主从切换,要求一个分区的不同副本必须在不同的服务器上,否则没有意义

# 创建一个主题名称为topic_1  该主题分区1个分区 ,该分区有1个副本
kafka-topics.sh --zookeeper localhost:2181/mykafka --create --topic topic_1 --partitions 1 --replication-factor 1
# 创建一个主题名称为topic_2  分区个数为5个 ,每个分区各有1个副本
kafka-topics.sh --zookeeper localhost:2181/mykafka --create --topic topic_2 --partitions 5 --replication-factor 1 
2.3. 查看主题信息
# 查看主体名称为topic_1的具体信息
kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_1# 查看主体名称为topic_2的具体信息
kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_2
2.4. 主题信息分析
[root@bogon kafka-logs]# kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_1
Topic:topic_1   PartitionCount:1        ReplicationFactor:1     Configs:Topic: topic_1  Partition: 0    Leader: 0       Replicas: 0     Isr: 0
当前topic_1主题,有1个分区,0号分区,这个分区在0号服务器上,一个副本,在0号服务器上
[root@bogon kafka-logs]# kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_2
Topic:topic_2   PartitionCount:5        ReplicationFactor:1     Configs:Topic: topic_2  Partition: 0    Leader: 0       Replicas: 0     Isr: 0Topic: topic_2  Partition: 1    Leader: 0       Replicas: 0     Isr: 0Topic: topic_2  Partition: 2    Leader: 0       Replicas: 0     Isr: 0Topic: topic_2  Partition: 3    Leader: 0       Replicas: 0     Isr: 0Topic: topic_2  Partition: 4    Leader: 0       Replicas: 0     Isr: 0
# 主题topic_2,该主题有5个分区,分别是0/1/2/3/4/5号分区,每个分区各有一个副本,每个分区都在0号服务器上
三、KAFKA 主题创建于查看生产与消费
3.1. 客户端监听消息
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1
3.2. 生产消息
# 
kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1# 在实时窗口中,生产消息,消费者就会实时监听消息

如下图所示:
在这里插入图片描述

3.3. 从头监听消息

把消费者关闭,重新启动,默认消费者就会之监听在此时间之后的消息,之前的消息不能监听,那如果有需求需要监听以前的所有消息,那该如何处理呢?

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 --from-beginning

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/517321.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

地理文本处理技术在高德的演进(上)+

一、背景 地图App的功能可以简单概括为定位,搜索,导航三部分,分别解决在哪里,去哪里,和怎么去的问题。高德地图的搜索场景下,输入的是,地理相关的检索query,用户位置,Ap…

js倒计时

倒计时 js代码倒计时 var time_now_server,time_now_client,time_end,time_server_client,timerID; var oDate new Date();var year oDate.getFullYear(); //获取系统的年;var month oDate.getMonth()1; //获取系统月份,由于月份是从0开始计算&…

免费12个月!阿里云助力中小企业0成本上云

最新消息,阿里云宣布为企业用户推出云服务器免费12个月扶持计划,助力中小企业0成本上云。阿里云表示,该计划每年投入2000万,超5万中小企业受益,本计划已于2019年11月27日上线。 阿里云智能总裁张建锋在2019阿里云峰会…

KAFKA 同步和异步消息的发送(开发实战)

文章目录一、消费者监听1. 启动zk2. 启动kafka3. 创建主题4. 消费者监听消息二、生产者工程2.1. 依赖2.2. 生产者代码(同步)2.3. 生产者代码(异步)2.4. 发送消息2.5. 消费者监听消息2.6. 结果返回一、消费者监听 1. 启动zk zkSe…

如何通过自动增加索引,实现数据库查询耗时降低50%?

作者 | 利开园责编 | Carol封图 | CSDN 下载自视觉中国很多开发者都遇到类似这样的经历:一个产品功能开发测试都正常,发布上线后也正常,但是过一段后,如果有个活动或流量一大程序就突然卡了,也有可能流量正常也没搞活动…

重磅下载 | 核心系统100%上云,揭秘双11背后的云原生实践

2019 双11,订单创新峰值达到 54.4 万笔/秒,单日数据处理量达到 970PB,面对世界级的流量洪峰,今年的阿里交出了一份亮眼的云原生技术成绩单,并实现了100% 核心应用以云原生的方式上云: 双11 基础设施 100% …

./mysqld: error while loading shared libraries: libnuma.so.1: cannot open shared object file: No suc

./mysqld: error while loading shared libraries: libnuma.so.1: cannot open shared object file: No such file or directory解决方案: yum -y install numactl

MongoDB与阿里云达成战略合作,最新数据库独家上线阿里云!

11月26日,开源数据库厂商MongoDB与阿里云在北京达成战略合作,作为合作的第一步,最新版MongoDB 4.2数据库产品正式上线阿里云平台。 目前阿里云成为全球唯一可提供最新版MongoDB服务的云厂商,双方合作打通了企业在云上使用最新版开…

程序员:我受够了!不想再在小厂里干Java了!

你是否熟悉这样的情形:每天10点到公司,打开电脑:10个小时的增删改查,搬砖写代码的一天就这样开始了。刚毕业时候的你踌躇满志,按照自己的原定计划,这时候应该混到了阿里P6。可现在在小厂苦苦挣扎&#xff0…

swiper轮播插件的使用

swiper轮播插件的使用 引入js文件 <script src"./js/swiper-3.4.2.min.js"></script> 接收后台返回的轮播数据&#xff0c;循环append进去&#xff0c;在append之后new swiper对象 $.each(data[data],function(i){list_item <div class"swip…

AnalyticDB for MySQL技术架构解析

企业数据需求不断变化&#xff0c;近年来变化趋势日益明显&#xff0c;从数据的3V特性看&#xff1a;体积&#xff0c;速度和变化&#xff1b;Big Data强调数据量&#xff0c;PB级以上&#xff0c;是静态数据。而Fast Data在数据量的基础上&#xff0c;意味着速度和和变化&…

ERROR 1396 (HY000): Operation ALTER USER failed for ‘root‘@‘localhost‘

mysql连数据库的时候报错: 1251 client does not support authentication protocol requested by server;consider upgrading Mysql client ERROR 1396 (HY000): Operation ALTER USER failed for ‘root’localhost’ 先登录mysql mysql -u root -p输入密码 mysql> use …

双十一|又快又稳!闲鱼实时事件规则计算驱动平台

闲鱼双十一金鳞抽奖玩法 相信今年在11月7日-11月11日期间使用过闲鱼的用户&#xff0c;可能已经被如下图所示的幸运海星“砸”到过了。只要用户进入到指定的几个页面&#xff0c;或者在某些指定的页面有点击行为&#xff0c;就会触发到这样一个幸运之星。这就是今年闲鱼双十一…

“编程能力差的程序员,90%会输在这点上”谷歌AI专家:其实都是瞎努力

最近几年&#xff0c;我看过市面上很多 Python和人工智能的教程和书籍&#xff0c;它们大都这样讲&#xff1a;先从 Python 人工智能的历史讲起开始&#xff0c;再介绍的基本语法规则&#xff0c;Python 的 list, dict, tuple 等数据结构&#xff0c;最后学习机器学习、深度学习…

图片本地缓存

图片懒加载是通过判断http图片文件是否存在你的本地&#xff0c;如果未存在会将图片缓存到本地&#xff0c;如果已经存在就不做缓存&#xff0c;使用到的技术md5加密&#xff0c;mui、html5. 应客户的要求&#xff0c;需要做懒加载&#xff0c;本人也找了一段时间才找到这个代…

./mysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file: No such

[rootiZbp10xlek93e0is7ye8o6Z bin]# ./mysqld --usermysql --basedir/usr/local/mysql-8.0 --datadir/usr/local/mysql-8.0/data/ --initialize 详细报错如下&#xff1a;./mysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file: No s…

阿里科学家再获世界级荣誉,平头哥首席科学家谢源当选AAASFellow

11月27日&#xff0c;美国科学促进会&#xff08;AAAS&#xff09;公布了2019年度会士&#xff08;Fellow&#xff09;增选结果&#xff0c;阿里巴巴平头哥首席科学家、达摩院高级研究员谢源当选&#xff0c;这也是信息、计算和通信领域新当选的24名Fellow之一&#xff0c;一同…

开放下载!从RCNN到SSD,这应该是最全的一份目标检测算法盘点

导读&#xff1a;从简单的图像分类到3D姿势识别&#xff0c;计算机视觉从来不缺乏有趣的问题和挑战。通过肉眼我们可以检测出一张宠物照中的猫和狗&#xff0c;可以识别出梵高作品《星夜》中的星星和月亮&#xff0c;那如何通过算法赋予机器“看”的智能&#xff0c;就是我们接…

全网最详细TCP参数讲解,再也不用担心没有面试机会了......

作者 | 小林coding责编 | 王晓曼封图 | CSDN 下载自视觉中国前言TCP 性能的提升不仅考察 TCP 的理论知识&#xff0c;还考察了对于操作系统提供的内核参数的理解与应用。TCP 协议是由操作系统实现&#xff0c;所以操作系统提供了不少调节 TCP 的参数。Linux TCP 参数如何正确有…

图片的缩放与拖拽

这个图片的缩放的流畅度还是很好的&#xff0c;需要引入touch.js,好像是百度团队那边写的 <script src"./js/touch.min.js" type"text/javascript"></script> $(function() { //放大缩小var scaleVal 1;var initialScale scaleVal || …