kafka和消息队列

https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz
d

kafka依赖与zookeeper

kakka配置文件

broker.id=1    #每个 broker 在集群中的唯一标识,正整数。每个节点不一样
listeners=PLAINTEXT://192.168.74.70:9092 ##监听地址
num.network.threads=3  # 定义用于网络处理的线程数。
num.io.threads=8  #定义用于I/O操作的线程数。
socket.send.buffer.bytes=102400  #设置用于发送数据的套接字缓冲区大小。
socket.receive.buffer.bytes=102400  # 设置用于接收数据的套接字缓冲区大小。
socket.request.max.bytes=104857600 #指定单个请求的最大字节数。
log.dirs=/data/kafka #kakfa 用于保存数据的目录,所有的消息都会存储在该目录当中
num.partitions=3#设置创建新的 topic 默认分区数量,一般为集群的节点数
num.recovery.threads.per.data.dir=1  #
offsets.topic.replication.factor=1  #设置偏移量主题的复制因子为1。
transaction.state.log.replication.factor=1 #事务主题的复制因子(设置更高以确保可用性)。 内部主题创建将失败,直到群集大小满足此复制因素要求
transaction.state.log.min.isr=1#覆盖事务主题的min.insync.replicas配置
log.retention.hours=168#设置 kafka 中消息保留时间,
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.74.70:2181,192.168.74.71:2181,192.168.74.72:2181 #设置Zookeeper服务器的连接地址。
zookeeper.connection.timeout.ms=18000  #设置与Zookeeper建立连接的超时时间。
group.initial.rebalance.delay.ms=0 #设置初始重新平衡延迟的毫秒数。

启动
/apps/kafka_2.13-3.5.1/bin/kafka-server-start.sh -daemon /apps/kafka_2.13-3.5.1/config/server.properties

在这里插入图片描述

创建topic

/apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --create --topic magedu --bootstrap-server 192.168.74.70:9092 --partitions 3 --replication-factor 2

在这里插入图片描述
查看topic
root@ubuntu20:~# /apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --bootstrap-server 192.168.74.70:9092 --list
magedu

停止kafka
/apps/kafka_2.13-3.5.1/bin/kafka-server-stop.sh

验证topic
状态说明: 有三个分区分别为0、1、2,
PartitionCount: 3 代表分片3个
ReplicationFactor: 2 代表副本2个
分区0的leader是1

Replicas: 代表副本存放的brokerid
Isr: 1,3 代表活者的是1,3

root@ubuntu20:~# /apps/kafka_2.13-3.5.1/bin/kafka-topics.sh  --describe   --bootstrap-server  192.168.74.70:9092Topic: magedu	TopicId: H4nV6WulTU-y_S4J2pHfOA	PartitionCount: 3	ReplicationFactor: 2	Configs: Topic: magedu	Partition: 0	Leader: 1	Replicas: 1,3	Isr: 1,3Topic: magedu	Partition: 1	Leader: 1	Replicas: 2,1	Isr: 1Topic: magedu	Partition: 2	Leader: 3	Replicas: 3,2	Isr: 3

上面的Isr中没有2,可以知道2节点缺少,查看发现2节点的kafka没有启动
启动后正常

Topic: magedu	TopicId: H4nV6WulTU-y_S4J2pHfOA	PartitionCount: 3	ReplicationFactor: 2	Configs: Topic: magedu	Partition: 0	Leader: 1	Replicas: 1,3	Isr: 1,3Topic: magedu	Partition: 1	Leader: 1	Replicas: 2,1	Isr: 1,2Topic: magedu	Partition: 2	Leader: 3	Replicas: 3,2	Isr: 3,2

指定topic查看
/apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --describe --bootstrap-server 192.168.74.70:9092 --topic luo

root@ubuntu20:~# ll /data/kafka/

生产数据
/apps/kafka_2.13-3.5.1/bin/kafka-console-producer.sh --broker-list 192.168.74.71:9092,192.168.74.70:9092 --topic magedu
在这里插入图片描述

消费数据
/apps/kafka_2.13-3.5.1/bin/kafka-console-consumer.sh --topic magedu --bootstrap-server 192.168.74.71:9092,192.168.74.70:9092 --from-beginning
–from-beginning 从头消费

通过软件查看数据
创建连接
在这里插入图片描述
添加kafka地址配置
在这里插入图片描述

修改为字符串类型
在这里插入图片描述

可以查看数据

在这里插入图片描述

总结

一个消息被消费一次
一个消息被消费多次 -》 数据同步,分发
大多次通常都是消费一次

kafka通常以集群运行,实现高可用
topic(主题):在逻辑上对record(记录、日志)进行分组保存

kafka分区:为了实现数据的高可用,比如将分区0的数据分散到不同的kafka节点,每一个分区有一个broker作为leader和一个broker作为follower

顺序读写
顺序读取

监控:
对端口
curl url 是否200

activemq

端口和rabbitmq 一样
安装
wget https://mirrors.tuna.tsinghua.edu.cn/apache/activemq/5.18.2/apache-activemq-5.18.2-bin.tar.gz
cp apache-activemq-5.18.2-bin.tar.gz /apps/
cd /apps/
tar -xf apache-activemq-5.18.2-bin.tar.gz
ln -s apache-activemq-5.18.2 activemq
vi activemq.xml #不用修改
cd …
./bin/linux-x86-64/activemq start #启动

netstat -antp|grep 8161 修改地址为0.0.0.0
/usr/local/activemq/conf# vi jetty.xml
在这里插入图片描述
访问
http://120.77.146.92:8161/admin/
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/55594.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

四信5G智慧交通方案

5G是第五代移动通信技术的简称,是具有高速率低时延和大连接特点的新一代宽带移动通信技术,是实现智慧交通中的“车、路、人、环境”等交通要素互联互通的网络基础设施。相比以往的移动通信网络,5G网络以一种灵活部署的架构提供10Gbps以上的带…

有什么react进阶的项目推荐的?

前言 整理了一些react相关的项目,可以选择自己需要的练习,希望对你有帮助~ 1.ant-design Star:87.1k 阿里开源的react项目,作为一个UI库,省去重复造轮子的时间 仓库地址:https://github.com/ant-design/…

家宽用户家庭网的主要质量问题是什么?原因有哪些

1 引言 截至2020年底,我国家庭宽带(以下简称“家宽”)普及率已达到96%。经过一年多的发展,当前,家庭宽带的市场空间已经饱和。运营商在家宽市场的竞争也随之从新增用户数的竞争转移到家宽品质的竞争。 早期运营商的家…

2024年java面试(二)--spring篇

文章目录 1.spring事务传播机制2.spring事务失效原因3.Bean的生命周期4.Bean作用域5.依赖注入三种方式(Ioc的三种实现方式)6.实例化bean的三种方式7.IOC容器初始化加载Bean流程 1.spring事务传播机制 声明式事务虽然优于编程式事务,但也有不…

【Luogu】 [ABC313Ex] Group Photo

题目链接 Atcoder方向 Luogu方向 题目解法 神仙 d p dp dp 考虑序列 c i m i n ( a i , a i − 1 ) c_imin(a_i,a_{i-1}) ci​min(ai​,ai−1​), c 1 a 1 , c n 1 a n c_1a_1,c_{n1}a_n c1​a1​,cn1​an​,如果合法,必然满足 b i…

C++构造函数初始化列表

构造函数的一项重要功能是对成员变量进行初始化&#xff0c;为了达到这个目的&#xff0c;可以在构造函数的函数体中对成员变量一一赋值&#xff0c;还可以采用初始化列表。 C构造函数的初始化列表使得代码更加简洁&#xff0c;请看下面的例子&#xff1a; #include <iostre…

检测链表中是否存在环

题目、解析和代码 题目&#xff1a;给定一个单链表&#xff0c;判断其中是否有环的存在 解析&#xff1a;这里使用两个遍历速度不一样的结点进行判断&#xff0c;一个慢结点从首结点开始遍历&#xff0c;这个结点每次只遍历一个结点&#xff1b;一个快结点从第二个结点进行遍历…

交通科技与管理杂志社交通科技与管理编辑部2023年第9期目录

专家论坛 黑龙江省经济高质量发展与生态环境保护耦合协调发展研究 刘降斌;祃玉帅; 1-5142 我国省际数字经济高质量发展水平综合评价研究 耿娟;毕晨曦; 6-8 振兴龙江《交通科技与管理》投稿邮箱&#xff1a;cn7kantougao163.com(注明投稿“《交通科技与管理》”) 数…

首席执行官Adam Selipsky解读“亚马逊云科技的技术产品差异化”

迄今为止&#xff0c;亚马逊云科技已经参与了21世纪几乎所有的大型计算变革&#xff0c;亚马逊云科技是一个很传奇的故事&#xff0c;它始于大约20年前的一项实验&#xff0c;当时亚马逊试图出售其过剩的服务器。人们确实对此表示怀疑。为什么在线书店试图销售云服务&#xff1…

苍穹外卖总结

前言 1、软件开发流程 瀑布模型需求分析//需求规格说明书、产品原型↓ 设计 //UI设计、数据库设计、接口设计↓编码 //项目代码、单元测试↓ 测试 //测试用例、测试报告↓上线运维 //软件环境安装、配置第一阶段&#xff1a;需求分析需求规格说明书、产品原型一般来说…

React Hooks 全解:零基础入门

Hooks 的由来 你还在为该使用无状态组件&#xff08;Function&#xff09;还是有状态组件&#xff08;Class&#xff09;而烦恼吗&#xff1f; ——拥有了hooks&#xff0c;你再也不需要写Class了&#xff0c;你的所有组件都将是Function。 你还在为搞不清使用哪个生命周期钩…

Linux: 使用 ssh 连接其他服务器

通过ifconfig 查看要连接的服务器地址&#xff1a; ubuntuubuntu1804-0172:/media/sangfor/vdc$ ssh ubuntu192.168.11.49 输入要连接的服务器密码: ubuntua192.168.1149 s password: 连接服务器成功&#xff1a;

投递技术类简历的注意事项

简历修改的背景 作为程序员&#xff0c;随着工作年限的增加&#xff0c;要定期的去修改自己的简历中的工作项目&#xff0c;一方面可以促进自己复盘一下工作成果和个人成长&#xff0c;另外也能给自己换工作提供一个前置的便捷性。 注意事项 修改简历的时候有哪些需要注意的…

MySQL 视图

目录 一、视图概述 二、视图的作用和优点 三、视图的使用规则 四、视图操作 1、创建视图 2、查看视图 1&#xff09;查看视图基本信息 2&#xff09;查看视图详细信息 3、修改视图 4、更新视图 5、删除视图 一、视图概述 视图是数据库中的一个虚拟表&#xff0c;同真…

HRS--人力资源系统(Springboot+vue)--打基础升级--(六)分页查询 + 重置按钮

一&#xff1a;先弄个简单的重置按钮 1.界面设计就放在搜索框同一列的位置 2. 在点击重置按钮时&#xff0c;清空搜索框内的内容&#xff0c;同时触发一次无条件查询(这个写法有bug&#xff0c;下面会有说明) 二&#xff1a;做分页 在MyBatis中&#xff0c;有多种方法可以实现分…

【LeetCode】416.分割等和子集

题目 给你一个 只包含正整数 的 非空 数组 nums 。请你判断是否可以将这个数组分割成两个子集&#xff0c;使得两个子集的元素和相等。 示例 1&#xff1a; 输入&#xff1a;nums [1,5,11,5] 输出&#xff1a;true 解释&#xff1a;数组可以分割成 [1, 5, 5] 和 [11] 。 示…

Vue2-快速搭建pc端后台管理系统

一.推荐二次开发框架 vue-element-admin Star(84k)vue-antd-admin Star(3.5k) 二.vue-element-admin 官网链接:https://panjiachen.github.io/vue-element-admin-site/zh/ 我这里搭建的是基础模版vue-admin-template(推荐) # 克隆项目 git clone https://github.com/PanJi…

VBJSON报错:缺少:语句结束

项目中使用JSON库VBJSON时报错&#xff1a; 编译错误&#xff1a;缺少&#xff1a;语句结束 cJSONScript和cStringBuilder报相同的错误&#xff0c;都在第一行: VERSION 1.0 CLASS 研究了半天没啥结果&#xff0c;之前使用这个库的时候没有什么问题&#xff0c;所以判定是当前…

MySQL 游标

文章目录 1.游标是什么2.MySQL 游标3.定义游标4.打开游标5.提取数据6.关闭游标参考文献 1.游标是什么 游标&#xff08;Cursor&#xff09;是一种用于处理查询结果集的数据库对象&#xff0c;它允许开发者按照特定的顺序逐行遍历查询结果集中的数据。游标通常用于在数据库中执…