【Java】SpringBoot快速整合Kafka

目录

1.什么是Kafka？

主要特点和概念：

主要组成部分：

2.Kafka可以用来做什么？

3.SpringBoot整合Kafka步骤：

1. 添加依赖:

2. 配置 Kafka:

3. 创建 Kafka 生产者:

4. 创建 Kafka 消费者:

5. 发布消息:

6. 使用Postman进行测试:

如果你没有Kafka，可以参考这篇文章进行安装【Docker】手把手教你使用Docker搭建kafka【详细教程】_docker 安装kafka-CSDN博客

1.什么是Kafka？

        Kafka是一个开源的流式平台，用于构建实时数据流应用程序和实时数据管道。Kafka旨在处理大规模的数据流，具有高吞吐量、可扩展性、持久性和容错性的特点。

主要特点和概念：

  1. 发布-订阅模型： Kafka采用发布-订阅模型，数据生产者将消息发布到一个或多个主题（topics），而数据消费者则订阅这些主题以接收消息。

  2. 分布式架构： Kafka是一个分布式系统，允许横向扩展，通过分布式存储和分区机制来实现高吞吐量和可扩展性。

  3. 持久性存储： Kafka使用持久性存储来保留消息，可以在消息发送后保留一定的时间，确保消费者可以在需要时检索历史消息。

  4. 数据分区： 主题被划分为多个分区，每个分区可以在不同的服务器上，以实现并行处理和提高性能。

  5. 流式处理： Kafka提供了流处理功能，允许应用程序实时处理和分析数据流，执行复杂的事件处理操作。

  6. 高可用性： Kafka在集群中的多个节点之间复制数据，提高了系统的容错性和可用性。

  7. 数据保证： Kafka提供了不同级别的数据传递保证，包括至多一次、至少一次和精确一次语义。

  8. 生态系统： Kafka生态系统丰富，包括连接器（Connectors）、Kafka Streams、MirrorMaker等组件，用于与各种外部系统集成和实现各种应用场景。

主要组成部分：

  • Producer（生产者）： 负责向Kafka主题发布消息。

  • Broker（代理）： Kafka集群中的服务器，负责存储和管理消息。

  • Consumer（消费者）： 订阅并处理Kafka主题中的消息。

  • Topic（主题）： 消息的类别或标签，生产者将消息发布到主题，而消费者从主题订阅消息。

  • Partition（分区）： 主题可以划分为多个分区，每个分区独立存储和处理消息。

2.Kafka可以用来做什么？

  1. 消息队列:

    场景: 在电子商务平台上，订单服务产生订单消息，并将其发布到Kafka主题。支付服务、物流服务等通过订阅相应主题，异步处理订单信息，实现订单处理的解耦和异步通信。

  2. 实时数据流处理:

    场景: 在在线广告平台上，使用Kafka Streams处理实时产生的广告点击数据。可以实时计算点击率、过滤无效点击、将数据与用户信息连接，以实现实时广告效果分析。

  3. 日志收集与分析:

    场景: 在一个大规模的云服务中，使用Kafka收集分布在不同服务器上的应用程序日志。日志分析服务通过消费Kafka主题，实时分析日志以监控系统性能、检测异常和进行故障排除。

  4. 事件溯源（Event Sourcing）:

    场景: 在金融领域的交易系统中，使用Kafka追踪交易事件。每笔交易引发一个事件，将其发布到Kafka主题，以便在需要时进行审计、回溯和重新处理。

  5. 数据同步:

    场景: 在企业的分布式系统中，使用Kafka同步用户信息。用户服务在用户数据变更时将事件发布到Kafka主题，其他服务通过消费主题以保持用户数据同步。

  6. 消息广播:

    场景: 在社交媒体应用中，使用Kafka将用户发布的状态更新广播给其关注者。关注者通过订阅用户状态的Kafka主题，实现实时消息广播。

  7. 分布式应用解耦:

    场景: 在电子商务微服务架构中，购物车服务、订单服务、支付服务等通过Kafka进行异步通信。例如，购物车服务可以通过Kafka发布购物车更新的事件，订单服务通过订阅事件来处理相关订单逻辑。

  8. 大数据集成:

    场景: 在一个大数据处理流水线中，使用Kafka将产生的数据传输到Spark进行实时分析。生产者将数据发布到Kafka主题，而Spark应用程序通过订阅主题来接收实时数据。

  9. 实时推荐系统:

    场景: 在在线视频平台上，使用Kafka收集用户观看记录。推荐引擎通过消费Kafka主题，实时更新用户的个性化推荐列表，提高用户体验。

  10. 异步通信:

    场景: 在电商平台中，使用Kafka实现异步订单处理。当订单支付成功时，订单服务通过Kafka发布订单处理完成的消息，而邮件服务通过订阅该主题来异步发送订单确认邮件。

下面就使用SpringBoot整合kafka的发布订阅机制，实现消息的发布和订阅。

3.SpringBoot整合Kafka步骤：

1. 添加依赖:

确保在你的pom.xml文件中包含了Spring Boot和Spring Kafka的依赖。

<dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><!-- Spring Kafka Starter --><dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId></dependency>
</dependencies>

2. 配置 Kafka:

在application.properties或application.yml中配置 Kafka 连接信息。

spring:kafka:bootstrap-servers: your-kafka-server:9092producer:key-serializer: org.apache.kafka.common.serialization.StringSerializervalue-serializer: org.apache.kafka.common.serialization.StringSerializerconsumer:key-deserializer: org.apache.kafka.common.serialization.StringDeserializervalue-deserializer: org.apache.kafka.common.serialization.StringDeserializer

spring.kafka.bootstrap-servers=localhost:9092
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer

3. 创建 Kafka 生产者:

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Service;@Service
public class KafkaMessageProducer {private static final String TOPIC = "admin-messages";@Autowiredprivate KafkaTemplate<String, String> kafkaTemplate;public void sendAdminMessage(String message) {kafkaTemplate.send(TOPIC, message);}
}

4. 创建 Kafka 消费者:

import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Service;@Service
public class KafkaMessageConsumer {@KafkaListener(topics = "admin-messages", groupId = "user-group")public void receiveAdminMessage(String message) {System.out.println("Received message: " + message);// ...}
}

5. 发布消息:

在管理员需要发布消息的地方调用KafkaMessageProducer的 sendAdminMessage 方法。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;@RestController
@RequestMapping("/message")
public class AdminController {@Autowiredprivate KafkaMessageProducer kafkaMessageProducer;@GetMapping("/publish")public void publishAdminMessage(@RequestParam("messagemessage") String message) {kafkaMessageProducer.sendAdminMessage(message);}
}

        当调用 publishAdminMessage方法时，所有监听 admin-messages 主题的用户将会接收到相应的消息。

6. 使用Postman进行测试:

控制台输出结果：

这样就使用SpringBoot整合了Kafka并写了一个简单的案例。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/577009.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【MySQL学习笔记007】约束

【MySQL学习笔记007】约束

1、概述 &#xff08;1&#xff09;概念&#xff1a;约束是作用于表中字段上的规则&#xff0c;用于限制存储在表中的数据。 &#xff08;2&#xff09;目的&#xff1a;保证数据库中数据的正确、有效性和完整性。 &#xff08;3&#xff09;分类 约束 描述 关键字 …
阅读更多...
【各种**问题系列】Java 数组集合之间的相互转换

【各种**问题系列】Java 数组集合之间的相互转换

&#x1f4cc; 问题点&#xff1a; 在 Coding 过程中经常会遇到数组、List、Set、Map 之间的相互转换......这里记录一下转换的几种方式。&#x1f636;&#x1f636;&#x1f636; 目录 &#x1f4cc; 集合转换 1.数组 转 List&#xff1a; 2.List 转 数组&#xff1a; 3…
阅读更多...
如何将本地websocket发布至公网并实现远程访问服务端

如何将本地websocket发布至公网并实现远程访问服务端

文章目录 1. Java 服务端demo环境2. 在pom文件引入第三包封装的netty框架maven坐标3. 创建服务端,以接口模式调用,方便外部调用4. 启动服务,出现以下信息表示启动成功,暴露端口默认99995. 创建隧道映射内网端口6. 查看状态->在线隧道,复制所创建隧道的公网地址加端口号7. 以…
阅读更多...
AG16KDDF256 User Manual

AG16KDDF256 User Manual

AGM AG16KDDF256 是由 AGM FPGA AG16K 与 DDR-SDRAM 叠封集成的芯片&#xff0c;具有 AG16K FPGA的可编程功能&#xff0c;提供更多可编程 IO&#xff0c;同时内部连接大容量 DDR-SDRAM。  FPGA 外部管脚 FBGA256 封装&#xff0c;管脚说明请见下表 Table-1&#xff1a; Tab…
阅读更多...
YUM和编译安装

YUM和编译安装

一、安装Linux 1.编译安装&#xff0c;灵活性高&#xff0c;难度较大&#xff0c;可以安装较新的版本 2.rpm安装&#xff08;redhat&#xff09; linux包安装 rpm 软件名 3.yum yum是rpm升级版本&#xff0c;解决了rpm的弊端 2和3用的都是红帽打包好的软件包&#xff0c;能…
阅读更多...
cad安装路径显示灰色选择不了怎么办?

cad安装路径显示灰色选择不了怎么办?

cad安装路径显示灰色选择不了怎么办呢&#xff1f;今天教给大家。 灰色是因为之前下载过一次&#xff0c;没有删干净&#xff0c;注册表里还有cad&#xff0c;它认为你的电脑中有cad&#xff0c;所以安装路径是灰色的&#xff0c;不能安装。先同时按下【xinR】键&#xff0c;打…
阅读更多...
ip addr和ifconfig

ip addr和ifconfig

ip addr可以显示更多信息&#xff0c;包括为启动的网络驱动如wlan&#xff0c;而ifocnfig只显示在线的驱动。若wlan是down的&#xff0c;则ip addr会显示信息&#xff0c;ifconfig不会显示信息。 ip addr: ifconfig:
阅读更多...
视频号视频怎么保存到手机相册？

视频号视频怎么保存到手机相册？

在微信视频号中看到喜欢的视频&#xff0c;想要缓存下载到手机&#xff0c;却怎么也找不到办法。很多朋友会选择去录屏&#xff0c;但保存下来的视频实在是不美观&#xff0c;而且费时费力&#xff01;着实没必要&#xff01;下面给大家推荐一款亲测有效的微信视频号视频下载方…
阅读更多...
【excel密码】Excel工作表不能复制或移动

【excel密码】Excel工作表不能复制或移动

为什么excel文件打开之后&#xff0c;工作表里是可以编辑的&#xff0c;但是想要移动工作表或者复制、重命名等操作&#xff0c;这是什么原因&#xff1f;其实这是因为设置了工作簿保护&#xff0c;设置了保护的工作簿无法对整张工作表进行操作。 想要取消这种保护&#xff0c;…
阅读更多...
算法——哈希表

算法——哈希表

哈希表简介 **是什么&#xff1a;**存储数据的容器有什么用&#xff1a;快速查找某个元素&#xff0c;时间复杂度O(1)&#xff0c;空间复杂度O(n)**什么时候使用哈希表&#xff1a;**频繁查找某一个数&#xff08;这里不要忘了之前的二分&#xff0c;时间复杂度O(logN)&#x…
阅读更多...
opencv入门到精通——图像平滑

opencv入门到精通——图像平滑

目录 目标 2D卷积&#xff08;图像过滤&#xff09; 图像模糊&#xff08;图像平滑&#xff09; 1.平均 2.高斯模糊 3.中位模糊 4.双边滤波 目标 学会&#xff1a; 使用各种低通滤镜模糊图像 将定制的滤镜应用于图像&#xff08;2D卷积&#xff09; 2D卷积&#xff0…
阅读更多...
Unity网格篇Mesh（一）

Unity网格篇Mesh（一）

Unity网格篇Mesh&#xff08;一&#xff09; 本文的目标1.渲染仔细看下面的图你会发现&#xff0c;锯齿状 2.创建网格顶点4 x 2网格网格的顶点 3.创建网格网格只在Play模式下显示逆时针和顺时针三角形第一个三角面一个四边形由两个三角面组成第一个四边形填充剩余网格 接下一篇…
阅读更多...
【论文阅读笔记】SegVol: Universal and Interactive Volumetric Medical Image Segmentation

【论文阅读笔记】SegVol: Universal and Interactive Volumetric Medical Image Segmentation

Du Y, Bai F, Huang T, et al. SegVol: Universal and Interactive Volumetric Medical Image Segmentation[J]. arXiv preprint arXiv:2311.13385, 2023.[代码开源] 【论文概述】 本文思路借鉴于自然图像分割领域的SAM&#xff0c;介绍了一种名为SegVol的先进医学图像分割模型…
阅读更多...
2024年关于存储发展趋势的七大预言

2024年关于存储发展趋势的七大预言

本文介绍了2024年的七大存储发展趋势&#xff0c;涵盖网络安全、混合云存储、绿色IT、客户体验和容器化应用程序等方面&#xff0c;并阐述了如何腾出财务和运营资源、投入到人工智能&#xff08;AI&#xff09;及其他IT项目上&#xff0c;以及如何堵住IT技能缺口。 趋势1&#…
阅读更多...
LLM之RAG理论（二）| RAG综述论文详解

LLM之RAG理论（二）| RAG综述论文详解

论文地址&#xff1a;https://arxiv.org/pdf/2312.10997.pdf 大型语言模型&#xff08;LLMs&#xff09;展示了强大的能力&#xff0c;但在实际应用中仍面临挑战&#xff0c;如幻觉现象、知识更新缓慢&#xff0c;以及在回答中缺乏透明度。检索增强生成&#xff08;RAG&#xf…
阅读更多...
制作TikTok获客脚本必备源代码!

制作TikTok获客脚本必备源代码!

在这个数字时代&#xff0c;TikTok已成为全球最受欢迎的社交媒体平台之一&#xff0c;无数的品牌和企业都试图通过这个平台吸引潜在客户。 但是&#xff0c;要想在TikTok上获得更多关注和粉丝&#xff0c;除了制作有趣、有创意的内容外&#xff0c;还需要借助一些自动化工具来…
阅读更多...
路由器介绍和命令操作

路由器介绍和命令操作

先来回顾一下上次的内容&#xff1a; ip地址就是由32位二进制数组 二进位数就是只有数字0和1组成 网络位&#xff1a;类似于区号&#xff0c;表示区域作用 主机位&#xff1a;类似于号码&#xff0c;表示区域中编号 网络名称&#xff1a;网络位不变&#xff0c;主机位全为0 …
阅读更多...
【svn】win11最新svn每天自动化定时update、commit，隐藏窗口，定时脚本编写

【svn】win11最新svn每天自动化定时update、commit，隐藏窗口，定时脚本编写

本文使用schtasks结合bat脚本实现全自动svn update以及commit操作。执行时隐藏cmd窗口&#xff0c;全自动后台执行。 执行脚本 写脚本参考了网上很多文章&#xff0c;但是这些文章的方法都有问题或者已经失效&#xff0c;比如&#xff1a; 老版本的bat脚本&#xff0c;使用v…
阅读更多...
【hacker送书第11期】Python数据分析从入门到精通

【hacker送书第11期】Python数据分析从入门到精通

探索数据世界&#xff0c;揭示未来趋势 《Python数据分析从入门到精通》是你掌握Python数据分析的理想选择。本书深入讲解核心工具如pandas、matplotlib和numpy&#xff0c;助您轻松处理和理解复杂数据。 通过matplotlib、seaborn和创新的pyecharts&#xff0c;本书呈现生动直…
阅读更多...
本地部署Jellyfin影音服务器并实现远程访问内网影音库

本地部署Jellyfin影音服务器并实现远程访问内网影音库

文章目录 1. 前言2. Jellyfin服务网站搭建2.1. Jellyfin下载和安装2.2. Jellyfin网页测试 3.本地网页发布3.1 cpolar的安装和注册3.2 Cpolar云端设置3.3 Cpolar本地设置 4.公网访问测试5. 结语 1. 前言 随着移动智能设备的普及&#xff0c;各种各样的使用需求也被开发出来&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023