Kafka基础教程

在这里插入图片描述

Kafka基础教程

资料来源:Apache Kafka - Introduction (tutorialspoint.com)

Apache Kafka起源于LinkedIn,后来在2011年成为一个开源Apache项目,然后在2012年成为一流的Apache项目。Kafka是用Scala和Java编写的。Apache Kafka是基于发布-订阅( publish-subscribe)的容错消息传递系统(fault tolerant messaging system)。它是快速的,可扩展的和分布式的设计。

本教程将探索Kafka的原理,安装,操作,然后将带您完成Kafka集群的部署。最后,我们将总结实时应用和与大数据技术的集成。

1. Kafka-简介

在大数据中,使用了大量的数据。关于数据,我们面临两个主要挑战。第一个挑战是如何收集大量的数据,第二个挑战是如何分析收集到的数据。为了克服这些挑战,您必须需要一个消息传递系统

Kafka是为分布式高吞吐量系统设计的。Kafka可以很好地替代传统的消息代理。与其他消息传递系统相比,Kafka具有更好的吞吐量、内置分区、可复制和固有的容错能力,这使得它非常适合大规模应用。


什么是消息传递系统?

消息传递系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据本身,而不必担心如何共享数据。分布式消息传递基于可靠消息队列的概念。消息在客户机应用程序和消息传递系统之间异步排队。有两种类型的消息传递模式可用:一种是点对点(point-point),另一种是发布-订阅(pub-sub)消息传递系统。大多数消息传递模式遵循发布-订阅


点对点的消息传递系统

在点对点系统中,消息被保存在队列中。一个或多个消费者可以使用队列中的消息,但是一个特定的消息最多只能由一个消费者使用。一旦使用者读取队列中的消息,它就会从队列中消失。该系统的典型示例是订单处理系统,其中每个订单将由一个订单处理器处理,但多个订单处理器也可以同时工作。下图描述了该结构。

point-to-point Messaging system


发布-订阅消息传递系统

在发布-订阅系统中,消息被保存在主题中。与点对点系统不同,消费者可以订阅一个或多个主题,并使用该主题中的所有消息。在发布-订阅系统中,消息生产者称为发布者,消息消费者称为订阅者。现实生活中的一个例子是Dish TV,它发布不同的频道,如体育、电影、音乐等,任何人都可以订阅自己的频道集,并在他们订阅的频道可用时获得这些频道。

Publish-Subscribe Messaging system


什么是Kafka?

Apache Kafka是一个分布式发布-订阅消息系统和一个健壮的队列,可以处理大量数据,并允许您将消息从一个端点传递到另一个端点。Kafka适用于离线和在线消息消费。Kafka消息被持久化在磁盘上,并在集群内复制,以防止数据丢失。Kafka是建立在ZooKeeper同步服务之上的。它可以很好地与Apache Storm和Spark集成,用于实时流数据分析。


Kafa的优点

以下是Kafa的一些优点

  • 可靠性−Kafka具有分布式、分区、复制、容错等特点。

  • 可扩展性−Kafka消息系统可轻松扩展而无需停机(down time)。

  • 持久性- Kafka使用分布式提交日志,这意味着消息尽可能快地保存在磁盘上,因此它是持久的。

  • 高性能−Kafka在发布和订阅消息方面都有很高的吞吐量。即使存储了许多TB的消息,它也能保持稳定的性能。

Kafka非常快,并保证零停机时间和零数据丢失。


Kafka使用案例

Kafka有许多使用案例,以下列出一些:

  • **数据提要(Metrics)**−Kafka通常用于运营监控数据。这涉及到聚合来自分布式应用程序的统计信息,以生成操作数据的集中提要。
  • 日志聚合解决方案−Kafka可以跨组织使用,从多个服务收集日志,并以标准格式提供给多个消费者。
  • 流处理:-Storm和Spark Streaming等流行的框架从主题(topic)中读取数据,对其进行处理,并将处理后的数据写入新主题,供用户和应用程序使用。Kafka强大的持久性在流处理环境中也非常有用。

使用Kafka的必要性

Kafka是一个处理所有实时数据源的统一平台。Kafka支持低延迟消息传递,并在机器出现故障时提供容错保证。它有能力处理大量不同的消费者。Kafka非常快,每秒写200万次。Kafka将所有数据持久化到磁盘,这实际上意味着所有的写操作都将进入操作系统(RAM)的页面缓存。这使得将数据从页面缓存传输到网络套接字非常有效。

未完待续。。。。点个赞呗

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/859892.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Python/Pytorch 】-- K-means聚类算法

文章目录 文章目录 00 写在前面01 基于Python版本的K-means代码02 X-means方法03 最小二乘法简单理解04 贝叶斯信息准则 00 写在前面 时间演变聚类算法:将时间演变聚类算法用在去噪上,基本思想是,具有相似信号演化的体素具有相似的模型参数…

推荐一款AI修图工具,支持AI去水印,AI重绘,AI抠图...

不知道大家有没有这样的一个痛点,发现了一张不错的“素材”, 但是有水印,因此不能采用,但找来找去,还是觉得初见的那个素材不错,怎么办? 自己先办法呗。 二师兄发现了一款功能强大的AI修图工具…

使用Jetpack Compose为Android App创建自定义页面指示器

使用Jetpack Compose为Android App创建自定义页面指示器 在现代移动应用中,页面指示器在提供视觉导航提示方面发挥着重要作用,帮助用户理解其在应用内容中的当前位置。页面指示器特别适用于顺序展示内容的场景,如图片轮播、图像库、幻灯片放…

【Linux】Socket阻塞和非阻塞、同步与异步

创作不易&#xff0c;本篇文章如果帮助到了你&#xff0c;还请点赞 关注支持一下♡>&#x16966;<)!! 主页专栏有更多知识&#xff0c;如有疑问欢迎大家指正讨论&#xff0c;共同进步&#xff01; &#x1f525;Linux系列专栏&#xff1a;Linux基础 &#x1f525; 给大家…

java项目生成的api文档

生成Java项目API文档的方法 在进行Java项目开发时&#xff0c;编写良好的API文档对于团队合作和后续维护非常重要。生成API文档不仅可以提高团队协作效率&#xff0c;还可以方便其他开发人员了解项目结构和接口调用方式。在本文中&#xff0c;我们将介绍如何通过Java工具生成A…

WPF与Winform,你的选择是?

概述 在桌面应用的发展历程中&#xff0c;Winform和WPF作为微软推出的两大框架&#xff0c;各自承载着不同的设计理念和技术特色。Winform以其稳定、成熟的技术基础&#xff0c;长期占据着企业级应用开发的重要地位。而WPF&#xff0c;作为后来者&#xff0c;以其现代化的UI设计…

【ajax核心02】底层原理-Promise对象

目录 一&#xff1a;promise对象是什么 二&#xff1a;语法&#xff08;Promise使用步骤&#xff09; 三&#xff1a;Promise-三种状态 一&#xff1a;promise对象是什么 Promise 对象代表异步操作最终的完成&#xff08;或失败&#xff09;以及其结果值。 即Promise对象是…

CentOS7系统的软件源更改为阿里云源-3

要将您的CentOS系统的软件源更改为阿里云源&#xff0c;您可以按照以下步骤操作&#xff1a; 打开终端。 首先&#xff0c;备份原始的 CentOS-Base.repo 文件&#xff0c;以防出现问题时可以恢复&#xff1a; sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/Cen…

SAP系统中的总账会计(知识点总结)

总账会计 财务报表的组织结构 Company Code: 公司代码&#xff0c;an independent accounting entity&#xff0c; 一个独立的会计实体, 存储的数据为 T001。针对同一个公司代码会有Parallel Financial Reporting&#xff08;平行帐&#xff09;的要求&#xff0c;为了实现平…

基于springboot的图书管理系统源码数据库

当下&#xff0c;正处于信息化的时代&#xff0c;许多行业顺应时代的变化&#xff0c;结合使用计算机技术向数字化、信息化建设迈进。传统的图书管理信息管理模式&#xff0c;采用人工登记的方式保存相关数据&#xff0c;这种以人力为主的管理模式已然落后。本人结合使用主流的…

两个模型划分的瓦片数不同,可以把同一物体的两个模型(各有优缺点)就行融合修模吗?

答&#xff1a;网格大师可以针对模型瓦块名称&#xff0c;原点&#xff0c;大小不统一的数据进行融合 网格大师是一款能够解决实景三维模型空间参考、原点、瓦块大小不统一&#xff0c;重叠区域处理问题的工具“百宝箱”&#xff0c;集格式转换、坐标转换、轻量化、瓦片重划分…

uniapp接入微信小程序原生代码配置方案(优化版)

uniapp项目需要把微信小程序原生语法的功能代码嵌套过来&#xff0c;无需把原生代码转换为uniapp&#xff0c;可以配置拷贝的方式集成过来 1、拷贝代码包到src目录 2、vue.config.js中配置原生代码包直接拷贝到编译目录中 3、pages.json中配置分包目录&#xff0c;原生入口…

java基于ssm+jsp 医院远程诊断系统

1前台首页功能模块 医院远程诊断系统&#xff0c;在系统首页可以查看首页、医生信息、论坛信息、我的、跳转到后台、客服等内容&#xff0c;如图1所示。 图1前台首页功能界面图 用户登录&#xff0c;在用户登录页面可以填写用户名、密码、等信息进行用户登录&#xff0c;如图2…

【Linux基础】-- 日志系统syslog与logger的使用方法整理

系统日志配置与使用指南 一、syslog 的使用 syslog 是一种标准用于记录程序运行日志信息的协议。以下是一些基本使用方法&#xff1a; 检查 syslogd 进程 确保 syslogd 进程正在运行。可以通过以下命令检查&#xff1a; ps | grep syslogd如果没有看到 syslogd 进程在运行…

安装Django Web框架

自学python如何成为大佬(目录):https://blog.csdn.net/weixin_67859959/article/details/139049996?spm1001.2014.3001.5501 Django是基于Python的重量级开源Web框架。Django拥有高度定制的ORM和大量的API&#xff0c;简单灵活的视图编写&#xff0c;优雅的URL&#xff0c;适…

kafka 集群的数据顺序写入和零拷贝技术设计实现原理

kafka 集群的数据顺序写入和零拷贝技术设计实现原理 Kafka 是一种高吞吐量、分布式消息系统,其高性能设计得益于数据顺序写入和零拷贝技术。 下面详细介绍这两种技术在 Kafka 中的实现原理。 1. 数据顺序写入设计原理 顺序写入的优势 顺序写入是 Kafka 实现高性能的关键技…

近2年时间,华为手机上的卫星通信功能发展成怎样了?

自从Mate 50 系列支持北斗卫星短报文功能以来&#xff0c;已经过去了近2年的时间&#xff0c;卫星相关的功能也从最开始的摸索、罕见&#xff0c;逐渐变得成熟、在各品牌旗舰机上常见起来。 那么&#xff0c;这近两年的发展&#xff0c;卫星相关的功能都有了怎样的变化呢&…

史上最全整合nacos单机模式整合哈哈哈哈哈

Nacos 是阿里巴巴推出的一个新开源项目&#xff0c;它主要是一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。 Nacos提供了一组简单易用的特性集&#xff0c;帮助用户快速实现动态服务发现、服务配置、服务元数据及流量管理。 Nacos 的关键特性包括&#x…

简过网:公务员报班和不报班的有区别吗?

很多备考公务员的朋友可能都会有这种纠结&#xff0c;到底要不要报个培训班呢&#xff0c;报班了怕没什么用&#xff0c;不报班又怕自己考不上&#xff0c;如果你也有这个疑问&#xff0c;那么不妨来看看这篇文章&#xff01; ​ 先说一下&#xff0c;公务员报班和不报班的有区…

3110. 字符串的分数

给你一个字符串 s 。一个字符串的 分数 定义为相邻字符 ASCII 码差值绝对值的和。 请你返回 s 的 分数 。 示例 1&#xff1a; 输入&#xff1a;s "hello" 输出&#xff1a;13 解释&#xff1a; s 中字符的 ASCII 码分别为&#xff1a;h 104 &#xff0c;e 1…