Kafka精华问答 | kafka的使用场景是什么?

戳蓝字“CSDN云计算”关注我们哦!


640?wx_fmt=png

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特性。今天,就让我们一起来看看关于它的精华问答吧!


640?wx_fmt=gif1
















Q:什么是kafka?

 

A:kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。


640?wx_fmt=gif2

Q:kafka的使用场景是什么?

 

A:1、Messaging   

    对于一些常规的消息系统,kafka是个不错的选择;partitons/replication和容错,可以使kafka具有良好的扩展性和性能优势.不过到目前为止,我们应该很清楚认识到,kafka并没有提供JMS中的"事务性""消息传输担保(消息确认机制)""消息分组"等企业级特性;kafka只能使用作为"常规"的消息系统,在一定程度上,尚未确保消息的发送与接收绝对可靠(比如,消息重发,消息发送丢失等)

    2、Websit activity tracking

    kafka可以作为"网站活性跟踪"的最佳工具;可以将网页/用户操作等信息发送到kafka中.并实时监控,或者离线统计分析等

    3、Log Aggregation

kafka的特性决定它非常适合作为"日志收集中心";application可以将操作日志"批量""异步"的发送到kafka集群中,而不是保存在本地或者DB中;kafka可以批量提交消息/压缩消息等,这对producer端而言,几乎感觉不到性能的开支.此时consumer端可以使hadoop等其他系统化的存储和分析系统。


640?wx_fmt=gif3

Q:Kafka 与传统的消息系统有什么区别?

 

A:Kafka系统是一个分布式系统,易于向外扩展;可以同时为发布和订阅高吞吐量;支持多订阅者,当失败时能自动平衡消费者;将消息持久化到磁盘,因此可以用于批量消费,例如ETL。


640?wx_fmt=gif4

Q:kafka作为分布式消息系统有哪些特点?

 

A:kafka 是作为一个集群运行在一个或者多个服务器上的;kafka集群存储的消息是一个topic为类别记录的;每个消息(也叫record)都是由一个key,一个value和时间戳构成的。


640?wx_fmt=gif5

Q:kafka节点之间如何备份?


A:Kafka允许用户为每个topic设置副本数量,副本数量决定了有几个broker来存放写入的数据。如果你的副本数量为3,那么一份数据就会被存放在3台不同的机器上,在所有备份节点中,有一个节点作为leader节点,这个节点保存了其它备份节点列表,并维持各个备份间的状态同步。

副本以topic的分区为单位。在正常情况下,kafka每个分区都有一个单独的leader,0个或者多个follower。副本的总数包括leader。所有的读取和写入到该分区的leader。通常,分区数比broker多,leader均匀分布在broker。Follower的日志完全等同于leader的日志,相同的顺序相同的偏移量和消息。Follower作为普通的消费者从leader中消费消息并应用到自己的日志中。并允许follower从leader拉取批量日志应用到自己的日志,这样具有良好的性能。


----------------    --------------

小伙伴们冲鸭,后台留言区等着你!

关于Kafka,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~


----------------    --------------


1.微信群:

添加小编微信:color_ld,备注“进群+姓名+公司职位”即可,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


2.征稿:

投稿邮箱:liudan@csdn.net;微信号:color_ld。请备注投稿+姓名+公司职位。


推荐阅读

  • Gartner的预言:通向混合IT之旅

  • 崩溃!新浪程序员加班错失 77 万年会大奖

  • 刚刚!华为又被美国盯上了!

  • 阿里“菜鸟”AI?

  • 以太坊升级的拖油瓶,竟只是这几行代码

  • 程序员有话说 | 程序猿在乘地铁的时候都在想什么?

  • 清华北大“世界排名断崖式下跌”?



640?wx_fmt=gif点击“阅读原文”,打开 CSDN App 阅读更贴心!


640?wx_fmt=png喜欢就点击“好看”吧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/524846.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

要闻君说:微软拿下五角大楼超大云服务订单!恒大玩儿起了充电桩and新能源汽车?苹果公司要放弃自动驾驶业务?...

关注并标星星CSDN云计算每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 嗨,大家好!偶是要闻君。新年说着说着就要到啦,在逐渐缩短的工作日中,我们还是继续哼着歌儿look look新闻吧!文/要闻君“过…

云漫圈 | 有趣的海盗问题 (完整版)

戳蓝字“CSDN云计算”关注我们哦!作者:小灰来源:程序员小灰小灰发布的关于海盗问题的漫画,得到了大家的热烈讨论,很感谢大家的支持。这一次,小灰做了如下更新:1.修正了小灰面试阶段的一个数字错…

请重视!服务器这几个“异常”可能性预警

戳蓝字“CSDN云计算”关注我们哦!原文:https://mp.weixin.qq.com/s/qAkoG-Hut9Tfd9tOFRwafg提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不…

趣挨踢 | 那些出现在电影或电视剧中的精彩代码,你认出来几个?

戳蓝字“CSDN云计算”关注我们哦!程序员最幽默(ID:humor1024)编译链接:https://moviecode.tumblr.com/一些比较良心的电视和电影中会把代码这些细节做到机制,就算是屏幕上一闪而过,也都有理有据…

Hadoop精华问答 | 非大数据的项目能否用Hadoop?

戳蓝字“CSDN云计算”关注我们哦!技术的日新月异,让我们见证了Hadoop十年从无到有,再到称王。2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”以及与…

要闻君说:很惊喜!原来坐火车也可以刷支付宝啦!加速5G,IBM要和沃达丰宣布成立合资公司!特斯拉要裁员7% 以削减成本...

关注并标星星CSDN云计算每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 嗨,大家好!偶是要闻君。新年将至,年会未满,先听一首有关“假日”的歌曲吧,别忘记看要闻鸭!文/要闻君春节即将…

K8S的SDN容器网络解决方案【机制篇】

戳蓝字“CSDN云计算”关注我们哦!编者按:关于容器网络的解决方案业界已经有较多的讨论,笔者无意继续赘述。本文从K8S的网络实现入手,重点阐述SDN在容器网络中的应用价值。K8S及其网络模型体现了鲜明的解耦设计思想,采用…

总编下午茶专题汇总

《总编下午茶》是CSDN一档关注技术应用和IT前沿的访谈类栏目,由CSDN各主编担任该节目主持人,并邀请众多技术大咖分享技术热点与前沿知识,同时也是技术小伙伴们分享交流的最佳平台。 NLP可行性研究方向和应用热点 “现在NLP技术处于什么发展…

云重磅 |央视专访任正非;拼多多被薅上亿羊毛;甲骨文对云未来的10项技术预测...

戳蓝字“CSDN云计算”关注我们哦!嗨,大家好,重磅君带来的【云重磅】特别栏目,如期而至,每周二第一时间为大家带来重磅新闻。把握技术风向标,了解行业应用与实践,就交给我重磅君吧!重…

关于云原生,这是最详细的技术知识

戳蓝字“CSDN云计算”关注我们哦!本文旨在揭示现代软件行业的关键主题——云原生应用程序。这篇文章涉及微服务、容器和无服务器应用程序。在这里,我们将讨论这些技术的实际优点和缺点。微服务是什么微服务架构作为构建现代软件应用程序的强大方法而享有…

html之引入独立js方便维护jq代码

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

容器精华问答 | Docker是否比虚拟技术要好?

戳蓝字“CSDN云计算”关注我们哦&#xff01;云计算的发展日新月异&#xff0c;新技术层出不穷&#xff0c;尤其容器技术自2013年Docker容器问世以来一路高歌猛进红遍大江南北&#xff0c;与虚拟机相比&#xff0c;容器更显优势&#xff0c;有着更轻量、更快捷、占用资源更少&a…

Kubernetes API 与 Operator:不为人知的开发者战争

戳蓝字“CSDN云计算”关注我们哦&#xff01;前情回顾&#xff1a;《Kubernetes API 与 Operator&#xff1a;不为人知的开发者战争&#xff08;上&#xff09;》2016 年秋天&#xff0c;原 CoreOS 公司的工程师邓洪超像往常一样&#xff0c;来到了同事位于福斯特城&#xff08…

要闻君说:国产5G 手机只比普通版手机贵500元?菜鸟物联网机器人分拨中心首落南京!亚马逊推出的AWS集中式备份服务来啦!...

关注并标星星CSDN云计算每周三次&#xff0c;打卡即read更快、更全了解泛云圈精彩newsgo go go 嗨&#xff0c;大家好&#xff01;偶是要闻君。借着自家年会即将开幕的兴奋劲&#xff0c;继续给各位看官们带来最新、最扎眼的泛云圈大新闻&#xff0c;还是先听首歌曲&#xff0c…

Spring精华问答 | 什么是Spring Cloud?

戳蓝字“CSDN云计算”关注我们哦&#xff01;Spring是为解决企业应用程序开发复杂性而创建的一个Java开源框架&#xff0c;应用非常广泛。业内非常流行的SSH架构中的其中一个"S"指的就是Spring。今天我们就一起来看看关于Spring的精华问答&#xff01;1Q&#xff1a;…

要闻君说:必应(Bing)搜索引擎已在国内被屏蔽;Verizon媒体业务宣布裁员7%;小米率先发布折叠屏手机...

关注并标星星CSDN云计算每周三次&#xff0c;打卡即read更快、更全了解泛云圈精彩newsgo go go 嗨&#xff0c;大家好&#xff01;偶是要闻君。年底新闻一箩筐果真眼见为实&#xff0c;绝对不假。无论是华为天罡出师再添5G风采&#xff0c;还是小米自研折叠手机惊艳于世&#x…

高晓松侃5G!2019开年大讲揭示运营商的秘密

戳蓝字“CSDN云计算”关注我们哦&#xff01;文章来自&#xff1a;通信世界日前&#xff0c;著名音乐创作人、电影创作人、自带清华才子光环的高晓松回归母校&#xff0c;竟做了一场没有“诗和远方”全是5G的演讲&#xff01;他演讲的主题是——《5G与区块链&#xff1a;文创产…

容器精华问答 | Docker和虚拟机有什么差别?

戳蓝字“CSDN云计算”关注我们哦&#xff01;容器技术是这两年热门的话题&#xff0c;因为容器技术给我们带来了很多方便的地方&#xff0c;节约了不少成本&#xff0c;不管是在运维还是开发上。今天&#xff0c;就让我们来看看关于容器更加有深度的问题吧。1Q&#xff1a;宿主…

云漫圈 | finally到底是在return之前执行还是return之后执行?

戳蓝字“CSDN云计算”关注我们哦&#xff01;文章来自&#xff1a;程序员乔戈里作者&#xff1a;乔戈里qgl——下课后——public class Main { public static void main(String[] args) { query(); } public static void query() { int i 0; try { …

5G大规模商用来临之前,你必须知道的几个知识点

戳蓝字“CSDN云计算”关注我们哦&#xff01;大数据文摘授权翻译自纽约时报编译&#xff1a;雪清、蒋宝尚当人们在谈论人工智能和自动驾驶的时候&#xff0c;总是离不开5G。要说4G的侧重点是人与人之间不同方式的通信&#xff0c;那么5G将要形成的端到端生态系统&#xff0c;能…