Kafka精华问答 | Kafka的主要应用场景有哪些?​

640?wx_fmt=png

Kafka是最初由Linkedin公司开发,具有高性能、持久化、多副本备份、横向扩展能力。今天,我们就看看看关于Kafka的精华问答吧。


640?wx_fmt=gif1:

Q:什么是Kafka?


A:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。


640?wx_fmt=gif2

Q:Kafka有哪些特性?


A:作为一种高吞吐量的分布式发布订阅消息系统,有如下特性:

  • 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

  • 高吞吐量 :即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。

  • 支持通过Kafka服务器和消费机集群来分区消息。

  • 支持Hadoop并行数据加载

Kafka通过官网发布了最新版本2.0.0


640?wx_fmt=gif3

Q:kafka的总体数据流是什么样的?


A:

640?wx_fmt=jpeg

640?wx_fmt=gif4

Q:kafka的使用场景有些?


A:日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer,例如hadoop、Hbase、Solr等。

- 消息系统:解耦和生产者和消费者、缓存消息等。

- 用户活动跟踪:Kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后订阅者通过订阅这些topic来做实时的监控分析,或者装载到hadoop、数据仓库中做离线分析和挖掘。

- 运营指标:Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告。

- 流式处理:比如spark streaming和storm

- 事件源


640?wx_fmt=gif5

Q:主要功能有哪些?


A:根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能:发布和订阅消息流,这个功能类似于消息队列,这也是kafka归类为消息队列框架的原因;以容错的方式记录消息流,kafka以文件的方式来存储消息流;可以再消息发布的时候进行处理。


640?wx_fmt=png

小伙伴们冲鸭,后台留言区等着你!

关于Kafka,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~


福利

1、扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


640?wx_fmt=jpeg

2、公众号后台回复:白皮书,获取IDC最新数据白皮书整理资料!


推荐阅读:

  • 云计算之基,一文带你速懂虚拟化KVM和XEN

  • OpenStack网络的下一步原来这么走 | 技术头条

  • 用一枚比特币环游世界? 他是不是疯了...

  • 程序员逆袭为美国最佳 CEO,他说因为爱情

  • 斯坦福区块链匪帮传奇,那些睡地毯、没日没夜写代码的编程少年

  • Erlang 之父去世,他留给程序员两点忠告

  • 开什么玩笑?股票价格如何经得起AI的推敲?| 技术头条


640?wx_fmt=png真香,朕在看了!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/524036.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

修改Maven本地仓库的位置 方法

一、关于Maven的配置: 用过Maven的开发人员应该知道Maven可以通过配置 conf文件夹下面的settings.xml文件来修改maven下载的包,默认是下在c盘的用户文件夹下的.m2中,日积月累.m2会越来越庞大,自然会影响windows的响应,所以一般我们…

linux下文件颜色说明

文件颜色说明 红色——压缩文件 绿色——可执行文件 蓝色——文件夹 白色——普通文件,像文本文件 黄色——设备文件 浅蓝色——链接文件

强推!十大顶级大数据可视化工具 | 程序员硬核评测

戳蓝字“CSDN云计算”关注我们哦!程序员硬核评测:客观、高效、不说软话。无论是技术质量、性能水平,还是工具筛选,一测便知!编译作者:风车云马前言Salesforce公司的一项调查显示:53%的员工要经常…

代码版本管理 GitLab介绍

一、前言 GitLab是利用 Ruby on Rails 一个开源的版本管理系统,实现一个自托管的 Git 项目仓库,可通过 Web 界面进行访问公开的或者私人项目。 它拥有与 Github 类似的功能,能够浏览源代码,管理缺陷和注释。可以管理团队对仓库的…

linux下查找是否安装了fcitx插件

方法 在命令行输入指令: dpkg -L fcitx-frontend-qt5 也可以查找是否有libfcitxplatforminputcontextplugin.so这个库文件,在命令行输入: dpkg -L fcix-frontend-qt5 | grep .so

国内首款全国产固态硬盘控制芯片发布

4月22日,国科微与龙芯中科战略合作签约暨国内首款全国产固态硬盘控制芯片发布仪式在北京人民大会堂举行。双方将建立长期稳定的业务合作伙伴关系,携手打造关键信息基础设施国产化生态。作为首个战略合作成果,国科微发布全新的GK2302系列芯片&…

gitlab访问错误Whoops, GitLab is taking too much time to respond

一、异常现象: gitlab访问错误Whoops, GitLab is taking too much time to respond 二、问题定位 问题定位8080端口被占用: 三、解决方案 解决方案01: 将占用的8080端口的进程杀死或者卸载占用8080端口的软件修改正在占用8080端口程序的…

使用gitlab初次上传代码

提要 项目开发中需要使用gitlab来管理代码,将自己开发的模块上传到gitlab,第一次使用这个代码管理仓库,记录一下。 方法 1.首先注册gitlab的账号。这个在百度上搜一下gitlab的官网,进去后首页就是注册及登陆页面,没有账号的先注…

云数据库精华问答 | 现有数据库优化到云环境有什么好处​?

云数据库可以实现按需付费、按需扩展、高可用性以及存储整合等优势。我们就看看看关于云数据库的精华问答吧。1:Q:什么是云数据库?A:云数据库是指被优化或部署到一个虚拟计算环境中的数据库,可以实现按需付费、按需扩展、高可用性…

上传更新的代码到gitlab

提要 项目开发中已经初次上传代码到gitlab上,那么后面在本地修改了代码之后怎么上传,本文作以说明。 方法 首先说明一点,若你本地代码要上传的代码在你之前创建的本地仓库之外,那么你需要将要上传的代码拷贝到本地仓库中&#…

Python基础教程学习目录 - Python入门教程

Python 基础入门 2021 年 1 月 23 日 下午 12:48 目录 一.Python 基础篇二.Python 线程/进程篇 一.Python 基础篇 Python 简介Python Pycharm Anacanda 区别Python2.x 和 Python3.x,如何选择?Python 配置环境Python Hello World 入门Python 代码注释…

linux tail命令_操作手册

tail :输出文件的最后几行。 用于linux查看日志的时候很方便,假如日志文件为:Console.log 用法: 1、输出文件最后10行的内容 tail Console.log2、-n为最后n行,输出文件最后n行的内容,同时监视文件的改变,…

华为2019年第一季度业绩曝光;联想and谷歌加入英特尔新晋云计划;即特斯拉起火,蔚来ES8也维修起了火...

关注并标星星CSDN云计算极客头条:速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 亚马逊仓库(图片…

怎么从gitlab上下载别人的代码

提要 当需要从gitlab上下载别人的代码时,这里简述一下如何操作。 方法 按如下的步骤来实现: 1.在自己的电脑脑上新建一个空文件夹,文件夹的名称自己取。 2.在新建的文件夹上右键,选择git bash here菜单,弹出一个命令…

Python 常用函数 - Python入门教程

Python 常用函数 2021 年 3 月 12 日 上午 11:18 [编辑] Python print 函数(一)Python print 函数(二)Python format 函数Python type 函数Python isinstance 函数Python zip 函数Python Chainmap 函数Python id 函数Python update 函数Python divmod 函数Python all 函数Pyt…

集群概述

一、什么是集群 1. 集群概念2.集群的特点3. 集群的两大能力4. 集群与分布式的区别 1. 集群概念 ①集群是一种计算机系统, 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。②在某种意义上,他们可以被看作是一台计算机。集…

qt中combox怎么使其下拉菜单的长度变长

提要 项目开发中一些用户提出下拉菜单的滚动条需要滚好久,才能找到自己想要选择的项,需要将原本值显示10 个的下拉菜单现在加长先使的数目,从而使用户滚动变少。 实现 其实实现就使一个函数,设置combox的最大显示项的数目便可。…

在这座智慧岛上 看华为的坚定与“野心”

戳蓝字“CSDN云计算”关注我们哦!技术头条:干货、简洁、多维全面。更多云计算精华知识尽在眼前,get要点、solve难题,统统不在话下!在ICT这个江湖里,不乏拼搏向上的企业,但是耐得住性子、扛得住诱惑&#xf…

gblfy博客配色模板

[toc]html空格符号 文章目录①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯⑰⑱⑲⑳⑴⑵⑶⑷⑸⑹⑺⑻⑼⑽⑾⑿⒀⒁⒂⒃⒄⒅⒆⒇<font color"#FF6666" size3>**关键字**<font>关键字 <font color"#006699" size3>**关键字**<font>关键字 <…

深入浅出Docker 镜像 | 技术头条

戳蓝字“CSDN云计算”关注我们哦&#xff01;技术头条&#xff1a;干货、简洁、多维全面。更多云计算精华知识尽在眼前&#xff0c;get要点、solve难题&#xff0c;统统不在话下&#xff01;作为云计算的当红明星Docker 来势汹汹,它就像一场森林大火&#xff0c;烧到了我们中间…