Confluent官博:Kafka最牛队列,性能15倍于RabbitMQ!

容器、Kubernetes、DevOps、微服务、云原生,这些技术名词的频繁出现,预兆着新的互联网技术时代的到来,大数据高并发将不再遥远,而是大部分项目都必须面对的,消息队列则是核心利器!成熟的消息队列产品很多,该如何技术选型?下面是翻译自Confluent 官方博客的消息队列性能对比测试。

原文地址:https://www.confluent.io/blog/kafka-fastest-messaging-system/

文:Yiru-Chen  

来源:DotNetdaily 

DotNetdaily

云硬件Kafka

性能测试

众所周知Kafka快,究竟有多快,跟其他队列相比又如何?这里选择了Kafka、RabbitMQ 和Apache Pulsar进行测试,关注点是系统吞吐量系统延迟,因为它们是生产中事件流处理系统的核心性能指标。具体来说,吞吐量测试测量队列在硬件(特别是磁盘和 CPU)使用方面的效率。延迟测试测量每个系统传递实时消息的差别,这是实时任务关键型应用程序以及微服务架构的核心要求。

最终结论:

吞吐量:Kafka 在三个系统中的吞吐量最高,是 RabbitMQ 的 15 倍,Pulsar 的 2 倍。

系统延迟:Kafka 在较高的吞吐量下提供了最低的延迟,同时还提供了强大的持久性和高可用性。RabbitMQ 可以实现比 Kafka 更低的端到端延迟,但只能在吞吐量低很多的情况下。

Kafak的高吞吐和低延迟是怎么实现的?Kafak有着极为优秀和出色的设计,一是页缓存技术+磁盘顺序写,一是零拷贝技术!

DotNetdaily

页缓存技术

磁盘顺序写

Kafka的消息数据是写在硬盘上的,保证了消息数据的可靠性,但写硬盘还能保证几十万条/秒的消息处理速度,是怎么做到的?答案是基于操作系统的页缓存和磁盘顺序写来实现的。

页缓存page cache,就是操作系统自己管理的内存缓存,也叫os cache。Kafka在写入消息时,是直接写入页缓存,然后由操作系统决定什么时候把页缓存里的数据刷入磁盘文件中。这样一来,消息写入性能就变成了写内存,不是在写磁盘,请看下图。

常规的磁盘写入都是随机写,随便找到文件的某个位置来写数据,这样的性能非常差,但是追加文件末尾按照顺序的方式来写数据的话,其写入性能跟写内存的性能都相差无几的。Kafak就是采用顺序写的方案,再加上页缓存的应用,才能做到在普通服务器上每秒写入几十万条消息,实现了数据写入的超高性能。

DotNetdaily

零拷贝技术

解决了写入问题,那消息读取呢?频繁的从磁盘读数据然后发给消费者,性能又是如何保证的?Kafka为了解决这个问题,在读数据的时候是引入零拷贝技术。

先看图1是常规的硬盘读写流程,操作系统读取硬盘数据后放在OS Cache,然后需要拷贝一次到Kafka进程,然后Kafka再将数据拷贝到Socket缓存才能发送到网卡,这样流程的性能当然没有保障。

再看图2, Kafka的设计为直接将操作系统OS Cache中的数据发送到网卡,跳过了两次拷贝数据的步骤,Socket缓存中仅仅会拷贝一个描述符过去,不会拷贝数据到Socket缓存,大大提升了数据读取性能。

DotNetdaily

分享大会第五期

Kafka作为海量数据大并发高吞吐的消息队列首选,在底层架构设计上有太多的技术点,有人说驾驭Kafka队列的难度较高。其实是路子没走对!

—张文亮《深入浅出Kafka:源码解析与实践原理》

此书言论一出,立马引发社区各种呵呵,都说是耍嘴皮子功夫?为了向大伙证明实力,早在7月份他就在筹划本次分享。 对Kafka感兴趣的小伙伴都来听听吧!DotNet社区分享大会第五期:高吞吐低延迟Kafka实战之道!

号称自己笔记都能出书的文亮在圈内大小算个人物了,尤其在Kafka技术领域“屡放厥词”,作为专业书的首席作者,文亮好歹也是做了多年开发的老架构师了,那驾驭Kafka如何才能走对路,今晚8点,是翻车还是封神,让我们拭目以待!

DotNetdaily 特别鸣谢:

感谢知乎直播 / 哔哩哔哩 / 腾讯会议等渠道小伙伴们的支持,为确保直播顺利进行,最大程度及时反馈大家的提问,请扫码预约!(预约后安排观看渠道)

DotNetdaily 本期送月饼

眼看中秋佳节将近,本期分享社区给大家准备了月饼礼盒!欢迎大家前来围观赢取!一起加油,让DotNet社区越来越好!

DotNetdaily

高吞吐低延迟Kafka实战之道!

社区分享会 09/25 20:00

主讲:张文亮

《深入浅出Kafka》首席作者

赶快扫码预约领取直播链接!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/307599.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

leetcode503. 下一个更大元素 II

一:题目 二:上码 class Solution { public:/**思路: 1.将两个nums拼接到一块这里拼接到一块,当我们最后的元素找不到比其大的时候 就会开始从头开始这样的话就可以继续进行 入栈 或者出栈的操作入栈就是比我栈顶小的元素,出栈的话 那就是 找到了比其大的元素了…

队列的基础概念与经典题目(Leetcode题解-Python语言)

队列是先入先出(后入后出)的数据结构,常用操作就 push 和 popleft,Python中用列表中的 pop(0) 或者 collection.deque的 popleft() 都可以。 普通队列 225. 用队列实现栈 class MyStack:def __init__(self):self.queue1 []sel…

跟我一起学.NetCore之中间件(Middleware)应用和自定义

前言Asp.NetCore中的请求管道是通过一系列的中间件组成的,使得请求会根据需求进行对应的过滤和加工处理。在平时开发中会时常引用别人定义好的中间件,只需简单进行app.Usexxx就能完成中间件的注册,但是对于一些定制化需求还得自己进行处理和封…

leetcode42. 接雨水

一:题目 二:上码 // class Solution { // public: // /**超时 // 思路: // 1.我们按列来计算 这就是表明的是 我们求取接雨水 向上的高度就是雨水量 // 但是这里的话我们的需要对雨水的高度 来进行判定 // 2.那么如何判定…

贪心的问题合集(Leetcode题解-Python语言)

贪心算法(Greedy Algorithm):是一种在每次决策时采用当前状态下最优或最好的策略,从而希望导致结果是最好或最优的算法。 455. 分发饼干 class Solution:def findContentChildren(self, g: List[int], s: List[int]) -> int:…

Magicodes.IE之导入导出筛选器

总体设计Magicodes.IE是一个导入导出通用库,支持Dto导入导出以及动态导出,支持Excel、Word、Pdf、Csv和Html。在本篇教程,笔者将讲述如何使用Magicodes.IE的导入导出筛选器。在开始之前,我们需要先了解Magicodes.IE目前支持的筛选…

字符串经典题目(Leetcode题解-Python语言)

344. 反转字符串 class Solution:def reverseString(self, s: List[str]) -> None:"""Do not return anything, modify s in-place instead."""left 0right len(s) - 1while left < right:s[left], s[right] s[right], s[left]left 1…

谈了千百遍的缓存数据的一致性问题

“灵魂拷问保证缓存和数据库的一致性很简单吗&#xff1f;有哪些方式能保证缓存和数据库的一致性呢&#xff1f;如果发生了缓存和数据库数据不一致的情况怎么办呢&#xff1f;在上篇文章我们介绍了缓存的定义分类以及优缺点等&#xff0c;如果还没看的同学可以移步这里听说你会…

BS作业 基于springboot + Thymeleaf +mybatis 实现的书城管理系统

一:项目背景 项目描述 一个基本功能较为完整的后台管理项目。项目主要功能有&#xff1a;登录验证&#xff0c;登录功能还加入了随机验证码的验证&#xff1b; 用户注册&#xff0c;注册中密码基于srping 安全框架提供的加密(自动加盐)的密码储存方式&#xff0c;对注册重名进…

字符串匹配经典题目——KMP算法(Leetcode题解-Python语言)

28. 实现 strStr() strStr(haystack: str, needle: str) 的作用就是在 haystack 字符串&#xff08;长度为 n&#xff09;中找出 needle 字符串&#xff08;长度为 m&#xff09;出现的第一个位置&#xff08;下标从 0 开始&#xff09;。如果不存在&#xff0c;则返回 -1 &am…

Istio Pilot 源码分析(二)

张海东&#xff0c; ‍多点生活&#xff08;成都&#xff09;云原生开发工程师。本篇主要介绍 Pilot 源码中的 ServiceEntryStore 及其推送 xDS 的流程。本文为 Istio Pilot 源码分析系列的第二篇文章。Istio Pilot 源码分析&#xff08;一&#xff09;了解了 Pilot 源码的基本…

Pytorch中的 torch.Tensor() 和 torch.tensor() 的区别

直接在搜索引擎里进行搜索&#xff0c;可以看到官方文档中两者对应的页面&#xff1a; 分别点击进去&#xff0c;第一个链接解释了什么是 torch.Tensor&#xff1a; torch.Tensor 是一个包含单一数据类型元素的多维矩阵&#xff08;数组&#xff09;。 正因为 torch.Tensor 只包…

leetcote34. 在排序数组中查找元素的第一个和最后一个位置

一:题目 二&#xff1a;上码&#xff08;暴力二分&#xff09; // class Solution { // public: // /** // 思路:1.首先这是一个升序的 那么相同的一定是会相连的// */// vector<int> searchRange(vector<int>& nums, int target) {// …

Git 图形化操作之合并提交记录

Git 图形化操作之合并提交记录独立观察员 2020 年 9 月 24 日目录1、显示日志2、合并提交记录3、推送合并的提交前言&#xff1a;当我们使用 Git 时&#xff0c;有时会遇到刚提交推送完一次修改&#xff0c;发现漏了该某处&#xff0c;只好又提交推送一次&#xff0c;这样在提交…

Pytorch中的 torch.as_tensor() 和 torch.from_numpy() 的区别

之前我写过一篇文章&#xff0c;比较了 torch.Tensor() 和 torch.tensor() 的区别&#xff0c;而这两者都是深拷贝的方法&#xff0c;返回张量的同时&#xff0c;会在内存中创建一个额外的数据副本&#xff0c;与原数据不共享内存&#xff0c;所以不受原数据改变的影响。 这里…

chrome禁止三方cookie,网站登录不了怎么办

背景新版chrome(80)浏览器默认屏蔽所有三方cookie已经不是什么新闻了&#xff0c;具体原因这里不去深究&#xff0c;有大量相关文章介绍&#xff0c;由于目前许多网站都依赖三方cookie&#xff0c;因此该特性的推出还是造成了一些的影响&#xff0c;比如收集用户信息的广告商&a…

leetcode69. x 的平方根

一:题目 二:上码 class Solution { public:/**思路:1.因为我们的 ans的平方 < x 那么我们就可以用二分法来做 不断缩小左右范围来确定 ans**/int mySqrt(int x) {int left 0; int right x;int ans 0;while (left < right) {long mid (right-left)/2 left;if (mid*…

两数、三数、四数之和相关题目(Leetcode题解-Python语言)

作为 Leetcode 的第一题&#xff0c;两数之和自然是知名度最高的&#xff0c;从两数之和出发也有不少的衍生题目&#xff0c;下面就让我们好好地解决它们。 1. 两数之和 class Solution:def twoSum(self, nums: List[int], target: int) -> List[int]:record dict()for i…

初识ABP vNext(11):聚合根、仓储、领域服务、应用服务、Blob储存

点击上方蓝字"小黑在哪里"关注我吧聚合根仓储领域服务BLOB储存应用服务单元测试模块引用前言在前两节中介绍了ABP模块开发的基本步骤&#xff0c;试着实现了一个简单的文件管理模块&#xff1b;功能很简单&#xff0c;就是基于本地文件系统来完成文件的读写操作&…