卡夫卡编年史队列基准

总览

最近,我被要求比较《卡夫卡》和《编年史》的性能。 没有两个产品是完全一样的,要进行公平的比较并不容易。 我们可以尝试运行类似的测试,看看会得到什么结果。

该测试基于Apache Kafka性能结果 。

测试使用了什么?

卡夫卡测试的一个方面是多线程性能。 在我们已经完成的测试中,使用更多的线程(取决于您拥有的CPU数量)并不好坏。 我们没有在这里进行基准测试。 所有测试都使用一个生产者。

另一个区别是,我们按时间而不是按计数定期刷新到磁盘。 能够说自己永远不会落后X毫秒通常比说600条消息更有用,因为您不知道这些消息可能在那里等待了多长时间。 对于我们的测试,我们看一下1 ms到10 ms之间的刷新周期。 在Kafka的测试中,它们似乎大约每3毫秒一次。

在每种情况下,使用的消息大小均为200字节,我们探讨了一次写入1、2、5和10条消息的区别。 我们还分批尝试了200条消息,其性能类似于10条消息。

我们仅测试了写入SSD磁盘的持久性。 注意:编年史是没有经纪人的。

结果

该测试的结果显示了以MB / s为单位的消息速率。 这是描述性能的合理方法,因为消息大小可能会有所不同,但是您将获得类似的带宽,尤其是消息大小超过1 KB时。

设备 冲洗周期(毫秒) 1个 2 5 10
ssd.ext4 1个 236 MB /秒 300 MB /秒 340 MB /秒 363 MB /秒
ssd.ext4 3 378 MB /秒 483 MB /秒 556 MB /秒 583 MB /秒
ssd.ext4 10 495 MB /秒 595 MB /秒 687 MB /秒 705 MB /秒
tmpfs 988 MB /秒 1317 MB /秒 1680 MB /秒 1847 MB​​ /秒

我们还测试了“写入” tmpfs文件系统。 由于没有执行对设备的实际写入,因此速度更快。

结论

无法与Kafka进行直接比较,因为它是基于代理的系统,因为必须通过TCP发送任何消息。 编年史可以通过TCP复制,但是不是必须的,如果要最大化性能,您将使用高速网络,最快的是服务器的内存总线。

您可以运行类似的测试并获得出色的结果。 如果您需要处理数百MB / s的突发数据,则Chronicle可能是更好的解决方案。

翻译自: https://www.javacodegeeks.com/2014/10/kafka-benchmark-on-chronicle-queue.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/362285.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

webpack css打包为一个css

1、安装 npm install extract-text-webpack-plugin --save-dev 2、项目目录: index文件夹下的index.css: body{background-color: #ccc;}.flex-div{display: flex;} index文件夹下的index2.css: p{text-indent: 2em;} index文件夹下的index-l…

javascript深入理解js闭包

闭包(closure)是Javascript语言的一个难点,也是它的特色,很多高级应用都要依靠闭包实现。 一、变量的作用域 要理解闭包,首先必须理解Javascript特殊的变量作用域。 变量的作用域无非就是两种:全局变量和局…

Codeforces Round #568 (Div. 2) G2. Playlist for Polycarp (hard version)

因为不会打公式&#xff0c;随意就先将就一下&#xff1f; #include<cstdio> #include<algorithm> #include<iostream> #include<cstring> #include<vector> using namespace std; typedef long long LL; const int N55; const int MOD1e97; int…

新的开始 和一些总结

接触编程不久&#xff0c;2年而已&#xff0c;也不精通&#xff0c;看得比较泛。java&#xff0c;C&#xff0c;C#都有所涉猎&#xff0c;但是仅仅停留于可以编码的阶段&#xff0c;让我就某个问题给出专业的解释&#xff0c;是断无可能的。现在准备考研了&#xff0c;很长一段…

jQuery实现页面关键词高亮

示例代码&#xff0c;关键位置做了注释&#xff0c;请查看代码&#xff1a; <html><head><title>jQuery实现页面关键词高亮</title><style type"text/css">* {margin: 0;padding: 0;}p {padding: 10px;margin-bottom: 20px;}.highligh…

简而言之,JUnit:测试隔离

作为顾问&#xff0c;我仍然经常遇到程序员&#xff0c;他们对JUnit及其正确用法的理解最多。 这使我有了编写多部分教程的想法&#xff0c;从我的角度解释了要点。 尽管存在一些有关使用该工具进行测试的好书和文章&#xff0c;但是也许可以通过本动手实践的方法来使一两个额…

Apache Camel 2.14中的更多指标

Apache Camel 2.14将于本月晚些时候发布。 由于正在解决某些Apache基础结构问题&#xff0c;因此存在一些问题。 这篇博客文章讨论的是我们添加到此版本中的新功能之一。 感谢Lauri Kimmel捐赠了骆驼指标组件&#xff0c;我们将其与出色的Codehale指标库集成在一起。 因此&am…

ASP.NET进阶(8):HttpModule和HttpApplication

前面三节讲了控件的构造、呈现和数据绑定&#xff0c;我想该差不多了。本想讲一个自定义控件来终结控件部分&#xff0c;但是我个人不太喜欢控件这些东西&#xff0c;所以也就懒的写相关的内容&#xff0c;抱歉了。虽然我不喜欢使用控件&#xff0c;但我还是喜欢整个WebForm的设…

移动端网页宽度值(未加meta viewport标签)

移动端网页宽度值&#xff08;未加meta viewport标签&#xff09;: iphone:980px Galaxy&#xff08;盖乐世&#xff09;&#xff1a;980px Nexus&#xff1a;980px blackberry&#xff08;黑莓&#xff09;&#xff1a;980px LG&#xff1a;980px Nokia&#xff1a;980p…

简而言之:JRunner

关于JUnit测试要点的多篇教程的第四章介绍了该工具可交换测试运行器体系结构的目的&#xff0c;并介绍了一些可用的实现。 正在进行的示例通过编写参数化测试的不同可能性扩大了主题。 由于我已经发布了JUnit Rules的介绍&#xff0c;因此我决定跳过关于该主题的已宣布部分。 …

cmake how to create vs file filters

cmake how to create vs file filters 用cmakelists构建出来的工程&#xff0c;没有文件filters&#xff0c;可采用如下方法解决 set(SOURCE_LIST"lotteryTicket.cpp""stdafx.cpp""stdafx.h""test/main.cpp" )add_executable(lotteryT…

Cannot retrieve mapping for action

想必用过Struts的朋友都遇到过这个异常吧&#xff01;没遇到的也可能&#xff0c;只能说你很强或运气不错。 我遇到该异常的解释是我不强&#xff0c;用Struts不是很多&#xff0c;或者说根本不熟练&#xff0c;对一些知识了解得并不深&#xff0c;仅仅皮毛而已&#xff0c;所以…

休眠字节码增强

介绍 既然您了解了Hibernate脏检查的基础知识 &#xff0c;我们就可以研究增强的脏检查机制。 虽然默认的图遍历算法对于大多数用例可能已足够&#xff0c;但有时您需要优化的脏检查算法&#xff0c;并且检测方法比构建自己的自定义策略更方便。 使用Ant休眠工具 传统上&#…

Hibernate核心接口

一、Configuration类&#xff1a;1、 作用&#xff1a;&#xff08;1&#xff09;管理hibernate配置信息&#xff08;2&#xff09;读取hibernate.cfg.xml文件&#xff08;3&#xff09;加载hibernate的驱动&#xff0c;例如&#xff1a;url,用户名&#xff08;4&#xff09;管…

CSS实现垂直居中的方法

CSS实现垂直居中的方法 1、relative absolute定位&#xff1a; (1)css html代码 1 <!doctype html>2 <html lang"en">3 4 <head>5 <meta charset"UTF-8" />6 <title>Document</title>7 …

Neo4j:收集多个值

在Neo4j的密码查询语言中&#xff0c;我最喜欢的功能之一是COLLECT&#xff0c;它使我们能够将项目分组到一个数组中以备后用。 但是&#xff0c;我注意到人们有时很难弄清楚如何使用COLLECT收集多个项目&#xff0c;并且很难找到一种方法。 考虑以下数据集&#xff1a; cre…

spring 概念理解(资料)

一、Spring的IoC(Inversion of Control)。这是Spring中得有特点的一部份。IoC又被翻译成“控制反转”&#xff0c;也不知道是谁翻译得这么别扭&#xff0c;感觉很深奥的词。其实&#xff0c;原理很简单&#xff0c;用一句通俗的话来说&#xff1a;就是用XML来定义生成的对象。I…

运用flask、flask-restful开发rest风格的接口,并使用蓝图增加代码的延展性和可扩展性。...

本人做为一个测试人员&#xff0c;之前也有写过&#xff0c;想要测试好接口&#xff0c;那必须要知道如何开发一个接口的重要性。 之前也写过通flask或者flask-retful开发接口&#xff0c;但那些只是一些最简单的demo&#xff0c;不具有很好延展性和扩展性。 此次我们带一整个完…

2014年夏末大Java新闻

正如即将到来的JavaOne那样 &#xff0c;最近在Java社区中已经有很多重大新闻。 这篇文章简要地引用了其中的三个项目&#xff08;Java SE 8更新&#xff0c;Java SE 9和Java EE 8&#xff09;&#xff0c;并对我发现这是我在类路径/类加载器问题上见过的更清楚的文章之一进行了…

初学 Ajax(涉及 php)

一直知道 ajax 但是尚未真正了解&#xff0c; 这次看了慕课网的《Ajax全接触》&#xff0c;算是有所收获&#xff0c;入了个门。需要用到php&#xff0c;因为 Ajax也是向服务器请求&#xff08;不知道这么解释对不对&#xff09;&#xff0c; 所以还需要配置环境&#xff0c; …