在即将发布的Camel 2.21版本中改进了使用Apache Camel和ActiveMQ Artemis处理大型消息的功能...

从历史上看, Apache ActiveMQ消息代理最初是在大型消息以MB为单位而不是GB的情况下创建的,就像您今天所做的那样。

下一代代理Apache ActiveMQ Artemis(或仅是Artemis)则不是这种情况,后者对大消息有更好的支持。

因此,到了大约时间,骆驼团队终于有一些时间来进行此工作,以确保骆驼与Artemis和大型邮件一起正常工作。 这项工作已在本周末完成,我们提供了一个示例来证明这一点。

该示例使用以下两条小路线运行Camel:

第一种路由只是将文件路由到消息代理上名为data的队列。 第二条路由则相反,即从数据队列到文件的路由。

注意第二条路线,因为它已经打开了Camel的流缓存 。 这确保了Camel将以一种方式处理大型流负载,其中Camel可以将大流自动后台处理到临时磁盘空间以避免占用内存。 Apache Camel中的流缓存是完全可配置的,您可以基于有效负载大小,JVM中剩余的内存等设置阈值,以触发何时后台处理到磁盘。 但是,默认设置通常就足够了。

然后,骆驼使用JMS组件与ActiveMQ Artemis代理集成,您可以如下设置:

这是所有标准配置(您还应该考虑设置连接池)。

该示例需要在JVM中单独运行ActiveMQ Artemis消息代理,然后使用较低的内存设置(例如128mb或256mb等)启动Camel JVM,这可以通过Maven完成:

export MAVEN_OPTS="-Xmx256m"

然后您通过Maven运行Camel

mvn camel:run

当应用程序运行时,您可以将大文件复制到target / inbox目录,然后将这些大消息流式传输到Artemis代理,然后再次返回到Camel,然后将其保存到target / outbox目录。

例如,我通过复制一个1.6gb的docker VM文件而使这很累,而Camel将记录以下内容:

INFO  Sending file disk.vmdk to ArtemisINFO  Finish sending file to ArtemisINFO  Received data from ArtemisINFO  Finish saving data from Artemis as file

我们可以看到文件再次被保存,其正确大小也为1.6gb

$ ls -lh target/outbox/total 3417600-rw-r--r--  1 davsclaus  staff   1.6G Oct 22 14:39 disk.vmdk

我将jconsole连接到正在运行的Camel JVM并监视了内存使用情况,如下图所示:

该图显示堆内存在130mb左右达到峰值,而在GC之后,堆内存回落到50mb左右。 JVM的最大配置为256mb。

您可以找到有关示例的详细逐步说明,以及如何精确运行示例,因此可以自己尝试。 的
该示例是即将发布的Apache Camel 2.21发行版的一部分,其中对camel-jms组件进行了改进,以支持javax.jms.StreamMessage类型,并对ActiveMQ Artemis进行了特殊优化,如本示例所示。

PS:该示例可以用多种方式编写,但是我们没有创建另一个基于Spring Boot的示例,而是选择使用纯XML。 最终,骆驼不在乎,您可以随心所欲地实现和使用骆驼。

翻译自: https://www.javacodegeeks.com/2017/10/working-large-messages-using-apache-camel-activemq-artemis-improved-upcoming-camel-2-21-release.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/348645.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《计算机网络自顶向下》知识体系完全梳理

计算机网络复习 第一章 OSI 7层协议参考模型及各层功能 应用层 网络服务与最终用户的一个接口 表示层 数据的安全、表示、压缩 会话层 建立、管理、终止会话 传输层 定义传输数据的协议端口号,以及流控和差错校验 网络层 进行逻辑地址寻址,实现不同网…

java 迁移数据_从迁移到Java 7的小技巧

java 迁移数据经过几年的努力,我们终于开始在软件级别方面将应用程序从黑暗时代中拉出来,其中一个步骤是将我们的Java版本升级到Java7。在大多数情况下,这很轻松,但是有一些惊喜: 当我们切换到Java 7时,已…

模拟电路概念知识体系梳理(基础部分)

半导体 P、N型半导体 N型半导体 掺入少量杂质磷元素(或锑元素)的硅晶体(或锗晶体)中 电子型半导体其导电性主要是因为自由电子导电 P型半导体 掺入少量杂质硼元素(或铟元素)的硅晶体(或锗…

深入浅出组合逻辑电路(1)

定义:电路在任意时刻的输出仅由该时刻的输入信号决定,与之前的输入信号无关。 组合电路通常有一些逻辑门构成,许多具有典型功能的组合电路已经集成为商品电路。(加法器,译码器等) 分析步骤: …

jdk7默认gc算法_JDK 7的算法和数据结构

jdk7默认gc算法在定期检查JDK中是否存在一种或另一种标准算法时,我决定进行这种索引。 有趣的是,为什么其中包含一些著名的数据结构或算法,而其他却没有? 此调查的格式仅涉及JDK的算法和数据结构的关键特性和功能,所有…

深入浅出逻辑组合电路(2)

深入浅出逻辑组合电路(2) 门电路中的冒险现象 通常讨论逻辑电路时,只从抽象的逻辑角度进行描述,不考虑实际电路中必然存在的信 号传输时延和信号电平变化时刻对逻辑功能的影响。逻辑门的传输时延以及多个输入信号变 化时刻不同步…

学习数字电路必须知道的几种编码

2-10进制编码(BCD编码) BCD码:使用一个四位二进制代码表示一位十进制数字的编码方法。 一、8421码 选取0000~1001表示十位二进制数 0到9 按自然顺序的二进制数表示所对应的十进制数字,是有权码,从高位到地位的权依…

Packt发行的$ 5 Java编程书籍:精通Java 9,Java 9 High Performance

您好极客! 今天,我们为您带来一些激动人心的消息! Java Code Geeks和Packt联手为您提供广泛的书籍库每周折扣。 本周,我们提供Java相关书籍的折扣,以帮助您理解和掌握Java。 他们全都打折到每本书5美元 !…

深入浅出组合逻辑电路(3)常见的几种编码器

编码器是啥? 下面介绍几种常见的编码器 答:编码器是实现编码的数字电路,对于每个有效的输入信号,编码器输出与之对应的一组二进制代码。 2^n-n线编码器 是最基本的编码器 图示为8-3线译码器 输入为8个代编码信号,…

jpa命名 多条件查询命名_JPA 2 | 动态查询与命名查询

jpa命名 多条件查询命名JPA有自己的查询语言,称为JPQL。 JPQL与SQL非常相似,主要区别在于JPQL与应用程序中定义的实体一起使用,而SQL与数据库中定义的表和列名称一起使用。 在定义将对定义的Entity类执行CRUD操作的JPA查询时,JPA为…

深入浅出逻辑电路(4)介绍几种常见的译码器

译码器是啥? 输入一组二进制编码,输出一个有效的信号 译码器输入的 n 位二进制代码有2n种取值,称为2n种不同的编码值。若将每种编码分别译出,则译码器有2n个译码输出端,这种译码器称为全译码器。 若译码器的输入编码…

没有科学计数法的Java十进制数的简单字符串表示形式

Java中用于十进制数字的主要类型 /对象是float / Float , double / Double和BigDecimal 。 在每种情况下,其“默认”字符串表示形式都是“计算机科学计数法”。 这篇文章演示了一些简单的方法,可以在没有科学符号的情况下提供十进制数的字符串…

几道题帮你搞定数据选择器

这里不写答案,只讲思路 这个逻辑表达式比较短,咱们首先就考虑到先将F写成最小项表达式 从三个自变量中选择两个作为选择器的地址变量,本题为A1A0AB 然后把C处理一下,化简式子,使得式子的每一项都有AB,每一…

Spring Data Solr教程:查询方法

我们已经了解了如何配置Spring Data Solr。 我们还学习了如何向Solr索引添加新文档,如何更新现有文档的信息以及从Solr索引删除文档。 现在是时候继续前进,学习如何使用Spring Data Solr从Solr索引中搜索信息。 我们的搜索功能的要求如下: 搜…

深入浅出时序逻辑电路(1)

我们一提到时序逻辑电路,就会想到触发器 先讲讲时序逻辑电路:时序逻辑电路(常简称为时序电路)内部包含存储器,用于记忆电路的工作状态和输入变化情况,其输出由当前的输入和存储信息共同确定的一种电路。 再…

云幸福–如何在几分钟内安装新的OpenShift Container Platform 3.7

此安装需要安装Red Hat Middleware产品流(预先配置的容器选项)以及所有其他功能,例如源容器,映像容器和.Net Core容器。自OpenShift容器平台发布以来,我一直希望提供一个简单的方法。 ,完全配置且易于使用的…

从分析一个简单的时序电路入手

这道题怎么搞呢 先看图 看到了一个JK触发器,左边那个是J触发器转化为D触发器 右边那个就是JK触发器 写出两个次态方程:还有一个输出表达式:将激励函数带入表达式,求出两个次态方程 然后画出状态表: 再画出状态图&a…

组合逻辑电路运算法则

逻辑电路计算性质 与非门:有0出1,全1才0 & 或非门:有1出0,全0才1 >1 异或门:相同出0,不同出1 ⊕ 常用公式 ABAB‾\overline{B}BA AABA AAB‾\overline{B}BAB A00 A1A A*A‾\overline{A}A0 …

jmeter实现翻页功能_JMeter定制功能实现

jmeter实现翻页功能JMeter提供了可在采样器中使用的功能。 在编写复杂的测试计划时,您会觉得JMeter缺少某些方法。 您使用Beanshell脚本定义自己的自定义方法。 JMeter调用Beanshell解释器来运行脚本。 只要您不产生高负载(大量线程)&#xf…

常见的集成逻辑门(CMOS\TTL\ECL)

CMOS系列 TTL系列 ECL系列 集成逻辑门的主要性能指标 关于噪声容限UN 输出负载能力 总结一下:不管那么多,先把两个算出来,取最小的就完事了 答案:ECL,CMOS,ECL,CMOS