复杂的(事件)世界

这篇博客文章试图总结CEP领域中的技术,并探讨它们的主要功能和不足。 有时似乎过度使用了CEP一词(就像'ESB'一样),下面的文章反映了我们对它的理解和理解。

ESPER( http://esper.codehaus.org/ )是流行的开源组件,可用于Java的复杂事件处理(CEP)。 它包括对基于滑动时间或长度窗口的模式匹配和流处理的丰富支持。 尽管对“ CEP”一词进行了激烈的讨论( http://www.dbms2.com/2011/08/25/renaming-cep-or-not /),但ESPER似乎非常适合CEP术语,因为借助ESPER的EPL(事件处理语言),它似乎能够从一系列简单事件中真正识别出“复杂事件”。

最近,在寻找用于实时CEP的开源解决方案时,我们的小组偶然发现了Twitter的Storm项目( https://github.com/nathanmarz/storm )。 它声称与Yahoo的S4具有最强的可比性,并且与Esper和Streambase等“复杂事件处理”系统处于同一空间。 我不确定Streambase,但是更深入地研究Storm项目使它看起来与CEP和ESPER解决方案大不相同。 与S4同上( http://incubator.apache.org/s4/ )。 尽管S4和Storm似乎擅长于分布式模式下的实时流处理,并且它们看上去(如他们声称的那样)是“实时Hadoop”,但它们似乎没有提供匹配模式的规定(因此,表示复杂事件)。
搜索(我们的研究可能与之相关的)CEP定义导致以下项目符号( http://colinclark.sys-con.com/node/1985400 ),其中包括以下四个作为系统/解决方案的先决条件被称为CEP组件/项目/解决方案:
  • 领域特定语言
  • 连续查询
  • 时间或长度窗口
  • 时间模式匹配
在当前版本的S4和Storm项目中,似乎缺少完全支持时间/长度窗口和时间模式匹配的连续查询。 可能是由于它们的婴儿期,他们将来会逐渐成熟以包含这些功能。 到目前为止,它们似乎只适合预处理事件流,然后再将其传递给ESPER之类的CEP引擎。 他们的分布式处理能力(la map-reduce模式)可以帮助加快预处理速度,在此情况下,可以过滤事件,或通过一些查找/计算等来丰富事件。还尝试了将Storm与Esper集成( http://tomdzk.wordpress.com/2011/09/28/storm-esper/ )。

虽然像S4和Storm这样的处理系统缺少CEP的重要功能,但基于ESPER的系统具有受内存限制的缺点。 事件太多或时间窗口过长可能会导致ESPER内存不足。 如果ESPER用于处理实时流(例如来自社交媒体的流),则ESPER内存中将积累大量数据。 从高层次来看,问题陈述是为大数据发明CEP解决方案。 在更好的层面上,问题陈述包括设计CEP解决方案,以处理机载(批处理)和飞行中(实时)数据。

用DarkStar的术语( http://www.eventprocessing-communityofpractice.org/EPS-presentations/Clark_EP.pdf ),要求是“实时匹配已注册的模式,在数据库中发现相似的模式”。 由于受内存限制是一个限制,因此,如果可以找到某种凝聚内存事件的机制,可能会很有用。 但是,压缩后的数据仍然应该有意义,并保留原始流的上下文。

DarkStar使用符号聚合近似值( http://www.cs.ucr.edu/~eamonn/SAX.htm )来做到这一点,他们声称通过将SAX与AsterData的nCluster一起使用来满足上述要求,nCluster是mpp(大规模并行)使用基于SQL / MapReduce( http://www.asterdata.com/resources/mapreduce.php )的嵌入式分析引擎处理数据库)。

待续(随着我们的进一步研究)…

参考:来自我们的JCG合作伙伴 Abhishek Jain 的复杂(事件)世界   在NS.Infra博客上。


翻译自: https://www.javacodegeeks.com/2012/03/complex-event-world.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/373218.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

oracle查询表的id,oracle 查看所有用户及密码 实现Oracle查询用户所有表

1、oracle 查看所有用户及密码SQL> select username from dba_users;2、 实现Oracle查询用户所有表下面为您介绍的语句用于实现Oracle查询用户所有表,如果您对oracle查询方面感兴趣的话,不妨一看。select * from all_tab_comments-- 查询所有用户的表…

php 字符串加密与解密

/** * param $data 需要加密的字符串 * param $key 加密的密码 * return string 加密后的字符串 */function _encrypt($data, $key){ $key md5($key); $x 0; $len strlen($data); $l strlen($key); $char; $str; for ($i …

java如何从方法返回多个值

本文介绍三个方法,使java方法返回多个值。 方法1:使用集合类方法2:使用封装对象方法3:使用引用传递示例代码如下: import java.util.HashMap; import java.util.Map;public class Test {/*** 方法1:使用集合…

FindBugs和JSR-305

假设那组开发人员在大型项目的各个部分上并行工作–一些开发人员在进行服务实现,而其他开发人员在使用该服务的代码。 考虑到API的假设,两个小组都同意服务API,并开始单独工作。 您认为这个故事会有幸福的结局吗? 好吧&#xff0c…

java使用org.apache.poi读取与保存EXCEL文件

一、读EXCEL文件 1 package com.ruijie.wis.cloud.utils;2 3 import java.io.FileInputStream;4 import java.io.FileNotFoundException;5 import java.io.IOException;6 import java.io.InputStream;7 import java.text.DecimalFormat;8 import java.util.ArrayList;9 import …

oracle 指定格式化,Oracle中的格式化函数

格式化函数提供一套有效的工具用于把各种数据类型(日期/时间,int,float,numeric)转换成格式化的字符串以及反过来从格式化的字符串转换成原始的数据类型。表 5-6. 格式化函数函数返回描述例子to_char(datetime, text)text把datetime 转换成 s…

弹性数组

看这个结构体的定义:typedef struct st_type{ int nCnt; int item[0];}type_a;(有些编译器会报错无法编译可以改成:)typedef struct st_type{ int nCnt; int item[];}type_a; 这样我们就可以定义一个可变长的结…

什么是Akka?

在深入研究什么是Akka之前,让我们退后一步来了解并发编程的概念在应用程序开发世界中是如何演变的。 应用程序已经从大型的整体程序演变为面向对象的模型。 随着Java EE和Spring框架的出现,应用程序设计演变为更多的基于流程或任务的设计模型。 EJB或Poj…

apache2服务器搭建心得

网站的配置文件在/etc/apache2/sites-avalible中,每个文件对应一个虚拟站点,但需要在/etc/apache2/sites-enabled中创建软链接到sites-avalible中对应的文件。 起初我在sites-avalible中创建了两个站点,一个netaddi.com,一个test.…

has_a php,PHP has encountered a Stack overflow问题解决方法

昨晚将一个disucz论坛进行转移后,发现打开的页面上回多一个PHP has encountered a Stack overflow 这个提示错误,进过翻译为“PHP遇到堆栈溢出”。我就感觉奇怪了,新站没人访问的,怎么可能会溢出。 好吧去discuz官方论坛找找解决方…

解决ueditor jquery javascript 取值问题

代码如下: var content UE.getEditor(myEditor).getContent();myEditor是ueditor 的名称name。代码如下: <textarea name"myEditor" id"myEditor"></textarea><script type"text/javascript">var editor new UE.ui.Editor()…

异常处理准则和最佳实践

让我们回顾一些从对象设计总结的基本异常设计准则&#xff1a;角色&#xff0c;职责和协作&#xff08;Rebecca Wirfs-Brock和Alan McKean&#xff0c;Addison-Wesley&#xff0c;2003年&#xff09;。 不要尝试处理编码错误。 除非在错误情况下要求您的软件采取特殊措施&…

HDU 5225 枚举

题目链接&#xff1a; hdu:http://acm.hdu.edu.cn/showproblem.php?pid5225 bc(中文):http://bestcoder.hdu.edu.cn/contests/contest_chineseproblem.php?cid580&pid1002 题解&#xff1a; 数组a保存输入 考虑当前位i&#xff0c;对于1<j<i&#xff0c;使得x[j]a[…

河南上oracle客户,解决Oracle监听服务报错

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼如果只是本机的访问 sqlplus system/manager这样是没有问题的。但是如果使用 sqlplus system/managerorcl的时候却会报ora-12514的错误。解决方法&#xff1a;1. 打开D:\oracle\product\10.2.0\db_1/network/admin/listener.ora文件…

【BZOJ2073】[POI2004]PRZ 状压DP

【BZOJ2073】[POI2004]PRZ Description 一只队伍在爬山时碰到了雪崩,他们在逃跑时遇到了一座桥,他们要尽快的过桥. 桥已经很旧了, 所以它不能承受太重的东西. 任何时候队伍在桥上的人都不能超过一定的限制. 所以这只队伍过桥时只能分批过,当一组全部过去时,下一组才能接着过. 队…

运行时vs编译时类路径

这确实应该是一个简单的区别&#xff0c;但是我一直在回答有关Stackoverflow的许多类似问题&#xff0c;并且经常有人误解此事。 那么&#xff0c;什么是类路径&#xff1f; 应用程序所需的一组所有类&#xff08;以及带有类的jar&#xff09;的集合。 但是有两个或实际上三个不…

Unity3d 实现顶点动画

在今年GDC上发现一个非常有趣的演讲&#xff0c;叫做Animating With Math&#xff0c;遂实现之&#xff0c;是讲述顶点shader动画的&#xff0c;举了几个经典的例子&#xff0c;但是讲者并没有给代码&#xff0c;而是像虚幻引擎那样的节点&#xff0c;这样更加清楚明了之前博主…

php codeigniter ext,php – 私有服务器上CodeIgniter不正确的系统路径

上传到服务器的codeigniter项目给我以下错误.Your system folder path does not appear to be set correctly. Pleaseopen the following file and correct this: index.php它在当地运作良好在000webhost.com托管.When uploaded to private server of parallels it gives the a…

对于表单的一些想法

表单 <form id"" name"" method"get/post" action""> 其中get提交长度有限制&#xff0c;并且编码后内容在地址栏可见&#xff0c;post与其相反。 </form> 文本输入 文本框<input type"text" id""…

REST端点,可使用Apache Camel进行集成

REST是一种用于组织资源的体系结构样式&#xff0c;当应用于基于HTTP的服务时&#xff0c;REST可以构建无状态的&#xff0c;解耦的&#xff0c;可伸缩的服务。 HTTP方法&#xff0c;HTTP标头和mime类型都允许开发人员实现REST样式。 诸如Jersey和Fuse Services Framework&…