即时大数据流处理=即时风暴

在Ubuntu背后的公司Canonical,每6个月进行一次技术工作,以第一手测试我们的工具并向其他人展示新想法。 这次,我创建了一个即时大数据解决方案,更具体地讲是“即时风暴”。

Storm现在是Apache基金会的一部分,但以前Storm是Nathan Marz在Twitter期间建立的。 Storm是用于实时和分布式计算的流处理引擎。 您可以使用Storm来聚合事件的实时流,进行机器学习,进行分析,进行分布式ETL等。

Storm由多种服务构建而成,需要Zookeeper。 这是一个复杂的解决方案,并且易于部署,集成和扩展。 我在Canonical所做的第一个技术项目是创建Storm Juju魅力 。 尽管我能够自动化Storm的部署,但是仍然存在一些问题,因为用户仍然必须阅读有关如何实际使用Storm的信息。

Instant Storm是解决此问题的第一步。 我创建了一个StormDeployer超级按钮 ,可以读取yaml文件,开发人员可以在其中指定多个拓扑。 为每个名称指定拓扑的名称,jar文件,Github中的位置,如何打包jar文件等。然后,通过将yaml文件上载到Github或任何公共Web服务器,并给它扩展名.storm世界能够通过两个步骤立即重用拓扑:

1.通过简单地在Juju中拖放,即可部署Storm + Zookeeper + StormDeployer随附的Storm捆绑包 :

screen-shot-2014-09-02-at-11-16-44 2.获取风暴文件的URL,并将其放入StormDeployer的服务设置的deploy字段中:

screen-shot-2014-09-02-at-11-20-41

另外,您可以使用Juju命令行:

juju set stormdeployer "deploy=http://somedomain/somefile.storm"

Github上已经有几个示例可用,但是可以肯定地使用以下示例:
https://raw.githubusercontent.com/mectors/stormdeployer-examples/master/storm-hackaton/storm-hackaton.storm

screen-shot-2014-09-02-at-11-18-44 StormDeployer将从Github下载项目,将jar与Maven打包,然后将jar上传到Storm。 您可以在日志(/opt/storm/latest/log/deploy.log)中查看进度。

这是在任何公共云,私有云上或在任何裸机服务器(X86,ARM64和Power 8)上使用Ubuntu的Metal-as-a / Service / MaaS部署Storm的最简单方法。 有关Juju安装说明,请参见此处。

这是第一个版本,有一些限制。 要添加的真正不错的功能之一是使用Juju使拓扑和其他超级按钮之间的集成动态化。 例如,您可以创建连接到Kafka或Cassandra护身符的喷嘴或螺栓。 Juju可以自动告知拓扑连接信息,并在发生任何更改时更新正在运行的拓扑。 这将使运行长期运行的Storm拓扑更加健壮。

我很高兴将自己的工作捐赠给Apache基金会,并指导任何想要拥有所有权的人……

翻译自: https://www.javacodegeeks.com/2014/09/instant-big-data-stream-processing-instant-storm.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/361869.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

webstorm中vue项目--运行配制

## npm搭建的项目,需要运行npm run dev来启动 webstorm作为一款优秀的编辑器,通过配置运行设置,达到一键运行 1.添加node.js配置 2.configuration->node interpreter : 路径/node.exe 3.configuration->working directory: …

VS2010 自动化整理代码(1)--- VS正则表达替换 PK Vim

自从开始在VS2010的IDE中开始用正则表达式修改 最近为了给Fortran找个好一点的编辑器,又开始使用Vim了。Vim是久负盛名的编辑器之神,可我们习惯了Visual Studio的智能提示等方便的操作,就总在琢磨要是VS 1. VS正则表达替换 PK Vim 这是善用…

2019.7.16考试总结

对于这个狗屎成绩我不想说什么,,,,,前两次考炸也就算了,主要因为不会,这次考成这狗屎,是因为手残眼瘸大脑间歇性抽搐 T1:我是菜鸡,我是蒟蒻,我好菜…

PrimeFaces Extensions中的全新JSF组件

PrimeFaces扩展团队很高兴宣布即将推出的3.0.0主要版本的几个新组件。 我们的新提交人Francesco Strazzullo为该项目提供了“ Turbo Boost”,并带来了至少6个已成功集成的 JSF组件! 当前的开发状态是OpenShift上的deployet – 请查看展示柜。以下是有关添…

15 个最新的 CSS3 教程

1. 创建一个漂亮的图标 这个教程将教你如何用纯CSS3创建一个图中的图标2. CSS3 图片样式 这个教程将教你如何使用 box-shadow, border-radius和transition。3. CSS3 Transition 的模糊效果4. 实用的CSS3圆角表格5. 创建纯CSS3的票式标签6. 原始的鼠标浮动效果 这个教程将创建缩…

C++内存管理——指针数组

C/C程序中,指针和数组在不少地方可以相互替换着用,让人产生一种错觉,以为两者是等价的。但二者有着本质的区别:数组:要么在静态存储区被创建(如全局数组),要么在栈上被创建。数组名对应着(而不是…

flex弹性盒子

注意事项 1.设为Flex布局之后,子元素的float,clear和vertical-align属性都讲失效 2.采用Flex布局的元素,称为Flex容器(Flex container),所有的子元素成为容器成员,称为Flex项目(Fle…

开始JBoss BPM流程的3种基本方法

这一集提示和技巧将帮助您了解根据需要启动流程实例的最佳方法。 规划项目可能包括流程项目,但是您是否考虑过可以启动流程的各种方式? 也许您的JBoss BPM Suite在您的体系结构中本地运行,也许您在云中运行,但是无论它在哪里&am…

用asp.net编写冒泡排序法

这里写了一个冒泡排序的函数. int[] a newint[10] { 12,564,95,44,69,499,693,6746,6496,124}; for(inti0;i<a.Length;i) for(intj i1; j <10; j) { int min a[i]; if (a[i] > a[j]) //升序排列 …

7月17日每日一答

1 什么是闭包函数&#xff0c;闭包函数满足什么样的条件&#xff1f;请写一个常见的闭包函数。 所谓的函数闭包本质是函数的嵌套和高阶函数。我们来看看要实现函数闭包要满足什么条件&#xff08;缺一不可&#xff09;&#xff1a; 1)必须嵌套函数 2)内嵌函数必须引用一个定义在…

BZOJ1706奶牛接力跑

这个东西思路还是不错的。 解法就是把矩阵幂的加法改成取min&#xff0c;乘法改成加法就好&#xff0c;和floyed是一样的。这样的话&#xff0c;矩阵操作一次就相当于松弛了一次最短路。 建矩阵的过程也比较简单&#xff0c;可以离散化&#xff0c;当然下面有另一种更优秀的打法…

EJB 3.x:生命周期和并发模型(第2部分)

这是两部分系列的第二篇。 第一部分介绍了有状态和无状态EJB的生命周期以及并发行为。 在这篇文章中&#xff0c;我将介绍Singleton EJB 。 Singleton模式可以说是最常用&#xff08;有时被滥用&#xff01;&#xff09;的模式。 单吨又爱它&#xff01; Java EE使我们无需编…

MVC2中Area的路由注册实现

今天碰到了一个不可思议的bug&#xff0c;新增的controller中任何action都无法访问&#xff0c;都是返回404错误。一般这种错误要么是拼写错误&#xff0c;要么是不小心给action加了post属性&#xff0c;但是经过初步的排查&#xff0c;没有发现问题。而原有的controller中任何…

当Java 8 Streams API不够用时

Java 8与往常一样是妥协和向后兼容的版本。 JSR-335专家组可能无法与某些读者就某些功能的范围或可行性达成一致的发行版。 请参阅Brian Goetz关于为什么…的一些具体解释。 …Java 8默认方法中不允许“最终” …Java 8默认方法中不允许“同步” 但是今天&#xff0c;我们将…

父类作为方法的形参以及父类作为方法返回值

1、父类作为方法的形参 语句&#xff1a;修饰符 父类类型 方法名(){} 2、父类作为方法返回值 语句&#xff1a;修饰符 void/返回值类型 方法名(父类类型 形参名){} 代码例子&#xff1a; 动物类&#xff1a; /*** author Mr.Wang* 宠物类**/ public abstract class Animals {pr…

在Spring Boot中使用@ConfigurationProperties

在最近的博客文章中&#xff0c;我简短地介绍了如何在Spring Boot应用程序中配置邮件 。 要将属性注入配置中&#xff0c;我使用了Spring的Value注释。 但是Spring Boot提供了一种使用属性的替代方法&#xff0c;该方法允许强类型的Bean来管理和验证应用程序的配置。 在本文中&…

在Atlas服务器端实现中推荐使用Web Service而不是Page Method

English Version: http://dflying.dflying.net/1/archive/107_prefer_web_services_to_page_methods_in_atlas_server_side_implementation.html 我们可以用两种方式把一个服务器段方法暴露给客户端Atlas调用&#xff1a;Web Service和Page Method。我推荐使用Web Service的方…

简而言之,JUnit:另一个JUnit教程

为什么还要另一个JUnit教程&#xff1f; 对于Java世界中的开发人员而言&#xff0c; JUnit似乎是最受欢迎的测试工具 。 因此&#xff0c;难怪就此主题已经写了一些好书 。 但是我仍然经常遇到程序员&#xff0c;他们至多对这个工具及其正确用法都不太了解。 因此&#xff0c;…

CSS Grid网格布局全攻略

CSS Grid网格布局全攻略 所有奇技淫巧都只在方寸之间。 几乎从我们踏入前端开发这个领域开始&#xff0c;就不停地接触不同的布局技术。从常见的浮动到表格布局&#xff0c;再到如今大行其道的flex布局&#xff0c;css布局技术一直在不断地推陈出新。其中网格布局(grid)作为css…

内存泄漏–测量频率和严重性

这篇文章是我们开放文化的一部分-我们继续分享日常工作中的见解。 这次&#xff0c;我们窥视了我们价值主张的核心&#xff0c;即–寻找以下问题的答案&#xff1a; Java应用程序中多长时间发生一次内存泄漏&#xff1f; 内存泄漏有多大&#xff1f; 内存泄漏增长多快&#…