Storm精华问答 | 为什么这么多人用Spark而不用Storm?

戳蓝字“CSDN云计算”关注我们哦!


640?wx_fmt=png

Storm被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,以及大数据实时处理解决方案的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。


640?wx_fmt=gif1
















Q:为什么这么多人用Spark而不用Storm?


A:Storm和Spark Streaming都是分布式流处理的开源框架。区别如下:

1、处理延时和吞吐量

Storm处理的是每次传入的一个事件,Spark Streaming是处理某个时间段窗口内的事件流,Storm处理一个事件可以达到秒内的延迟,而Spark Streaming则有几秒钟的延迟。因此,Spark Streaming比Storm的延时更长,但是吞吐量比Storm大。

2、容错、数据保证

Spark Streaming在容错方面提供了对状态计算的更好的支持。在Storm中,任一条单独的记录在经过系统时必须可以被追踪到,所以Storm仅保证所有记录都会至少处理一次,但是从错误中恢复过来时允许出现重复记录。这意味着可变状态有可能被错误的更新两次。

3、支持的API

Storm(由Closure语言开发的)支持JAVA编程,Spark支持Scala编程,也支持java开发。

如果需要秒内的延迟,Storm是一个不错的选择,而且没有数据丢失。如果需要有状态的计算,而且要完全保证每个事件只被处理一次,Spark Streaming则更好。Spark Streaming编程逻辑也可能更容易,因为它类似于批处理程序(Hadoop),特别是在你使用批次(尽管是很小的)时。


640?wx_fmt=gif2

Q:在一台机器上安装Storm客户端,这台客户端会变成一台Supervisor吗? 客户端与Storm集群是什么关系?因为看yaml配置里只配了nimbus,而没有说明哪台是Supervisor,是不是就是默认有这样配置的都是Supervisor呢?


A:yaml是Storm配置,除去配置的nimbus角色,所有机器,只要选择启动supervisor,就可以作为supervisor,安装客户端成功后,角色是根据是否启动角色选项决定的。


640?wx_fmt=gif3

Q:这两天一直在玩storm,在本地运行起来了,可是一旦切换到集群环境,所有的写操作都无法完成,无论是通过socket还是文件读写还是数据库读写,到最后提交到集群后,运行起来都会出现

filename not matched: resources/** 
kill 10936: 没有那个进程

这样的错误,我知道提交到集群环境后由于写操作不在一个节点上了,所以难免会出现问题,那么,Storm最后的数据应该怎样保存下来呢?


A:Storm数据保存有很多种方式,可以保存MySQL,保存HBase都可以;这个需要自己编写bolt来做实现;或者通过相关的插件做实现。


640?wx_fmt=gif4

Q:Storm启动出现错误,错误描述为:org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts ["192.168.226.13"]. Did you specify a valid list of nimbus hosts for config nimbus.seeds?

这如何解决?


A:出现这种错误有两种情况:

第一种情况:在storm的配置文件中配置一下nimbus.seeds: ["localhost"]。(如果确保这个配置没有问题,可以进行第二种情况的修改了)。

第二种情况:在zookeeper中找到/storm节点,使用rmr将storm节点删除,即可恢复正常。


640?wx_fmt=gif5

Q:Storm 怎么处理重复的tuple?


A:因为Storm 要保证tuple 的可靠处理,当tuple 处理失败或者超时的时候,spout 会fail并重新发送该tuple,那么就会有tuple 重复计算的问题。这个问题是很难解决的,storm也没有提供机制帮助你解决。不过也有一些可行的策略:

(1)不处理,这也算是种策略。因为实时计算通常并不要求很高的精确度,后

续的批处理计算会更正实时计算的误差。

(2)使用第三方集中存储来过滤,比如利用MySQL、MemCached 或者Redis 根据逻辑主键来去重。

(3)使用bloom filter 做过滤,简单高效。


----------------    --------------

小伙伴们冲鸭,后台留言区等着你!

关于Storm,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~


----------------    --------------


1.微信群:

添加小编微信:color_ld,备注“进群+姓名+公司职位”即可,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


2.征稿:

投稿邮箱:liudan@csdn.net;微信号:color_ld。请备注投稿+姓名+公司职位。


推荐阅读

  • Gartner的预言:通向混合IT之旅

  • 崩溃!新浪程序员加班错失 77 万年会大奖

  • 刚刚!华为又被美国盯上了!

  • 阿里“菜鸟”AI?

  • 以太坊升级的拖油瓶,竟只是这几行代码

  • 程序员有话说 | 程序猿在乘地铁的时候都在想什么?

  • 清华北大“世界排名断崖式下跌”?


640?wx_fmt=gif点击“阅读原文”,打开 CSDN App 阅读更贴心!


640?wx_fmt=png喜欢就点击“好看”吧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/524775.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

lambda总结

package com.wuming.lambda;public class TestLambda2 {public static void main(String[] args) {ILove lovenull;/* //1.lambda表示简化ILove love (int a)->{System.out.println("i love you-->"a);};//简化1.参数类型love(a)->{System.out.println(&q…

C语言 文件读写 ferror 函数 - C语言零基础入门教程

目录 一.ferror 函数简介二.ferror 函数实战三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.ferror 函数简介 C 语言 ferror 函数用于检测文件读写过程中是否有产生错误&#xff0c;声明如下&#xff1a; #include <stdio.h>/* *描述…

聊聊云计算:为什么构建网站时常会用到负载均衡

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者&#xff1a;疯子程序员来源&#xff1a;https://blog.csdn.net/qq_40196321/article/details/85075746 负载均衡可以将客户端请求分摊到多个操作单元上进行处理硬件负载均衡负载均衡有很多种不同的实现方式&#xff0c;总的来说…

线程状态及停止

状态&#xff1a; new 就绪 运行 阻塞 死亡 停止&#xff1a; 不推荐jdk的stop(),destory();推荐线程自己停下来;设置标识位终止变量&#xff0c;当flagflase&#xff0c;线程终止 package com.wuming.state;public class TestStop implements Runnable{/*** When an o…

C语言 文件读写 feof 函数 - C语言零基础入门教程

目录 一.feof 函数简介二.feof 函数实战三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.feof 函数简介 feof 是 C 语言标准库函数&#xff0c;其功能是检测文件结束符&#xff0c;如果文件结束&#xff0c;则返回非 0 值&#xff0c;否则返…

要闻君说:阿里云联合8家芯片模组商推出“全平台通信模组”;北汽与小桔车服联合“京桔”;IBM要帮助印度公司打造5G战略!...

关注并标星星CSDN云计算每周三次&#xff0c;打卡即read更快、更全了解泛云圈精彩newsgo go go 嗨&#xff0c;大家好&#xff01;偶是要闻君。盼望着、盼望着&#xff0c;放假的日子又临近了一步&#xff0c;抢先祝福各位看官们新年快乐哈&#xff01;文/要闻君近日&#xff0…

多线程休眠

sleep&#xff08;时间&#xff09;线程阻塞毫秒数 sleep存在异常InterruptedException sleep时间达到后线程进入就绪状态 sleep可以模拟网络延时&#xff0c;倒计时 每一个对象都有一个锁&#xff0c;sleep不会释放锁 package com.wuming.state;import com.wuming.demo01…

C语言 文件读写 EOF - C语言零基础入门教程

目录 一.EOF 简介二.EOF 实战三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.EOF 简介 EOF 是 End Of File 的缩写&#xff0c;在 C 语言标准库中的定义如下&#xff1a; #define EOF (-1)在文本文件中&#xff0c;数据都是以字符的 ASC…

揭开容器的神秘面纱:帮助初学者深入了解容器技术

戳蓝字“CSDN云计算”关注我们哦&#xff01;本文转载自&#xff1a;Docker 简介无论你是学生&#xff0c;还是公司的开发人员&#xff0c;或是软件爱好者&#xff0c;相信你都听说过容器。 你可能还听说容器是轻量级虚拟机&#xff0c;但这究竟意味着什么&#xff0c;容器究竟…

线程休眠2

package com.wuming.state;import java.text.SimpleDateFormat; import java.util.Date;//模拟倒计时 public class TestSleep2 {public static void main(String[] args) {/* try {tenDown();} catch (InterruptedException e) {e.printStackTrace();}*//* 109876…

C语言 文件读写 fseek 函数 - C语言零基础入门教程

目录 一.fseek 函数简介二.fseek 函数实战三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.fseek 函数简介 fseek 函数用来移动文件流的读写位置&#xff1b;就好比播放器&#xff0c;可以直接拖拽到精彩的时间点一样&#xff0c;fseek 函数…

微服务精华问答 | 微服务有什么优点和不足呢?

戳蓝字“CSDN云计算”关注我们哦&#xff01;过去几年来&#xff0c;“微服务架构”这个术语出现了&#xff0c;它描述了一种将软件应用程序设计为可独立部署的服务套件的特定方式。尽管这种架构风格没有确切的定义&#xff0c;但围绕业务能力&#xff0c;自动化部署&#xff0…

C语言 文件读写 ftell 函数 - C语言零基础入门教程

目录 一.ftell 函数简介二.ftell 函数实战三.ftell 函数经典使用四.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.ftell 函数简介 C 语言函数 ftell 用于得到文件位置指针当前位置相对于文件首的偏移字节数&#xff0c;ftell 函数声明如下&a…

线程礼让详细讲解

礼让线程&#xff0c;让正执行的线程停止&#xff0c;但不阻塞 将线程从运行状态转为就绪状态 让cpu重新调度&#xff0c;礼让不一定成功&#xff0c;看cpu心情 package com.wuming.state;public class TestYield {public static void main(String[] args) {MyYield myYield…

C语言 文件读写 fgetc 函数 - C语言零基础入门教程

目录 一.fgetc 函数简介二.fgetc 函数使用三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.fgetc 函数简介 fgetc 函数用于从文件流中读取一个字符&#xff0c;其原型为&#xff1a; #include <stdio.h> #include <stdlib.h> /…

Gartner预测2019年全球IT支出将达到3.8万亿美元

戳蓝字“CSDN云计算”关注我们哦&#xff01;【2019年1月29日】全球领先的信息技术研究和顾问公司Gartner表示&#xff0c;2019年全球IT支出将达到3.76万亿美元&#xff0c;较2018年增长3.2%。Gartner研究副总裁John-David Lovelock表示&#xff1a;“尽管经济衰退传闻、英国脱…

多线程join,强制执行完

想象成插队 package com.wuming.state; //测试join public class TestJoin implements Runnable{/*** When an object implementing interface <code>Runnable</code> is used* to create a thread, starting the thread causes the objects* <code>run<…

C语言 文件读写 fputc 函数 - C语言零基础入门教程

目录 一.fputc 函数简介二.fputc 函数使用三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.fputc 函数简介 fputc 函数是将字符 c 写到文件指针 stream 所指向的文件的当前写指针的位置&#xff0c;声明如下&#xff1a; #include <stdi…

多线程观测状态

package com.wuming.state;import org.omg.PortableInterceptor.SYSTEM_EXCEPTION;//观察测试线程的状态 public class TestState {public static void main(String[] args) throws InterruptedException {Thread thread new Thread(() -> {for (int i 0; i < 5; i) {t…

4个最受欢迎的大数据可视化工具!

戳蓝字“CSDN云计算”关注我们哦&#xff01;想像阅读书本一样阅读数据流&#xff1f;这只有在电影中才有可能发生。 在现实世界中&#xff0c;企业必须使用数据可视化工具来读取原始数据的趋势和模式。大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数…