Storm精华问答 | storm与Hadoop有什么区别?

戳蓝字“CSDN云计算”关注我们哦!

640?wx_fmt=png

归于Apache社区,Storm被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍。而目前已是分布式技术领域最新爆发点,Storm更是流计算技术中的佼佼者和主流。今天我们就一起来看看Storm的精华问答!

640?wx_fmt=gif

1

Q:task与executor有什么关系?

A:在我们安装配置Storm的时候,不知大家是否主要到了一个问题,就是我们在配置的时候会加几个worker的端口(supervisor.slots.ports:),比如众多文档中提到的6700/6701等等类似的东西。没错,这就是我们定义了该supervisor最多的worker数,worker中执行一个bolt或者spout线程,我们就称之为task,而executor是物理上的线程概念,我们可以将其称为执行线程;而task更多是逻辑概念上的,有时候bolt与spout的task会共用一个executor,特别是在系统负荷比较高的时候。

640?wx_fmt=gif

2

Q:storm与Hadoop区别?

A:storm用于实时计算,hadoop用于离线计算

storm处理的数据保存在内存中,源源不断;hadoop处理的数据保存在文件系统中,一批一批

storm的数据通过网络传输进来的;hadoop的数据保存在磁盘中

storm与hadoop的编程模型相似:640?wx_fmt=png

640?wx_fmt=gif

3

Q:Storm的Spout组件中的ack及fail是一个什么样的机制呢?

      A:Storm保证每一个数据都得到有效处理,这是如何保证的呢?正是ack及fail机制确保数据都得到处理的保证,但是storm只是提供给我们一个接口,而具体的方法得由我们自己来实现。例如在spout下一个拓扑节点的bolt上,我们定义某种情况下为数据处理失败,则调用fail,则我们可以在fail方法中进行数据重发,这样就保证了数据都得到了处理。其实,通过读storm的源码,里面有讲到,有些类(BaseBasicBolt?)是会自动调用ack和fail的,不需要我们程序员去ack和fail,但是其他Bolt就没有这种功能了。

640?wx_fmt=gif

4

Q:IRichBolt与IBasicBolt接口有什么区别?

A:首先从类的组成上进行分析可以看到,IBasicBolt接口只有execute方法和declareOutputFields方法,而IRichBolt接口上除了以上几个方法还有prepare方法和cleanup及map方法。而且其中execute方法是有些不一样的,其参数列表不同。

总体来说Rich方法比较完善,我们可以使用prepare方法进行该Bolt类的初始化工作,例如我们链接数据库时,需要进行一次数据库连接操作,我们就可以把该操作放入prepare中,只需要执行一次就可以了。而cleanup方法能在该类调用结束时进行收尾工作,往往在处理数据的时候用到,例如在写hdfs(hadoop的文件系统)数据的时候,在结束时需要进行数据clear,则需要进行数据收尾。当然,根据官网及实际的测验,该方法往往是执行失败的。

640?wx_fmt=gif

5

Q:发布topologies 到远程集群时,出现Nimbus host is not set 异常,请问是什么问题?

     A:原因是Nimbus 没有被正确启动起来,可能是storm.yaml 文件没有配置,或者配置有问题。解决方法是:打开storm.yaml 文件正确配置:nimbus.host: "xxx.xxx.xxx.xxx",重启nimbus后台程序即可。

640?wx_fmt=png

小伙伴们冲鸭,后台留言区等着你!

关于Hadoop,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~

福利

1、扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!

640?wx_fmt=jpeg

2、公众号后台回复:白皮书,获取IDC最新数据白皮书整理资料!

推荐阅读:

  • 上万条数据撕开微博热搜的真相!

  • IT公司老板落水,各部门员工怎么救??

  • HTML 30 年进化史

  • 读了鸿蒙 OS 的代码后,我发现优秀项目都有这个共性!

  • 字节跳动李航:自学机器学习,研究AI三十载,他说AI发展或进入平缓期

  • 主链增幅最高飚至 152%,主流币却惊现回落;以太坊发币速度持续放缓

真香,朕在看了!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/522259.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

库函数strstr的实现

strstr是字符串的查找&#xff0c;就是找一个字符串中是否含有另一个字符串的函数&#xff0c;如果存在子字符串&#xff0c;返回的是第一个字符串的起始位置&#xff0c;看一下模拟实现 #include<stdio.h> #include<string.h>char* my_strstr(const char* str1,c…

QuickBI助你成为分析师——搞定数据源

摘要&#xff1a; QuickBI支持多种数据源连接&#xff0c;添加数据源是数据分析展示的第一步&#xff0c;下面来详细介绍一下产品数据源支持情况&#xff01; Quick BI是一个基于云计算的灵活的轻量级的自助BI工具服务平台&#xff0c;提供海量数据即时分析 &#xff0c;拖拽式…

视图实战篇_01

文章目录作用一作用二作用三作用四&#xff1a;表名称说明字段说明user用户表有id&#xff0c;name&#xff0c;age&#xff0c;sex字段goods商品表有id&#xff0c;name&#xff0c;price字段ug用户表和商品表的中间表有id&#xff0c;userid&#xff0c;goodsid字段 作用一 …

AI研究公司面试准备指南

摘要&#xff1a; 本篇内容主要是汇集了一些如何应付人工智能公司面试所需要的一些资源&#xff0c;主要内容是博客、教材和课程等。年已过尽&#xff0c;春招和实习已经在路上。相信大家对于去年秋招岗位的薪资多少有些了解&#xff0c;比较热门的一些岗位大多与人工智能相关&…

光动能表怎么维护_男士手表什么牌子好,男士手表品牌推荐, 天梭、阿玛尼、西铁城、天王表、罗西尼、卡西欧男手表推荐...

本文目录一、男士手表分类和选购看点&#xff0c;男士手表什么牌子好二、天梭、阿玛尼、欧米茄、天王表、罗西尼、卡西欧等大品牌爆款男士机械手表推荐三、天梭、阿玛尼、卡西欧爆款男士石英手表推荐四、西铁城光动能男士手表推荐五、华为、佳明智能运动手表推荐本文由钟灵原创…

“刚毕业1年,做Python挣了60W!”网友:吹的不多..

现状揭秘&#xff1a;Python岗位大厂50K起&#xff1f;程序员&#xff1a;心态崩了&#xff01;屠杀各种榜单&#xff0c;拿下语言排行榜的Python&#xff0c;薪酬真的如同网传开挂了吗&#xff1f;数据来自于职友集网站2019年7月8号从上图看&#xff0c;Python薪酬普遍集中在2…

区块链如何改变AI

摘要&#xff1a; 区块链和人工智能&#xff0c;这两种常常被误解的技术&#xff0c;它们怎样增强数据处理能力&#xff1f;本文将对其进行详细介绍。区块链被吹捧为一种新兴技术&#xff0c;它有可能对每个行业造成影响。区块链的分布式系统与当今使用的固有集中式操作系统相对…

库函数memcpy的使用

库函数memcpy是内存函数的拷贝&#xff0c;memcpy的函数参数如下 把源头的指针的值拷贝到目标指针的值中&#xff0c;拷贝是按字节拷贝的&#xff0c;使用方法如下 #include<stdio.h> #include<string.h> int main(){int arr1[]{1,2,3,4,5,6,7,8,9,10};int arr2[1…

大家常用的 IDEA 插件大推荐,个个都得安装!

代码生成 插件名称作用Easy Code代码生成&#xff0c;支持定制模板Codota智能提示.ignore生成各种ignore文件&#xff0c;一键创建git ignore文件的模板&#xff0c;免得自己去写lombok简化代码工具restfultoolkit精确搜索urlMaven Helper解决maven以来冲突GenerateAllSetter一…

全新一代人工智能计算引擎MaxCompute杭州开服,强化阿里云大数据能力,比肩谷歌微软...

摘要&#xff1a; 3月22日&#xff0c;阿里云将正式开服售卖华东1&#xff08;杭州&#xff09;节点的大数据计算服务MaxCompute&#xff0c;以进一步提升对华东区域客户服务的响应速度&#xff0c;推动杭州大数据、人工智能产业的加速发展。 日前&#xff0c;全球权威调研机构…

datagrid如何获取一行数据中的某个字段值_SQL中常见的面试题

大家在面试数据分析岗或其他岗位的时候&#xff0c;时常会被问到一些SQL题&#xff0c;我今天就将常被问到的一些SQL题及答案整理下&#xff0c;给大家做个参考&#xff01;案例所使用的表为&#xff1a;&#xff08;一&#xff09;各种连接函数的区别&#xff1f;&#xff08;…

【实操手册】一篇文章教你快速开始使用视频点播

摘要&#xff1a; 阿里云视频点播&#xff08;VoD&#xff09;是集音视频采集、编辑、上传、自动化转码处理、媒体资源管理、分发加速、视频播放于一体的一站式音视频点播解决方案。 用户可以通过阿里云管理控制台进行基本和高级 VoD 配置、操作&#xff0c;还可以通过视频点播…

流程定义管理

文章目录一、流程定义管理功能有哪些&#xff1f;二、部署流程的时候产生的数据表三、流程实例的挂起激活涉及的表一、流程定义管理功能有哪些&#xff1f; 类名&#xff1a;ApiFlowableProcessDefinitionResource 说明请求url方法名①如何查询流程定义分页列表/page-modelpa…

微服务架构到底是什么鬼?

戳蓝字“CSDN云计算”关注我们哦&#xff01;摘自《微服务架构设计模式》作者&#xff1a;&#xff1a;[美] &#xff08;Chris Richardson&#xff09;译者&#xff1a;喻勇 导语&#xff1a;微服务架构如何与更广泛的软件架构概念相结合&#xff1f;什么是服务&#xff1f;服…

厉害了,蚂蚁金服!创造了中国自己的数据库OceanBase

摘要&#xff1a; 两万字长文带你了解关于OceanBase的一切&#xff01;2008年&#xff0c;王坚从微软亚洲研究院常务副院长的位置上离职后&#xff0c;于当年9月加入了阿里巴巴集团担任首席架构师一职&#xff0c;负责集团技术架构以及基础技术平台建设。加入阿里没多久后&…

模型预测控制 索引超出数组元素的数目(0)。_C++基础总结(二):C++基本数据类型及流控制语句详解...

上次分享了hello world&#xff0c; 今天小编分享 C基本数据类型及流控制语句 &#xff0c;建议大家收藏慢慢学习&#xff0c;同时希望对大家的C学习有所帮助。C 数组C 支持数组数据结构&#xff0c;它可以存储一个固定大小的相同类型元素的顺序集合。数组是用来存储一系列数据…

(经验总结)flowable工作流_01_流程实例管理

文章目录一、流程定义管理功能有哪些&#xff1f;二、删除流程实例会删除哪些表中的数据&#xff1f;三、流程实例做什么用&#xff1f;四、流程定义涉及的表一、流程定义管理功能有哪些&#xff1f; 类名&#xff1a;ApiFlowableProcessInstanceResource 说明请求url方法名①…

ajax将数据显示在class为content的标签中_利用selenium实现自动翻页爬取某鱼数据

基本思路:首先用开发者工具找到需要提取数据的标签列表:利用xpath定位需要提取数据的列表然后再逐个提取相应的数据:保存数据到csv:利用开发者工具找到下一页按钮所在标签:利用xpath提取此标签对象并返回&#xff1a;调用点击事件,并循环上述过程:最终效果图:代码:from seleniu…

寻找单身狗和进阶版的单身狗

1.找单身狗 &#xff0c;一个数组中只有两个数字是出现一次&#xff0c;其他所有数字都出现了两次。编写一个函数找出这两个只出现一次的数字。 在做这个题目之前要理解一个知识点&#xff0c; 1、相同两个的数字异或得0 例如3^30 2、任何数字和0异或得数字本身 例如3^03#…

实体嵌入(向量化):用深度学习处理结构化数据

摘要&#xff1a; 本文详细阐述了深度学习如何来实现处理结构化数据的方法。嵌入源自于NLP&#xff08;word2vec&#xff09;中的单词学习&#xff0c;上图来自Aylien本博文将涉及机器学习中两个重复出现的问题&#xff1a;第一个问题是深度学习在图像和文本中都有较好的表现&a…