Hadoop精华问答 | hadoop能干什么?

640?wx_fmt=png

Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色,今天,就让我们看看关于Storm的精华问答吧。


640?wx_fmt=gif1

Q:hadoop是什么


A:Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入。

640?wx_fmt=gif2

Q:hadoop能干什么


A:hadoop擅长日志分析,facebook就用Hive来进行日志分析,2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析;淘宝搜索中的自定义筛选也使用的Hive;利用Pig还可以做高级的数据处理,包括Twitter、LinkedIn 上用于发现您可能认识的人,可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是!在Yahoo!的40%的Hadoop作业是用pig运行的,包括垃圾邮件的识别和过滤,还有用户特征建模。(2012年8月25新更新,天猫的推荐系统是hive,少量尝试mahout!)


640?wx_fmt=gif3

Q:hadoop的核心


A:1.HDFS: Hadoop Distributed File System  分布式文件系统

2.YARN: Yet Another Resource Negotiator   资源管理调度系统

3.Mapreduce:分布式运算框架


640?wx_fmt=gif4

Q:HDFS的架构


A:主从结构

 •主节点, namenode

 •从节点,有很多个: datanode

namenode负责:

 •接收用户操作请求

 •维护文件系统的目录结构

 •管理文件与block之间关系,block与datanode之间关系

datanode负责:

        •存储文件

  •文件被分成block存储在磁盘上

  •为保证数据安全,文件会有多个副本

Secondary NameNode负责:

  合并fsimage和edits文件来更新NameNode的metedata


640?wx_fmt=gif5

Q:Hadoop的特点


A:扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。


成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。


高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。


可靠性(Reliable):hadoop能自动地维护数据的多份副本,并且在任务失败后能自动地重新部署(redeploy)计算任务。

640?wx_fmt=png

小伙伴们冲鸭,后台留言区等着你!

关于Hadoop,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~


福利

1、扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


640?wx_fmt=jpeg

2、公众号后台回复:白皮书,获取IDC最新数据白皮书整理资料!


推荐阅读:

  • 搞不懂SDN?那是因为你没看这个小故事…

  • 不让华为收专利费?美议员提案“秀下限”

  • 华为最强自研 NPU 问世,麒麟 810 “抛弃”寒武纪

  • 北邮通信博士万字长文,带你秒懂 4G/5G 区别!

  • LinkedIn最新报告: 区块链成职位需求增长最快领域, 这些地区对区块链人才渴求度最高……

  • 中文NLP的分词真有必要吗?李纪为团队四项任务评测一探究竟 | ACL 2019

  • 6月技术福利限时免费领


640?wx_fmt=png真香,朕在看了!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/523344.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux xguest用户,在/etc/passwd中得到普通用户列表

/etc/passwd文件用来保存系统中当前所有的用户信息,该文件对所有用户都可见。在该文件中,每行信息代表一个用户。每个用户的信息由7部分组成:用户名:加密后的用户密码:用户ID(UID):用户所在组ID(GID)&#…

实战02_SSM整合ActiveMQ支持多种类型消息

接上一篇:企业实战01_SSM整合ActiveMQ支持多种类型消息https://blog.csdn.net/weixin_40816738/article/details/100557400 ActiveMQ支持消息类型如下: 1、StreamMessage java原始值数据流 2、MapMessage 键值对 3、TextMessage 字符串 4、ObjectMessag…

华为首超苹果,iPhone 风光已不再?百度资讯搜索来源调整;自动驾驶激光雷达厂商Velodyne筹备上市;...

关注并标星星CSDN云计算极客头条:速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 三星Galaxy A90更多细节曝光…

千字谏言!Python入门:这两点绝对不能偷懒!否则工作后必后悔

作为程序员,你有没有遇到过这样的领导:“别人还没走,你先走了不合适吧。”“不能确定功劳,总得有苦劳吧!你看别人9点谁走了?”说到996,这很有可能是诱因之一。所以很多程序员会在学习了Java、C的…

​听说,私有云也出新一代了?

戳蓝字“CSDN云计算”关注我们哦!作者 | 孙浩峰自从私有云的概念出现以来,由于其能够较好的解决传统IT 架构、IT 流程的诸如缺乏弹性、IT 架构难以支撑多变的业务环境,交付流程效率低难以及时响应业务需求等诸多问题,获得了蓬勃发…

腾讯云一口气发布四大新品,云原生时代将正式开启

6月25日,在上海召开的KubeCon 2019大会上,腾讯云重磅发布多款适用于企业不同场景的云原生技术产品,包括企业级容器服务平台TKE、容器服务网格、Serverless 2.0、一站式DevOps四大产品。这四款云原生技术产品的发布将助力国内数百万企业“上云…

linux下远程登录如何退出,Ubuntu 中rdesktop如何切换和退出远程桌面

Ubuntu 中rdesktop如何切换和退出远程桌面原文如下:I use RDP a lot and having to disconnect from my session to switch to another window is not an option. The problem lies somewhere with compiz. What supposed to happen when you hit ctrlaltenter is …

K8S精华问答 | K8S和Openstack发展方向是怎样的?

kubernetes,简称K8S,是用8代替8个字符“ubernete”而成的缩写。是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应…

Linux进程核心代码怎么查看,GCOV查看arm-linux代码覆盖率

一、关于gcov工具gcov伴随gcc发布。gcc编译加入-fprofile-arcs -ftest-coverage参数生成二进制程序,执行测试用例生成代码覆盖率信息。1、如何使用gcov用GCC编译的时候加上-fprofile-arcs -ftest-coverage选项,链接的时候也加上。fprofile-arcs参数使gcc…

对于华为,英特尔与微软表示继续提供支持;亚马逊亲证云计算服务出现宕机;中国移动5G套餐曝光,每月都含200G流量……...

关注并标星星CSDN云计算极客头条:速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 小米CC全新系列小王子&小…

Linux 环境 zookeeper集群安装、配置、验证

架构说明: Dubbo 建议使用 Zookeeper 作为服务的注册中心。Zookeeper 集群中只要有过半的节点是正常的情况下,那么整个集群对外就是可用的。正是基于这个特性, 要将 ZK 集群的节点数量要为奇数(2n1: 如 3、 5、 7 个节…

5G 来了,我们可以做什么?

5G 清风徐来,静待应用花开。这是最好的时代,也是最具挑战的时代。当下就国内而言,随着四张 5G 商用牌照的正式发放,运营商们纷纷扩大并加快了建网的规模与速度;手机厂商们也早已于今年年初相继推出了 5G 手机&#xff…

SpringBoot项目去除druid监控的底部广告

文章目录一、阿里Druid广告的介绍二、引入Druid的Starter依赖三、编写配置类,进行广告的去除四 、启动项目进行测试五、原理说明一、阿里Druid广告的介绍 如果使用的是阿里Druid的数据库连接池,那么会自带一个数据库的监控页面. 但是其页面底部会有阿里的广告,如下图所示,并且…

精简linux操作系统,Tiny Core Linux—仅10多MB的精简Linux 操作系统发行版

Tiny Core Linux是一款很简约的桌面Linux,体积小且可高度可扩展,基于Linux 3.x内核、Busybox、Tiny X、FLTK图形用户界面、JWM窗口管理器。像其他操作系统最少也要几百MB了,Tiny Core Linux不仅体积小,对硬件配置要求也很高&#…

面试官问你MyBatis中有哪些设计模式,把这篇文章发给他

戳蓝字“CSDN云计算”关注我们哦!作者 | 疯狂的蚂蚁来源 | https://dwz.cn/KFgol1De之前总结过一篇Spring中用到了哪些设计模式:《面试官:“谈谈Spring中都用到了那些设计模式?”》,昨晚看到了一篇很不错的一篇介绍MyBatis中都用到了那些设计…

腾讯云首次公开边缘计算网络开源平台,拥抱5G与万物互联

6月25日,由Cloud Native Computing Foundation (CNCF) 主办的云原生技术大会在上海举办,腾讯云对外展示自身在边缘计算领域的最新进展,首次公开腾讯智能边缘计算网络平台TSEC(Tencent Smart Edge Connector)&#xff0…

解决SecureCRT与SecureFX中文乱码问题

文章目录一、SecureCRT中文乱码问题解决方法:二、SecureFX中文乱码问题解决方法:2.1. 找到SecureFX配置文件夹2.2. 在配置文件夹下的Sessions子目录中,找到SecureCRT连接对应的Session文件(.ini扩展名),双击…

OpenStack精华问答 | OpenStack服务介绍

关于OpenStack的争议,从未停止,每每关于它的消息,都会一石激起千层浪。今天就让我们看看关于OpenStack的问答吧。1Q : OpenStack服务介绍A : MySQL为各个服务器提供数据存储RabbitMq:为各个服务之间提供通信认证和服务注册Keystone:为各个服务…

实战04_redis-cluster集群搭建

接上一篇:实战_03_Redis基础命令https://blog.csdn.net/weixin_40816738/article/details/99213524 #安装gcc yum install gcc-c #使用yum命令安装 ruby (我们需要使用ruby脚本来实现集群搭建) yum install ruby yum install rubygems #将redis源码包上…

linux网站渗透工具包,ubuntu下安装 kali linux 渗透工具包

相信用过linux系统的盆友都听说过kali linux 它是一个非常好的用于渗透测试的Linux发行版。但是如何在ubuntu下使用kali linux 的渗透工具嘞!LionSec开发出了一个python工具,叫做Katoolin,它可以让你在其他Linux发行版上使用Kali的全部工具。…