Hadoop精华问答 | 非大数据的项目能否用Hadoop?

戳蓝字“CSDN云计算”关注我们哦!


640?wx_fmt=png

技术的日新月异,让我们见证了Hadoop十年从无到有,再到称王。2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”以及与之相关的一个不断成长的生态系统。今天,我们就来一起看看关于Hadoop的精华问答。


640?wx_fmt=gif1



















Q:能不能给点Hadoop的学习方法以及学习规划,Hadoop系统有点庞大,感觉无从学起。


A:首先搞清楚什么是Hadoop以及Hadoop可以用来做什么?然后,可以从最经典的词频统计程序开始,初步了解MapReduce的基本思路和处理数据的方式。接着,就可以正式学习Hadoop的基本原理,包括HDFS和MapReduce,先从整体,宏观核心原理看,先别看源码级别。进一步,就可以深入HDFS和MapReduce和模块细节,这个时候可以结合源码深入理解,以及实现机制。最后就是需要实战了,可以结合自己的项目或者相关需求来完成一些Hadoop相关应用。


640?wx_fmt=gif2

Q:以后想从事大数据方面工作,算法要掌握到什么程度,算法占主要部分吗?


A:首先,如果要从事大数据相关领域的话,Hadoop是作为工具来使用的,首先需要掌握使用方法。可以不用深入到Hadoop源码级别细节。然后就是对算法的理解,往往需要设计到数据挖掘算法的分布式实现,而算法本身你还是需要理解的,例如常用的k-means聚类等。


640?wx_fmt=gif3

Q:大数据处理都是服务器上安装相关软件吗,对程序有什么影响呢,集群、大数据是属于运维的工作内容还是工程师的呢?


A:传统的程序只能运行在单机上,而大数据处理这往往使用分布式编程框架编写,例如Hadoop MapReduce,只能运行在Hadoop集群平台上。

运维的责任:保证集群,机器的稳定性和可靠性

Hadoop系统本身研发:提高Hadoop集群的性能,增加新功能。

大数据应用:把Hadoop作为工具,去实现海量数据处理或者相关需求。


640?wx_fmt=gif4

Q:Hadoop适不适用于电子政务?为什么?


A:电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化,建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务肯定会产生相关的大量数据以及相应的计算需求,而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足,就需要借助海量数据处理平台,例如Hadoop技术,因此可以利用Hadoop技术来构建电子政务云平台。

总结一下,任何系统没有绝对的适合和不适合,只有当需求出现时才可以决定,在一个非常小的电子政务系统上如果没有打数据处理以及计算分析需求时就不需要hadoop这样的技术,而实际上,商用的电子政务平台往往涉及到大规模的数据和大量的计算分析处理需求,因此就需要Hadoop这样的技术来解决。


640?wx_fmt=gif5

Q:非大数据的项目能否用Hadoop?


A:非大数据项目是否可以用Hadoop的关键问题在于是否有海量数据的存储,计算,以及分析挖掘等需求,如果现有系统已经很好满足当前需求那么就没有必要使用Hadoop,没有必要使用并不意味这不能使用Hadoop,很多传统系统能做的Hadoop也是可以做的,例如使用HDFS来代替LINUX NFS,使用MapReduce来代替单服务器的统计分析相关任务,使用Hbase代替MySQL等关系数据库等,在数据量不大的情况下通常Hadoop集群肯定比传统系统消耗更多的资源。


----------------    --------------

小伙伴们冲鸭,后台留言区等着你!

关于Hadoop,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~


----------------    --------------


1.微信群:

添加小编微信:color_ld,备注“进群+姓名+公司职位”即可,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


2.征稿:

投稿邮箱:liudan@csdn.net;微信号:color_ld。请备注投稿+姓名+公司职位。



推荐阅读

  • Kafka学习笔记

  • “拼多多”惊爆重大 Bug!程序员的眼泪,羊毛党的狂欢

  • “黄鳝门”视频女主播一审宣判!

  • 12306能扛住明星出轨这种流量冲击吗?

  • V神说,解释以太坊2.0最好的文章就是这篇了

  • 以太坊升级的拖油瓶,竟只是这几行代码

  • 程序员有话说 | 程序猿在乘地铁的时候都在想什么?  推 荐 


640?wx_fmt=gif点击“阅读原文”,打开 CSDN App 阅读更贴心!

640?wx_fmt=png喜欢就点击“好看”吧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/524828.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言 ##运算符 - C语言零基础入门教程

目录 一.##运算符简介二.##运算符使用 1.##运算符常规使用2.##运算符定义结构体 三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.##运算符简介 在 C 语言关于 define 的文章中我们有介绍到:凡是以#开头的均为预处理指令&#xf…

jq之toggle()

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

要闻君说:很惊喜!原来坐火车也可以刷支付宝啦!加速5G,IBM要和沃达丰宣布成立合资公司!特斯拉要裁员7% 以削减成本...

关注并标星星CSDN云计算每周三次&#xff0c;打卡即read更快、更全了解泛云圈精彩newsgo go go 嗨&#xff0c;大家好&#xff01;偶是要闻君。新年将至&#xff0c;年会未满&#xff0c;先听一首有关“假日”的歌曲吧&#xff0c;别忘记看要闻鸭&#xff01;文/要闻君春节即将…

C语言 __VA_ARGS__ - C语言零基础入门教程

目录 一.__VA_ARGS__简介二.__VA_ARGS__使用 1.__VA_ARGS__宏输出字符串常量2.__VA_ARGS__宏输出可变参数 三.__VA_ARGS__缺点 1.仅仅只支持字符串常量&#xff0c;不支持可变参数2.仅仅只支持可变参数&#xff0c;不支持字符串常量 四.猜你喜欢 零基础 C/C 学习路线推荐 : C/…

jq之hide(1000)

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

K8S的SDN容器网络解决方案【机制篇】

戳蓝字“CSDN云计算”关注我们哦&#xff01;编者按&#xff1a;关于容器网络的解决方案业界已经有较多的讨论&#xff0c;笔者无意继续赘述。本文从K8S的网络实现入手&#xff0c;重点阐述SDN在容器网络中的应用价值。K8S及其网络模型体现了鲜明的解耦设计思想&#xff0c;采用…

C语言 ##__VA_ARGS__ - C语言零基础入门教程

目录 一.##__VA_ARGS__原理二.##__VA_ARGS__使用三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.##__VA_ARGS__原理 C 语言中 __VA_ARGS__ 是一个可变参数的宏&#xff0c;是新的 C99 规范中新增的&#xff0c;目前似乎只有 gcc 支持&#…

jq之隐藏和显示

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

C语言 函数不定长参数 ##__VA_ARGS__经典案例 - C语言零基础入门教程

目录 一.##__VA_ARGS__简介二.##__VA_ARGS__经典案例三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.##__**VA_ARGS__**简介 [__VA_ARGS__](https://www.codersrc.com/archives/9450.html) 在前面的文章也介绍了&#xff0c;有两个缺点&…

总编下午茶专题汇总

《总编下午茶》是CSDN一档关注技术应用和IT前沿的访谈类栏目&#xff0c;由CSDN各主编担任该节目主持人&#xff0c;并邀请众多技术大咖分享技术热点与前沿知识&#xff0c;同时也是技术小伙伴们分享交流的最佳平台。 NLP可行性研究方向和应用热点 “现在NLP技术处于什么发展…

jq之div hide slow

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

云重磅 |央视专访任正非;拼多多被薅上亿羊毛;甲骨文对云未来的10项技术预测...

戳蓝字“CSDN云计算”关注我们哦&#xff01;嗨&#xff0c;大家好&#xff0c;重磅君带来的【云重磅】特别栏目&#xff0c;如期而至&#xff0c;每周二第一时间为大家带来重磅新闻。把握技术风向标&#xff0c;了解行业应用与实践&#xff0c;就交给我重磅君吧&#xff01;重…

jq之mousedown

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

关于云原生,这是最详细的技术知识

戳蓝字“CSDN云计算”关注我们哦&#xff01;本文旨在揭示现代软件行业的关键主题——云原生应用程序。这篇文章涉及微服务、容器和无服务器应用程序。在这里&#xff0c;我们将讨论这些技术的实际优点和缺点。微服务是什么微服务架构作为构建现代软件应用程序的强大方法而享有…

html之引入独立js方便维护jq代码

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

jq之$(“tr:even“).css(“background-color“,“yellow“)

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

容器精华问答 | Docker是否比虚拟技术要好?

戳蓝字“CSDN云计算”关注我们哦&#xff01;云计算的发展日新月异&#xff0c;新技术层出不穷&#xff0c;尤其容器技术自2013年Docker容器问世以来一路高歌猛进红遍大江南北&#xff0c;与虚拟机相比&#xff0c;容器更显优势&#xff0c;有着更轻量、更快捷、占用资源更少&a…

jq之$(“tr:odd“).css(“background-color“,“red“);

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

C语言 va_start / va_end / va_arg 自定义 printf 函数 - C语言零基础入门教程

目录 一.前言二.函数不定长参数简介 1.va_start2.va_arg3.va_end 三.win32 控制台版本四.MFC 对话框版本五.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.前言 对 printf 函数的使用&#xff0c;我们并不陌生&#xff0c;首先我们来看看下面…

Kubernetes API 与 Operator:不为人知的开发者战争

戳蓝字“CSDN云计算”关注我们哦&#xff01;前情回顾&#xff1a;《Kubernetes API 与 Operator&#xff1a;不为人知的开发者战争&#xff08;上&#xff09;》2016 年秋天&#xff0c;原 CoreOS 公司的工程师邓洪超像往常一样&#xff0c;来到了同事位于福斯特城&#xff08…