Hadoop精华问答 | 基于Hadoop的数据中心有什么好处？

戳蓝字“CSDN云计算”关注我们哦！

2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的13个年头,这个单词代表的是“核心”，今天我们就来看看关于Hadoop的精华问答。

Q：基于Hadoop的数据中心有什么好处？

A：改善总体的SLAs（即，服务级协议）作为数据卷&复杂度的增长，例如不共享架构，并行处理。密集型内存处理框架，像Spark& Impala 和YARN里资源优先调度器。

扩展数据仓库可能会很贵：扩大高端硬件的容量&授权数据仓库的工具可能成本会显著增加。基于Hadoop的解决方案不仅商业硬件节点更便宜&开源工具，而且还可以通过卸载数据转换到Hadoop工具上弘扬大数据仓库解决方案；像Spark & Impala 这些更有效的大数据并行处理工具。这些都将释放数据库资源。

新途径的探索&领导：Hadoop可以给数据科学家提供一个探索性沙盒从数据库中无法正常使用的社交媒体，日志文件，电子邮件等探索潜在数据价值。

更好的灵活性：商业需求不停的在改变，这就要求架构&报告不停更改。基于Hadoop的解决方案不仅能够灵活的处理不断变化的架构，而且还可以从消失的资源，像社交媒体，日志文件应用，图片， PDFs，和文档文件中处理半结构化&非结构化的数据。

Q:大数据解决方案的关键步骤是什么？

A：提取数据，存储数据（例如数据建模）数据处理（例如准备数据，转换数据，查询数据）

提取数据

从各种资源上提取数据像：

1. RDBMs 相关的数据库管理系统，像 Oracle,MySQL, 等。

2. ERPs 企业资源规划系统像SAP。

3. CRM 客户关系管理系统像 Siebel, Salesforce 等。

4. 社交媒体数据 & 日志文件

5. 无格式文件， docos, 图片。

将他们存储在基于Hadoop的分布式文件系统上，此系统还可以缩写成HDFS。数据还可以通过批量作业提取，（例如每15分钟运行一次，或者每晚上运行一次）接近实时流（例如 100秒到2分钟）和实时流（即低于100秒）

2）存储数据：

数据可以存储在HDFS或NoSQL数据库中，像Hbase,HDFS为了能顺序访问已经被优化了&一次写入多次读取的使用模式，HDFS用高速率读写并行化 I/O s 到多个驱动器上，Hbase在HDFS顶层用流行的列式存储关键/有价值的数据。列式数据总是在一起就像一个列式家庭一样，Hbase适合随机读取/写入访问。

3）数据处理：Hadoop用HDFS处理框架，采用不共享架构，这样在分布式系统里面每个节点都是完全独立于系统中的其他节点的。像 CPU ，存储卡，磁盘存储等资源都不共享就形成了一个瓶颈，Hadoop的处理框架，像 Spark, Pig, Hive, Impala等，处理不同的数据子集无需管理共享数据访问，因为这里采用的不共享架构。

1. 可扩展性，越来越多的节点被添加无需长远规划，可按需要随意增加节点。

2. 容错性每个节点都是独立的，而且没有单点故障，系统可以迅速修复单个故障节点。

Q：如何选择不同的文件格式用于存储和数据处理？

A：关键设计理念之一就是相关文件格式要基于

1）使用模式例如，访问50列式存储当中的5列式存储vs 访问大部分的列式存储。

2）并行处理分裂性。

3）块压缩节省存储空间VS 读/ 写/转换/ 功能.

4）架构演变过程中添加字段/修改字段/重命名字段。

Q：生态圈以及各组成部分的简介

A：重点组件：

HDFS：分布式文件系统

MAPREDUCE：分布式运算程序开发框架