大数据集群管理软件 CDH、Ambari、DataSophon 对比

文章目录

  • 引言
  • 工具介绍
    • CDH
    • Ambari
    • DataSophon
  • 对比分析

引言

  大数据集群管理方式分为手工方式和工具方式,手工方式一般指的是手动维护平台各个组件,工具方式是靠大数据集群管理软件对集群进行管理维护。本文针对于常见的方法和工具进行比较,帮助找到合适的工具,提升效率。

工具介绍

CDH

  CDH 是 Cloudera 公司提供的一种大数据平台解决方案。 CDH 的全称是 Cloudera’s Distribution including Apache Hadoop,它是一个开放源代码的大数据平台,基于 Apache Hadoop 和其他相关的开源技术构建,包括 HDFS、MapReduce、HBase、ZooKeeper、Hue、Oozie、Flume、Sqoop 等等。
  CDH 提供了一个完整的大数据解决方案,包括数据管理、数据处理、数据分析和数据可视化等方面,可以帮助用户快速搭建和部署大数据平台,支持多种数据源的处理和集成,同时提供了强大的安全性和可扩展性。值得一提的是 CDH 从6.3版本之后开始收费 。

官网地址:https://www.cloudera.com/

Ambari

  Apache Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。目前最新的发布版本是 2.7.8。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。Ambari 目前已支持大多数 Hadoop 组件,包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等,并且是完全开源的平台。

官网地址:https://ambari.apache.org/

DataSophon

   DataSophon 是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务,国产开源平台,支持完全离线部署,能支撑

官网地址:https://datasophon.github.io/datasophon-website/docs/current/%E6%A6%82%E8%A7%88

支持组件列表
还支持 Kyuubi(统一多租户JDBC网关)、Iceberg(适用于庞大数据集分析的开放式数据表格式)、Kerberos(计算机网络认证协议)

对比分析

试想下面几个问题:

  1. 如果有100台服务器的集群,至少要花费多长时间搭建好 Hadoop集群?包括 Hive、Hbase、Spark、Zookeeper、Kafka、Flink 等?
  2. 对于以上集群进行 Hadoop 版本升级,怎么选择升级方案?至少要花费多长时间?
  3. 新版本的 Hadoop 与 Hvie、Hbase、Kafka、Flink 等是否兼容?
  4. 如何对上述集群中已经运行中的主机和组件健康状态进行监控?

手工部署:需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切当设计多个组件时,用户须自己解决组件间版本兼容问题。

工具部署:使用工具可以说是一键操作,难点都在工具本身的部署上,但是工具也存在升级组件不受自己控制的弊端。

比较项手工方式工具方式
难易度难,几乎不可能成功简单,易行
兼容性自己解决组件兼容性问题自动安装兼容组件
组件支持数支持全部组件支持常用组件
监控运维无,需要自建支持常见组件的监控
优点对组件和集群管理深刻简单、容易、可行
缺点太复杂,几乎不可能成功屏蔽太多细节,妨碍对组件理解

组件之间对比:

工具项所属机构开源性社区支持性易用性监控指标可扩展性原生支持组件服务版本
CDHCloudera商用不支持较老
AmbariApache开源支持较易较多较强较少较新
DataSophon国产开源支持非常新

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/707379.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

前端架构: 脚手架工具rxjs的快速上手应用

rxjs rxjs 是一个异步的库和Promise是非常的相似 文档:https://www.npmjs.com/package/rxjs Weekly Downloads 44,474,389 (动态数据) 说明这个库也是非常的流行 安装 $ npm i -S rxjs 使用 import { range, filter, map } from rxjs;range(1, 200).pipe(filte…

早产儿视网膜病变分期,自动化+半监督(无需大量医生标注数据)

早产儿视网膜病变 ROP 分期 提出背景解法框架解法步骤一致性正则化算法构建思路 实验 提出背景 论文:https://www.cell.com/action/showPdf?piiS2589-0042%2823%2902593-2 早产儿视网膜病变(ROP)目前是全球婴儿失明的主要原因之一。 这是…

list_head的使用方法

最近用到了list_head,在这里记录一下。如果要搞清楚list_head的使用方法,需要了解container_of的原理。container_of可以参考:container_of宏的简介及使用-CSDN博客 先上测试的驱动代码: #include<linux/init.h> //初始换函数 #include<linux/kernel.h> //内…

Dledger部署RocketMQ高可用集群(9节点集群)

文章目录 &#x1f50a;博主介绍&#x1f964;本文内容规划集群准备工作节点0配置&#xff08;ip地址为192.168.80.101的机器&#xff09;节点1配置&#xff08;ip地址为192.168.80.102的机器&#xff09;节点2配置&#xff08;ip地址为192.168.80.103的机器&#xff09;在所有…

『python爬虫』xpath变化导致无法找到指定元素(持续更新中~)

目录 xpath变化的原因1. 语言设置2. 窗口大小n. 待添加~总结 欢迎关注 『python爬虫』 专栏&#xff0c;持续更新中 欢迎关注 『python爬虫』 专栏&#xff0c;持续更新中 xpath变化的原因 XPath 可能会出现变化的原因有很多&#xff0c;以下是一些常见的情况&#xff1a; 网页…

C语言--- 指针(3)

一.字符指针变量 在指针的类型中&#xff0c;我们知道有一种指针类型为字符指针char * 一般使用&#xff1a; #include<stdio.h> int main() {char ch a;char* p &ch;*p b;printf("%c\n",ch);return 0; } 其实还有一种使用方式 &#xff1a; #inc…

@RequestBody请求使用场景

请求体中的参数用RequestBody&#xff0c;像我们说的请求体一般put或post请求会有。 1.RequestBody使用的时候要注意get和post请求&#xff0c;用RequestBody处理get就炸了 RequestBody常用来处理Content-Type不是form-data或x-www-form-urlencoded编码的内容&#xff0c;例如a…

用了这么久的python,这些零碎的基础知识,你还记得多少?

python内置的数据类型 Python3.7内置的关键字 [False, None, True, and, as, assert, async, await, break, class, continue, def, del, elif, else, except, finally, for, from, global, if, import, in, is, lambda,nonlocal, not, or, pass, raise, return, try, while, …

vue专栏总纲

博主个人小程序已经上线&#xff1a;【中二少年工具箱】 小程序二维如下&#xff1a; 正文开始 专栏简介专栏初衷 专栏简介 本系列文章由浅入深&#xff0c;从基础知识到实战开发&#xff0c;非常适合入门同学。 零基础读者也能成功由本系列文章入门&#xff0c;但如果您具…

python 中关于元组为什么有时候有括号有时候没有括号

元组的装包与拆包 Python中&#xff0c;元组装包拆包是自动的&#xff0c;不需要任何函数&#xff0c;导致很多人对于函数返回值一会有括号一会没括号非常迷惑 先看代码&#xff1a; a1,2,3 #它其实等价于下面的代码 a(1,2,3) #因为等号左边只有1个变量&#xff0c;而等号右…

【数据结构】数据结构概述

一、概述 在计算机中&#xff0c;数据结构是一种组织和存储数据的方式&#xff0c;以便于对数据进行访问和操作。数据结构提供了一种逻辑方式来组织和处理数据&#xff0c;以满足特定的应用需求。数据结构可以看作是一种抽象数据类型&#xff0c;它描述了数据元素之间的关系&am…

uniapp 上传压缩图片 兼容h5和小程序的方法

项目是用uniapp开发的&#xff0c;当时只是做App端&#xff0c;后来项目扩展到H5端&#xff0c; uniapp框架可以跨平台所以移动端和H5使用的是一套代码 上传头像的时候要求图片的大小在2MB一下&#xff0c;所以要压缩图片&#xff0c;App端当时使用的是uni.compressImage(OBJEC…

Unity中字符串拼接0GC方案

本文主要分析C#字符串拼接产生GC的原因&#xff0c;以及介绍名为ZString的库&#xff0c;它可以将字符串生成的内存分配为零。 在C#中&#xff0c;字符串拼接通常有三种方式&#xff1a; 直接使用号连接&#xff1b;string.format;使用StringBuilder&#xff1b; 下面分别细…

新版极狐gitlab安装+配置详细版

这里安装的服务器环境是centos7.9系统&#xff0c;安装极狐版本16.9。 极狐地址&#xff1a;https://gitlab.cn/install/ 1. 安装和配置所需的依赖 在 CentOS 7 上&#xff0c;下面的命令会在系统防火墙中打开 HTTP、HTTPS 和 SSH 访问。这是一个可选步骤&#xff0c;如果您…

Docker部署Portainer图形化管理工具

文章目录 前言1. 部署Portainer2. 本地访问Portainer3. Linux 安装cpolar4. 配置Portainer 公网访问地址5. 公网远程访问Portainer6. 固定Portainer公网地址 前言 Portainer 是一个轻量级的容器管理工具&#xff0c;可以通过 Web 界面对 Docker 容器进行管理和监控。它提供了可…

物业智能水电抄表管理系统

物业智能水电抄表管理系统是物业管理行业的关键技术之一&#xff0c;其结合了智能化、远程监控和数据分析等功能&#xff0c;为物业管理公司和业主提供了高效、精准的水电抄表管理解决方案。该系统具有多项优势&#xff0c;能够提升物业管理效率&#xff0c;降低成本&#xff0…

第五节:Vben Admin权限-前端控制方式

系列文章目录 第一节:Vben Admin介绍和初次运行 第二节:Vben Admin 登录逻辑梳理和对接后端准备 第三节:Vben Admin登录对接后端login接口 第四节:Vben Admin登录对接后端getUserInfo接口 第五节:Vben Admin权限-前端控制方式 文章目录 系列文章目录前言一、Vben Admin权…

py32 link,让PY32单片机开发更容易上手。

py32 link支持PY32系列单片机的调试和烧录&#xff0c;⽀持Keil、IAR等多种开发环境&#xff0c;开发简单易上手。PY32 link使用Type-C接⼝供电&#xff0c;搭载了MH32F103A芯片 LQFP64封装&#xff0c;MH32F103A有着216MHz主频和256KB flash&#xff0c;96KB RAM大资源&#x…

集合进阶(三)——List

List集合的特有方法 List集合因为支持索引&#xff0c;所以多了很多与索引相关的方法&#xff0c;当然&#xff0c;List也继承了Collection的功能 方法名说明void add(int index, E element)在此集合中的指定位置插入指定的元素E remove(int index)删除指定索引处的元素…

RxJava 操作符的原理

今天再一次看Rxjava的几个操作符时发现对于操作符到底做了什么事不是很清楚&#xff0c;使用just&#xff0c;create等操作符创建一个Observable&#xff0c;和使用filter、map等操作符对Observable发送的数据进行转换有什么区别和联系&#xff1f;filter和map这样的操作符最终…