Hadoop生态圈-Ambari控制台功能简介

                Hadoop生态圈-Ambari控制台功能简介

                                              作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

 

 

 

 

 

  在经历一系列安装过程之后(部署过HDP后我终于发现为什么大家喜欢用它了,部署比CDH简单是他优势之一!),我们已经新建了一个进群并进入到Ambari到集群控制台首页。Ambari到集群控制台主要分为3个区域,如下图所示:

  好啦,接下来我会简单介绍一下Ambari到核心功能。

 

一.集群管服务管理

  Ambari 为Hadoop服务提供了一套强大的管理与维护的功能,包括集群用户,服务安装,服务监控等。

1>.集群用户

   如下图所示,通过右上角Admin菜单进入集群用户页面,我们可以看到Ambari对于已经安装的Hadoop服务都预建了一套用户。这些用户有两层含义:

    第一:Ambari系统内部的服务用户,这类用户是存储在Ambari自己的元数据数据库中的;

    第二:通过Agent服务在目标主机上建立的linux用户,Hadoop在运行期间会使用这些Linux用户。

  Ambari高度自动化的集群用户功能,不仅免去了通过原始手工维护集群用户时的种种烦恼,也为日后集成权限,认证系统提供了空间。

 

2>.集群服务控制与监控

   Ambari 的管理控制台还提供了对集群服务监控的能力。为了便于理解,这里以HDFS位列来举例说明。对于其他服务的监控与HDFS类似。

  如上图所示,使用左侧组件菜单点击HDFS,可以看到右边页面切换成了HDFS的整体信息摘要,从摘要页面可以看到HDFS的Namenode和Datanode服务的状态概要信息,同时也能看到一些简单的指标,比如内存垃圾回收次数,连接负载等。不仅如此,如下图所示,通过右上角的“Server Actions”菜单,还能实现对HDFS进行各种操作,例如启动,停止,重启,平衡负载,下载客户端配置和删除服务等等。只需要点点鼠标就能完成集群服务的控制,这些功能和CDH几乎是一样的。对CDH熟悉的小伙伴来看HDP的界面估计会很快就能上手的哟!

 

 

二.集群服务配置

  Ambari也提供对集群服务对配置进行维护对功能,免去了手工修改配置对低效和繁琐。为了便于理解,这里还是以HDFS为例来进行举例说明。

1>.查看HDFS常用的一些配置

   如下图所示,在HDFS的信息摘要页面点击Config菜单,页面会切换成HDFS的配置页面。映入眼帘的是HDFS最常用的一些配置,例如NameNode和DataNode的文件路径,NameNode和DataNode的堆内存大小等等,我们可以通过图形化交互的方式轻松的修改这些配置参数。

 

 

 

2>.HDFS的高级设置

   除了上述这些常用配置之外,还可以进行更进一步的高级设置。如下图所示,点击Advanced按钮切换到高级设置页面,可以看到在高级配置页面已经定义了HDFS所有的可配置项。

 

  在找到需要修改的配置进行修改之后单击Save按钮即可完成修改动作,如下图所所示:

  点击保存后,可能要你输入本次修改的一个备注信息!如下图所示:

  点击上图所示的“Save”成功后,可能会弹出如下图所示的对话框(提示保存配置成功),点击“ok”即可。

  如下图所示,如果修改的配置需要相应的关联服务重启之后才能生效的化,Ambari也会通过提醒的方式让我们快速地进行服务重启。 

  下图是重启过程中的截图:

3>.修改版本回退案例

   如果配置参数修改错误了怎么办呢?这个也不用咱们担心,Ambari会自动记录配置修改的历史轨迹,每一次的修改都会再生成一个版本。如下图所示:我们在修改之后可以随时浏览历史版本的配置项,还可以对比不同版本的配置内容,甚至还可以恢复到某个版本的配置内容哟!

 

   如下图说是,我们将之前到配置修复回去,即将副本数为2恢复到之前到副本数为3到配置(因为在本篇博客中我只修改到了这一处参数!):

  如下图所示,我们在V2的版本上恢复到V1的配置,那么会自动生成一个新的版本,修改后,我们依旧需要重启服务哟!

 

 

  重启时,会有2个参数,一般情况下,我们应该选择第一个参数,如果你修改的参数是只针对Datanode节点生效的化,咱们也是可以只重启DataNode节点的哟!

4>.通过HDFS原声管理系统访问NameNode UI系统

  大多数组件服务都会拥有自己的一套原生管理系统,这里还是以HDFS为例来进行举例说明。如下图说是,HDFS就有NameNode UI系统用来观察集群状态和查看文件。如果想快速链接到组件服务相应的原声UI系统可以通过“Quick Links”功能进行便捷的页面链接。

 

 

  如下图所示,点击上图中的“NameNode UI”按钮就可以访问NameNode 的WebUI界面。 

 

三.Ambari提供的辅助工具

  Ambari 在提供了集群的安装,管理和监控功能的同时,还附带了一些十分有用的辅助工具,用于提示Hadoop服务使用的易用性。

1>.HDFS文件管理

   HDFS是一个分布式文件系统,默认的情况下我们只能通过它并提供Shell命令进程日常的维护操作,这种操作方式有一定的使用门槛,并且不直观。Ambari提供了针对HDFS的文件管理功能,让我们通过可视化的方式查看HDFS上的目录和文件列表,同时通过功能按钮还能新建目录和上传文件,如下图所示,这种管理方式十分的方便。

  创建新目录,如下:

  如果你创建失败时,可能会有以下的提示信息:

  查看创建目录失败的原因(当前用户是admin),如下图所示:

  上面的报错是由于hdfs默认是开启用户认证的方式的,我们想要解决这个报错,暴力的方法有两个:第一,关闭掉认证机制;第二,使用hdfs用户创建“/yinzhengjie”目录即可。

[root@node101 ~]# su hdfs
[hdfs@node101 root]$ hdfs dfs -ls /
Found 2 items
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 16:12 /tmp
drwxr-xr-x   - hdfs hdfs          0 2018-12-07 16:12 /user
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -mkdir /yinzhengjie
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -chmod -R 777 /yinzhengjie
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -ls /        
Found 3 items
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 16:12 /tmp
drwxr-xr-x   - hdfs hdfs          0 2018-12-07 16:12 /user
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 22:14 /yinzhengjie
[hdfs@node101 root]$ 

  创建对应的用户到hdfs集群上。

  如下图所示,上传本地文件到hdfs集群中。

 

 

2>.其他辅助工具

   其实Ambari提供了很多辅助工具,比如上述到HDFS文件管理。还有Hive 查询工具,Yarn任务队列管理,自助式分析系统等等。可能有的小伙伴会说:“并没有什么卵用,CDH以及继承了HUE,而HUE上述到这些功能基本上都包括!”,其实工具主要在于使用者本身,有的人喜欢使用CDH,他们更喜欢CDH炫酷都webUI界面!而有的人则喜欢HDP,这一点我并不要求大家使用那块软件,我的建议是:“CDH和HDP两个产品,你熟悉哪个就用哪个比较好!”。由于我们在安装的时候只安装了基础的监控服务,以及HDFS和zookeeper服务,因此其他的功能我暂时就不给大家做一一举例啦~

  如果有机会的话我会给大家进行一一的分享操作,时间也不早了,在这里我预祝大家工作顺利!

 

转载于:https://www.cnblogs.com/yinzhengjie/p/10086225.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/537334.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

oracle监听启动很慢

TNS-12531: TNS:cannot allocate memory 首先查看内存,free -m 发现当前的空闲内存还有很多,那就不是内存不足的问题 想到之前重启过数据库服务器,查看主机名hostname,然后在查看etc/hosts 中的主机名,发现两者不一致,…

python地图标注_Python 给定的经纬度标注在地图上的实现方法

博主最近发现了python中一个好玩的包叫basemap,使用这个包可以绘制地图。值得说一下的是,basemap还没有pip检索,因此不能直接使用pip install basemap,来安装这个包。所以需要自己把下面两个包自行下载,然后在该目录下使用pip安装…

剪映专业版PC端清理缓存与日志

清理缓存 这个简单,在全局设置里,点击删除键,就可以 清理日志 软件每次剪辑都会生成日志,日志路径在 C:\Users\zengm\AppData\Local\JianyingPro\User Data\Log C:\Users\zengm\AppData\Local\JianyingPro\User Data\VELog

nodejs源码_nodejs之setTimeout源码解析

setTimeout是在系统启动的时候挂载的全局函数。代码在timer.js。function setupGlobalTimeouts() {const timers NativeModule.require(timers);global.clearImmediate timers.clearImmediate;global.clearInterval timers.clearInterval;global.clearTimeout timers.clear…

百度网盘PC端缓存文件夹

在C:\Users\zengm\AppData\Roaming\baidu\BaiduNetdisk\users\下面 BaiduYunCacheFileV0.db 文件为百度网盘目录数据,结构为: 百度网盘BaiduYunCacheFileV0.db数据库研究_wqq1027的博客-CSDN博客_百度网盘数据库最近研究了一下百度网盘的本地数据库文件…

python 图片转文字错误_python3把base64字符串写成图片文件出错

下面的代码在python2下正常的,是一个微信图标,文件md5是a1be719025844a1918ec6a338eaa8456我对python3不熟悉,不知道要怎么改#!/usr/bin/python3import base64def filePutContents(file, content):fp open(file, a)fp.write(content)fp.clos…

从业回忆录,最后悔的事

被一篇文章误导 我清楚地记得,在我毕业第一年,我看到了一篇关于程序员怎么学技术的文章,观点是程序员要多学技术,文章引用了典故:“高筑墙,广积粮,缓称王”。当时读这篇文章,感觉很有道理,认同了文章里的观点。 这么些年,学了不少技术:C#、Asp.net、Java Web套餐、A…

kodexplorer开源网盘php程序配置解析

config/setting_user.php 追加内容(一下都是,注意不要使用中文引号、双引号及分号) //【指定多语言只保留中文】 $GLOBALS[config][settings][language] zh-CN; //【自定义群组创建时自动新建的目录】 $GLOBALS[config][settingSystemDefaul…

实现三元组表示的两个稀疏矩阵的加法_K-BERT | 基于知识图谱的语言表示模型

1.研究背景BERT曾被应用在多项NLP任务中,并且取得了很好的结果。它通过在大规模开放语料库上进行预训练以获得通用的语言表示,然后在特定的下游任务中进行微调,吸收特定领域的知识。但这些模型在不同的领域执行知识驱动任务时,效果…

Excel单元格“删除线”的添加与删除

软件:windows,WPS 点击字体设计的小角标,进入更多设置,勾选“删除线”

excel 表格复制到word后,宽超出word如何调整?

网上很多方法是用“选择性粘贴----excel表格对象”,这个适用表格行数少的,不超过一页word的。 步骤 复制到word里后,选中表格,右键---自动调整--选择具体的调整方式。 调整后效果

sql 查询上个月的数据_数据分析-SQL 进阶篇 多表查询

知识点一、表的加法Union:删除表中的重复值union al:包含表中所有内容,包括重复值二、表的联结联结:join联结分为以下五种:交叉联结(cross join)又称为笛卡尔积:将表中的每一行与另外…

jenkins部署三种构建方式的详细步骤

部署背景:jenkins: CentOS 7.4C IP:172.16.3.74gitlab-11.5.3: CentOS 7.4D IP:172.16.4.74此上部署都是根据我之前的博客配置完成的;jenkins有三种构建方…

从业回忆,一次大胆的冒险,程序员转岗项目经理

有些事不必知道得太早 程序员这个行业,被“中年危机”言论导向后,就和洗脚城女技师差不多,年轻,漂亮,技术好,体力好的技师收入高,一边拿着高薪,赚着外快,一边吐槽是青春饭,经常熬夜,干不长久。 2010年之前,网上宣传程序员是青春饭,程序员中年危机的文章很少。近几…

python中控脚本_Python3.7实现中控考勤机自动连接

由于考勤机与oa对接,oa会在每天定时取考勤机数据,但是需要考勤机是连接状态,所以搜索了下相关教程,写了个脚本自动连接。完全是个python小白,代码烂,仅作为笔记。理论上支持所有程序的每天自动开启与关闭# …

word转freemarker和修改的步骤

第一步 编写好word,用freemarker语法替换内容 第二步 word另存为 word xml 第三步 修改后缀名为:.ftl 第四步 notepad XML插件美化显示,插件安装教程:Notepad 7.6以上版本安装XML Tools插件_lingquan0809的博客-CSDN博客Note…

python编程首选_为什么说学编程首选是python

为什么学编程你可能不会成为一名专业的程序员, 不过学编程的确是有很多的原因的1. 最重要的是你想学!不论是因为业余爱好还是作为职业,编程都是十分有意思的, 都会让你收获很多2. 如果你是对计算机感兴趣的, 想更多的了…

程序员的职业规划,程序员的未来趋势

作者2008年入行,至今15个年头,从程序员到管理。当初一起入行的,当初带我的技术大佬,也都转管理了。 回顾 2008年-2015年:程序员,会ASP.NET、Java、JSP Servlet、SSH、SSM、Mysql、Oracle、Sqlserver、DB2、Sql、H5、Javascript、Jquery、Bootstrap、easy-UI、Android、…

vue-cli 使用better-scroll

better-scroll api文档https://ustbhuangyi.github.io/better-scroll/doc/zh-hans/ 一:安装better-scroll 插件 cnpm install better-scroll --save 二:引入 import Bscroll from better-scroll 三:使用 页面结构要符合这样的,不…