Hadoop生态圈-Ambari控制台功能简介

　　　　　　　　　　　　　　　　Hadoop生态圈-Ambari控制台功能简介

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

 

 

 

　　在经历一系列安装过程之后（部署过HDP后我终于发现为什么大家喜欢用它了，部署比CDH简单是他优势之一！），我们已经新建了一个进群并进入到Ambari到集群控制台首页。Ambari到集群控制台主要分为3个区域，如下图所示：

　　好啦，接下来我会简单介绍一下Ambari到核心功能。

 

一.集群管服务管理

　　Ambari 为Hadoop服务提供了一套强大的管理与维护的功能，包括集群用户，服务安装，服务监控等。

1>.集群用户

 　　如下图所示，通过右上角Admin菜单进入集群用户页面，我们可以看到Ambari对于已经安装的Hadoop服务都预建了一套用户。这些用户有两层含义：

　　　　第一：Ambari系统内部的服务用户，这类用户是存储在Ambari自己的元数据数据库中的；

　　　　第二：通过Agent服务在目标主机上建立的linux用户，Hadoop在运行期间会使用这些Linux用户。

　　Ambari高度自动化的集群用户功能，不仅免去了通过原始手工维护集群用户时的种种烦恼，也为日后集成权限，认证系统提供了空间。

 

2>.集群服务控制与监控

 　　Ambari 的管理控制台还提供了对集群服务监控的能力。为了便于理解，这里以HDFS位列来举例说明。对于其他服务的监控与HDFS类似。

　　如上图所示，使用左侧组件菜单点击HDFS，可以看到右边页面切换成了HDFS的整体信息摘要，从摘要页面可以看到HDFS的Namenode和Datanode服务的状态概要信息，同时也能看到一些简单的指标，比如内存垃圾回收次数，连接负载等。不仅如此，如下图所示，通过右上角的“Server Actions”菜单，还能实现对HDFS进行各种操作，例如启动，停止，重启，平衡负载，下载客户端配置和删除服务等等。只需要点点鼠标就能完成集群服务的控制，这些功能和CDH几乎是一样的。对CDH熟悉的小伙伴来看HDP的界面估计会很快就能上手的哟！

 

 

二.集群服务配置

　　Ambari也提供对集群服务对配置进行维护对功能，免去了手工修改配置对低效和繁琐。为了便于理解，这里还是以HDFS为例来进行举例说明。

1>.查看HDFS常用的一些配置

 　　如下图所示，在HDFS的信息摘要页面点击Config菜单，页面会切换成HDFS的配置页面。映入眼帘的是HDFS最常用的一些配置，例如NameNode和DataNode的文件路径，NameNode和DataNode的堆内存大小等等，我们可以通过图形化交互的方式轻松的修改这些配置参数。

 

 

 

2>.HDFS的高级设置

 　　除了上述这些常用配置之外，还可以进行更进一步的高级设置。如下图所示，点击Advanced按钮切换到高级设置页面，可以看到在高级配置页面已经定义了HDFS所有的可配置项。

 

　　在找到需要修改的配置进行修改之后单击Save按钮即可完成修改动作，如下图所所示：

　　点击保存后，可能要你输入本次修改的一个备注信息！如下图所示：

　　点击上图所示的“Save”成功后，可能会弹出如下图所示的对话框（提示保存配置成功），点击“ok”即可。

　　如下图所示，如果修改的配置需要相应的关联服务重启之后才能生效的化，Ambari也会通过提醒的方式让我们快速地进行服务重启。 

　　下图是重启过程中的截图：

3>.修改版本回退案例

 　　如果配置参数修改错误了怎么办呢？这个也不用咱们担心，Ambari会自动记录配置修改的历史轨迹，每一次的修改都会再生成一个版本。如下图所示：我们在修改之后可以随时浏览历史版本的配置项，还可以对比不同版本的配置内容，甚至还可以恢复到某个版本的配置内容哟！

 

 　　如下图说是，我们将之前到配置修复回去，即将副本数为2恢复到之前到副本数为3到配置（因为在本篇博客中我只修改到了这一处参数！）：

　　如下图所示，我们在V2的版本上恢复到V1的配置，那么会自动生成一个新的版本，修改后，我们依旧需要重启服务哟！

 

 

　　重启时，会有2个参数，一般情况下，我们应该选择第一个参数，如果你修改的参数是只针对Datanode节点生效的化，咱们也是可以只重启DataNode节点的哟！

4>.通过HDFS原声管理系统访问NameNode UI系统

　　大多数组件服务都会拥有自己的一套原生管理系统，这里还是以HDFS为例来进行举例说明。如下图说是，HDFS就有NameNode UI系统用来观察集群状态和查看文件。如果想快速链接到组件服务相应的原声UI系统可以通过“Quick Links”功能进行便捷的页面链接。

 

 

　　如下图所示，点击上图中的“NameNode UI”按钮就可以访问NameNode 的WebUI界面。 

 

三.Ambari提供的辅助工具

　　Ambari 在提供了集群的安装，管理和监控功能的同时，还附带了一些十分有用的辅助工具，用于提示Hadoop服务使用的易用性。

1>.HDFS文件管理

 　　HDFS是一个分布式文件系统，默认的情况下我们只能通过它并提供Shell命令进程日常的维护操作，这种操作方式有一定的使用门槛，并且不直观。Ambari提供了针对HDFS的文件管理功能，让我们通过可视化的方式查看HDFS上的目录和文件列表，同时通过功能按钮还能新建目录和上传文件，如下图所示，这种管理方式十分的方便。

　　创建新目录，如下：

　　如果你创建失败时，可能会有以下的提示信息：

　　查看创建目录失败的原因（当前用户是admin），如下图所示：

　　上面的报错是由于hdfs默认是开启用户认证的方式的，我们想要解决这个报错，暴力的方法有两个：第一，关闭掉认证机制；第二，使用hdfs用户创建“/yinzhengjie”目录即可。

[root@node101 ~]# su hdfs
[hdfs@node101 root]$ hdfs dfs -ls /
Found 2 items
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 16:12 /tmp
drwxr-xr-x   - hdfs hdfs          0 2018-12-07 16:12 /user
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -mkdir /yinzhengjie
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -chmod -R 777 /yinzhengjie
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -ls /        
Found 3 items
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 16:12 /tmp
drwxr-xr-x   - hdfs hdfs          0 2018-12-07 16:12 /user
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 22:14 /yinzhengjie
[hdfs@node101 root]$ 

　　创建对应的用户到hdfs集群上。

　　如下图所示，上传本地文件到hdfs集群中。

 

 

2>.其他辅助工具

 　　其实Ambari提供了很多辅助工具，比如上述到HDFS文件管理。还有Hive 查询工具，Yarn任务队列管理，自助式分析系统等等。可能有的小伙伴会说：“并没有什么卵用，CDH以及继承了HUE，而HUE上述到这些功能基本上都包括！”，其实工具主要在于使用者本身，有的人喜欢使用CDH，他们更喜欢CDH炫酷都webUI界面！而有的人则喜欢HDP，这一点我并不要求大家使用那块软件，我的建议是：“CDH和HDP两个产品，你熟悉哪个就用哪个比较好！”。由于我们在安装的时候只安装了基础的监控服务，以及HDFS和zookeeper服务，因此其他的功能我暂时就不给大家做一一举例啦～

　　如果有机会的话我会给大家进行一一的分享操作，时间也不早了，在这里我预祝大家工作顺利！