【Ambari】HDFS基于Ambari的常规运维

🦄 个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁

感谢点赞和关注 ,每天进步一点点!加油!

目录

一、 简介

1.1 Ambari介绍

1.2 关于本手册

二、综合运维

2.1 Ambari一览

2.1.1 命令行操作

2.1.2 登入和登出

2.1.3. 管理界面首页

三、服务的管理和运维

3.1 HDFS运维

3.1 启动/停止/删除HDFS服务

3.1.1 HDFS服务的配置

3.1.2 HDFS服务监控


一、 简介


1.1 Ambari介绍


Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Spark等。

1.2 关于本手册


本手册假定您已经通过Ambari完成了HDP的安装,如果您还没有完成安装,请参考:【Ambari】CentOS7.3 内网环境安装Ambari2.7.4+HDP3.1.4(阿里云服务器)_ambari-agent.x86_64.0.2.7.4.0-118下载-CSDN博客。


二、综合运维


您可以在管理界面中可以进行集群、节点和服务级别的管理和运维。在“综合运维”部分,我们将介绍集群和节点级别的管理和运维以及通用的服务管理。

2.1 Ambari一览


Ambari是集群图形化管理应用程序。通过Ambari可视性来控制 Hadoop 集群,您可以轻松地部署、安装、监控和集中操作整个的 HDP集群。如下所示,Ambari承载管理控制台、Web 服务器和应用程序逻辑。它负责安装软件、配置、启动和停止服务,以及管理在集群运行的服务。

Ambari由以下几部分组成:

  • 集群代理(ambari-agent:在集群中的每台主机上都必须安装代理。它负责启动和停止进程,安装、卸载配置、 报警以及监视主机。(Ambari安装时候会自动安装)
  • 元数据库:存储系统的配置和监视日志信息。通常有多个逻辑数据库运行在一个或多个数据库服务器。我们默认使用MySQL关系型数据库。
  • 服务端(ambari-server):Ambari-server集群安装和配置统一的配置和管理,控制集群代理完成整个集群组件的安装和卸载等基本管理。

2.1.1 命令行操作

通过命令行,您可以启动、停止和重启ambari-server服务。

ambari-server start|stop|restart|status

启动、停止和重启ambari-agent及查看当前状态(在对应节点上执行)

ambari-agent start|stop|restart|status

2.1.2 登入和登出

登入

打开客户端浏览器(推荐使用Google Chrome),输入管理节点IP或DNS地址,比如http://192.168.2.161:8180/(192.168.2.161是管理节点IP, 端口号是8080),输入用户名和密码。初次登入时候必须以admin的身份登录,admin的默认密码是admin。

登出

点击用户界面右上角的登入用户名显示下拉式菜单,点击“Sign out”菜单登出系统,如下:

2.1.3. 管理界面首页

管理界面有以下一些重要元素:


三、服务的管理和运维


下面介绍服务相关的管理和运维操作,我们只对HDFS这一个组件的操作进行说明,YARN、HBase等组件操作基本类似,下面我们介绍两种常用的操作:服务重启和配置添加。

3.1 HDFS运维


Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

3.1.1 启动/停止/删除HDFS服务

在“HDFS”服务主页面上,将鼠标移至HDFS框的右上角“Action”,出现下拉菜单,您可以点击菜单栏中的选项启动、停止、删除该HDFS服务。

如下红框中的启动、停止等操作是针对整个HDFS服务的操作。

单个服务的启动或停止,我们可以选择点击进入”NAMENODE”服务

如下图,我们可以对单个服务“NameNode” 选择 restart、stop等操作

3.1.2 HDFS服务的配置

选择config下的“SETTINGS”可以进行基本的配置,包括NameNode和Datanode内存、NameNode和DataNode数据保存目录等。

如下图,我们将 “NameNode Java heap size”调整为2G后保存

备注操作信息后,选择“save”保存

选择“OK”

选择“PROCESS ANYWAY”

配置修改完成后,需要重启相关服务组件来刷新配置,我们选择 “RESTART All Required”

确定全部重启

等待全部重启完成

ADVANCED中Customer Core-site增加配置

找到 “Customer core-site”

选择“Add Property”

将如下的键值对关系配置到对应的页面,要添加三次

dfs.namenode.replication.max-streams 10

dfs.namenode.replication.max-streams-hard-limit 20

dfs.namenode.replication.work.multiplier.per.iteration 10

添加完成后的配置,添加完成后选择“save”保存

备注操作信息后,选择“save”保存

选择“PROCESS ANYWAY”

配置修改完成后,需要重启相关服务组件来刷新配置,我们选择 “RESTART All Required”

确定全部重启

等待重启完成,重启完成后配置生效。

3.1.3 HDFS服务监控

如下图,Metrics 是监控信息,包括NameNode内存,RPC,Heap、Load、blocks数等监控项。

对于HDFS、HBase、YARN等服务组件,我们上面只列举了重启和配置修改等操作,更多的复杂操作建议联系大数据工程师完成。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/168946.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

运动蓝牙耳机什么牌子好?百元蓝牙运动耳机排行榜

​跑步、骑车、健身等运动时,大家都需要一款专业的运动耳机来陪伴,它不仅可以提供高品质的音乐和佩戴舒适度,还可以帮助你掌握运动状态,让你更加专注和投入。今天我为大家推荐几款备受好评的运动耳机,它们都拥有不错的…

C#,《小白学程序》第六课:队列(Queue)其二,队列的应用,编写《实时叫号系统》

医院里面常见的《叫号系统》怎么实现的&#xff1f; 1 文本格式 /// <summary> /// 下面定义一个新的队列&#xff0c;用于演示《实时叫号系统》 /// </summary> Queue<Classmate> q2 new Queue<Classmate>(); /// <summary> /// 《小白学程序…

数据结构与算法编程题22

交换二叉树每个结点的左孩子和右孩子 #define _CRT_SECURE_NO_WARNINGS#include <iostream> using namespace std;typedef char ElemType; #define ERROR 0 #define OK 1 #define STR_SIZE 1024 typedef struct BiTNode {ElemType data;BiTNode* lchild, * rchild; }BiTN…

Centos 7、Debian、Ubuntu中tree指令的检查与下载

目录 前言 Centos 7中检查tree指令是否安装的两种办法 which指令检查 查看当前版本指令 不同版本下安装tree指令 Centos 7的发行版本 重点 Debian的发行版本 重点 Ubuntu的发行版本 重点 前言 在大多数Linux发行版中&#xff0c;tree命令通常不是默认安装的指令。…

Unity-类-ScriptableObject

ScriptableObject 是一个可独立于类实例来保存大量数据的数据容器。ScriptableObject 的一个主要用例是通过避免重复值来减少项目的内存使用量。如果项目有一个预制件在附加的 MonoBehaviour 脚本中存储不变的数据,这将非常有用。 每次实例化预制件时,都会产生单独的数据副本…

Koa.js启动一个websocket服务器

在Koa.js中&#xff0c;您可以使用ws库来创建WebSocket服务器。以下是一个简单的示例代码&#xff0c;演示了如何在Koa.js中启动一个WebSocket服务器&#xff1a; 首先&#xff0c;确保你已经通过npm或yarn安装了koa和ws库。如果还没有安装&#xff0c;可以通过以下命令安装&am…

双向链表超详解——连我奶奶都能学会的复杂链表(带头双向循环)

文章目录 前言一、双向链表的概念二、双向链的结构设计三、双链表的基本功能接口四、双向链表接口的实现4.1、创建结点4.2、初始化链表4.3、打印链表4.4、尾插结点4.5、尾删结点4.6、头插结点4.7、头删结点4.8、在pos结点前面插入4.9、删除pos位置的结点4.10、查找链表中的某个…

代码随想录算法训练营第四十五天|139.单词拆分、背包问题总结

LeetCode 139. 单词拆分 题目链接&#xff1a;139. 单词拆分 - 力扣&#xff08;LeetCode&#xff09; 这道题使用完全背包来实现&#xff0c;我们首先考虑字符串是否可以由字符串列表组成&#xff0c;因此dp数组大小为n 1 &#xff0c;其意义是&#xff0c;在n个位置时是否能…

Qt Network

Qt Network Qt Network为使用TCP/IP的应用程序编程提供了一组API。各种C++类处理诸如请求、cookies和通过HTTP发送数据之类的操作。 标题使用模块 使用Qt模块需要直接或通过其他依赖项链接到模块库。一些构建工具对此有专门的支持,包括CMake和qmake. 标题使用CMake构建 使…

Motion Plan之基于采样的路径规划算法笔记

Motion Plan之搜索算法笔记 背景&#xff1a; 基于采样算法是一种在路径规划中广泛应用的有效方法。它通过在图中随机选择点来生成一个简化的搜索图&#xff0c;从而加速搜索过程。这种方法的主要优点包括减少内存使用&#xff0c;避免计算错误&#xff0c;具有动态障碍物对抗…

前车之鉴: 适用于所有select选择框的 全选反选逻辑,如何只用单个change事件优雅完成

文章目录 实际效果1.1 效果展示1.2 核心功能 Show CodeQ & A彩蛋 实际效果 1.1 效果展示 1.2 核心功能 区别网上其他思路&#xff0c;我这里不需要使用原生点击事件&#xff0c;将全选反选逻辑收敛在一个change事件上 此前已经看过一些全选逻辑同学尝试过后&#xff0c;会…

Re54:读论文 How Context Affects Language Models‘ Factual Predictions

诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类 论文名称&#xff1a;How Context Affects Language Models’ Factual Predictions ArXiv网址&#xff1a;https://arxiv.org/abs/2005.04611 2020年AKBC论文&#xff0c;作者来自脸书和UCL。 本文主要关注…

C语言--每日选择题--Day24

第一题 1. 在C语言中&#xff0c;非法的八进制是&#xff08; &#xff09; A&#xff1a;018 B&#xff1a;016 C&#xff1a;017 D&#xff1a;0257 答案及解析 A 八进制是0&#xff5e;7的数字&#xff0c;所以A错误 第二题 2. fun((exp1,exp2),(exp3,exp4,exp5))有几…

vcsa6.7打补丁操作

首先到官网中查找到最新的patch&#xff0c;需要有注册账号才可操作 网址链接&#xff1a;https://customerconnect.vmware.com/patch#search 下载后把iso文件上传到磁盘中&#xff0c;vcsa虚拟机中做光盘iso挂接后&#xff0c; 使用浏览器输入https://ip:5480登录&#xff…

ElasticSearch查询语法及深度分页问题

一、ES高级查询Query DSL ES中提供了一种强大的检索数据方式,这种检索方式称之为Query DSL&#xff08;Domain Specified Language 领域专用语言&#xff09; , Query DSL是利用Rest API传递JSON格式的请求体(RequestBody)数据与ES进行交互&#xff0c;这种方式的丰富查询语法…

P9206 不死「徐福时空」

这个题其实几乎就是个模拟题,怎么实现希尔排序的思路已经告诉你了,你就按部就班的实现即可 最值得注意的是,这个代价的计算,这个代价是两点间距离 / d 1,题目中给的有点精简了,不过这个题确实就这个点值得思考,其他的对着思路打就行 以下是AC代码 #include<bits/stdc.h>…

flink的异常concurrent.TimeoutException: Heartbeat of TaskManager with id的解决

背景 在使用flink进行集成测试时&#xff0c;我们会使用MiniClusterWithClientResource类&#xff0c;但是当我们断点导致在某个方法执行的时间比较长时&#xff0c;会有错误发生&#xff0c;那么该如何解决这个错误呢&#xff1f; 处理concurrent.TimeoutException: Heartbe…

vivo开发者链接

开发平台 vivo开放平台 这里注册的是都企业账号&#xff0c;要上传企业信息。 开发者社区 vivo开发者社区 这里才能个人开发账号。

@ResponseBody详解

ResponseBody() 作用&#xff1a; responseBody注解的作用是将controller的方法返回的对象通过适当的转换器转换为指定的格式之后&#xff0c;写入到response对象的body区&#xff0c;通常用来返回JSON数据或者是XML数据。 位置&#xff1a; ResponseBody是作用在方法上的&…

Docker 运行 Oracle Autonomous Database Free Container

​ Docker 运行 Oracle Autonomous Database Free Container Oracle Autonomous Database Free Container Image 介绍通过 Docker 运行 Oracle Autonomous Database Free ContainerWallet 配置可用的 TNS 别名MY_ATP TNS 别名MY_ADW TNS 别名连接到 Oracle Autonomous Databas…