centos7安装Cloudera Manager

第一部分：准备工作
一，修改hostname

$vim /etc/sysconfig/network
$source /etc/sysconfig/network

例如：

NETWORKING=yes
HOSTNAME=spark01

reboot重启服务器

二，关闭selinux
查看SELinux状态
1，/usr/sbin/sestatus -v #如果SELinux status参数为enable，即开启状态
2，getenforce #也可以用这个命令检查
关闭SELinux
1，临时关闭
setenforce 0

2，修改配置文件需要重启机器
修改/etc/selinux/config文件
将SELINUX=enforcing改成SELINUX=disabled

三，关闭防火墙

sudo systemctl stop firewalld.service && sudo systemctl disable firewalld.service

四，配置hosts

vim /etc/hosts

172.16.0.81   spark01

五，安装jdk

tar -zxvf [jdk包]

配置环境变量

vim /etc/profile

export JAVA_HOME=/home/app/jdk1.7.0_45/
export PATH=$PATH:$JAVA_HOME/bin

重新加载profile使配置生效

source /etc/profile

环境变量配置完成，测试环境变量是否生效

echo $JAVA_HOME
java -version

第二部分：Cloude Manager安装
1，从官方网站下载CDH软件包和Cloudera Manager安装包。
2，安装相关依赖组件

yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb httpd httpd-tools unzip ntp

3，启动httpd服务

systemctl start httpd.service
systemctl enable httpd.service #设置为开机启动

4，配置NTP时钟同步
在所有要安装CDH环境的设备中设置统一时钟同步服务。如果我们有时钟服务器，那么我们需要在每一台设备上进行NTP客户端配置；如果没有，我们就将server主机作为时钟服务器，对server主机进行NTP服务器配置。其他服务器来同步这台服务器的时钟。

本示例中将按照没有时钟服务器的情况进行演示，将server主机配置为NTP服务器，其他主机配置为NTP客户端。如果有时钟服务器更简单，所有的服务器都配置为NTP客户端就好了。
NTP服务器配置（在server主机上配置，如果有时钟服务器，server主机也是配置为客户端）
修改/etc/ntp.conf
对该文件的内容进行以下的修改：

1、注释掉所有的restrict开头的配置
2、找到restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap，取消注释，并将其中IP和掩码修改为真实环境IP和掩码，此行配置为允许ntp客户端连接的配置
3、找到server 0.centos.pool.ntp.org iburst，并将所有server配置进行注释
4、添加下面两行内容server 127.127.1.0fudge 127.127.1.0 stratum 10

启动NTP服务
执行以下命令启动ntp服务

systemctl restart ntpd

查看服务状态
启动服务后，使用ntpq -p查看服务状态，当reach达到比较大的值后（一般为17），再进行NTP客户端配置。

NTP客户端配置（在agent主机上进行配置）
修改/etc/ntp.conf
对该文件进行以下内容的修改：

1、注释所有restrict和server配置
2、添加下面注释，需要修改以下的IP为NTP服务器的IP（在本案例中就是server主机的IP）server 192.168.187.5

手动同步时间
为了避免首次同步时间比较慢，和测试一下我们是否配置正确，我们先使用下面命令手工同步一次。

ntpdate 192.168.187.51

启动NTP服务

systemctl restart ntpd

将所有的主机的ntp服务设置为开机自启动

chkconfig ntpd on
systenctl enable ntpd.service

5，mysql安装
mysql安装在server主机上，具体请参考相关参考教程，另外，也可以使用外部mysql服务，我本次安装，即是采用的外部mysql方式，后面再安装完cloudera后，说说如何配置

6.Cloudera Manager Server的安装
上传安装包

image


此处记得将CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1改成CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha，否则安装时将重新下载。
创建安装目录并解压安装介质
mkdir /opt/cloudera-manager
tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

安装数据库驱动

mkdir -p /usr/share/java
cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/mysql-connector-java.jar

创建系统用户cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

创建server存储目录

mkdir /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

创建hadoop离线安装包存储目录

mkdir -p /opt/cloudera/parcels;
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置agent的server指向

[root@hdfs1 ~]# vi /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
将server_host修改为cloudera manager server的主机名,对于本示例而言，也就是server主机。

部署CDH离线安装包

[root@hdfs1 ~]# mkdir -p /opt/cloudera/parcel-repo;
[root@hdfs1 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo;
[root@hdfs1 ~]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo/

上面由于使用外部mysql，此时，需要进行指定：

/opt/cloudera-manager/cm-5.15.1/share/cmf/schema/scm_prepare_database.sh mysql -h 172.16.0.36 -u root -p*** --scm-host spark01 scm root ***

此处如果执行报错，

image


需要给JAVA_HOME加软连接，先mkdir /usr/java执行ln -s [java文件路径] /usr/java/default

启动Cloudera Manager Server

/opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-server start

启动Cloudera Manager Agent

/opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-agent start

7, Cloudera Manager Agent的安装
在除了server服务器外的其他的服务器都要执行以下步骤进行对agent的部署。

上传安装包
对于agent的安装我们只需要以下的两个安装介质
Cloudera Manager 安装包：cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz
MySQL驱动包：mysql-connector-java-5.1.44-bin.jar
安装数据库驱动

[root@hdfs1 ~]# mkdir -p /usr/share/java
[root@hdfs1 ~]# cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/mysql-connector-java.jar

创建安装目录并解压安装介质

[root@hdfs1 ~]# mkdir /opt/cloudera-manager
[root@hdfs1 ~]# tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

建系统用户cloudera-scm

[root@hdfs1 ~]# useradd --system --home=/opt/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

创建hadoop离线安装包存储目录

[root@hdfs1 ~]# mkdir -p /opt/cloudera/parcels;
[root@hdfs1 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置agent的server指向

[root@hdfs1 ~]# vi /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
将server_host修改为cloudera manager server的主机名,对于本示例而言，也就是server主机。

启动Cloudera Manager Agent

[root@hdfs1 ~]# /opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

浏览器访问ip:7180
用户名：admin 密码：admin

到此为止，cloudera manager就安装完成。

第三部分：CDH安装
一路按照提示往下走，在检查主机环境的时候，要注意警告，尽量处理完。
注意点：将java的路径做软连接，否则会报错，具体怎么做，看前面介绍。
mysql的配置时，要先在把需要的库建好，再做测试连接就不会报错。
安装时如果Oozie报如下错，是因为数据库字符集的原因，修改成下图就行。

image

image

安装完成，祝你好运！

image

参考：https://my.oschina.net/epoch/blog/1633971
https://www.2cto.com/database/201806/753587.html
https://blog.csdn.net/clerk0324/article/details/73611937

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/277312.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

He Fei ,First ,Good Luck

He Fei ,First ,Good Luck

Tonight, I will go to HeFei.something as follows:1) speciality 2) sincerely3) valueHope i can bring customer some ideas .But i will throw my 100% energy to face it.Good Luck.First HeFei转载于:https://www.cnblogs.com/boriscao/archive/2005/08/31/227199.html…
阅读更多...
在C#中使用代理的方式触发事件 的简单习作

在C#中使用代理的方式触发事件 的简单习作

程序简单就 不再作说明了.在学习IssueVision的OBSERVER(观察者)模式时由于对代理和事件不是很熟悉,遇到了一些问题,所以就有了这个简单习作.TestEvent.cs using System; namespace ConsoleApplication2{ /// <summary> /// Class1 的摘要说明。 /// </summar…
阅读更多...
c语言递归有何作用,c语言中，什么是函数的递归，能举个例子么

c语言递归有何作用,c语言中，什么是函数的递归，能举个例子么

(PS:因为很多IT术语的定义都来源于国外&#xff0c;我们看的中文大部分是别人看了国外的文献然后以他的中文素养加以解释的&#xff01;但是中华语言博大精深&#xff01;而英语就较为简单了&#xff0c;记得上次看高德纳的《surrealnumber》时候&#xff0c;文中有一句“thebe…
阅读更多...
Nodejs 文件上传

Nodejs 文件上传

node js 接收表单数据原理 /*** node js 接收表单数据*/ const http require("http"); const qs require("querystring");http.createServer((request, response) > {// 表单提交的原理if (request.url "/post" && request.meth…
阅读更多...
c语言程序设计 银行整存整取,《C语言程序设计习题试题集》.doc

c语言程序设计 银行整存整取,《C语言程序设计习题试题集》.doc

《C语言程序设计习题试题集》.doc1、已知银行整存整取存款不同期限的月息利率分别为&#xff1a;0.315% 期限一年0.330% 期限二年0.345% 期限三年0.375% 期限五年0.420% 期限八年要求输入存钱的本金和期限&#xff0c;求到期时能从银行得到的利息与本金的合计。2、输入年份year…
阅读更多...
Grove——.NET中的ORM实现

Grove——.NET中的ORM实现

Grove——.NET中的ORM实现 发布日期&#xff1a; 6/30/2005| 更新日期&#xff1a; 6/30/2005作者&#xff1a;林学鹏 ORM的全称是Object Relational Mapping&#xff0c;即对象关系映射。它的实质就是将关系数据&#xff08;库&#xff09;中的业务数据用对象的形式表示出来&a…
阅读更多...
let和const

let和const

发布自Kindem的博客&#xff0c;欢迎大家转载&#xff0c;但是要注意注明出处。另外&#xff0c;该文章收纳在Kindem的个人的 IT 知识整理仓库&#xff0c;欢迎 Star、Fork、投稿 let let是在ES6加入的新的变量声明方法&#xff0c;let声明变量的方法和var类似: let a hello; …
阅读更多...
GIT 操作笔记

GIT 操作笔记

设置不用每次都输入 账号密码 git config --global credential.helper store然后&#xff0c;下次再输入一次 账号密码 就可以了。删除github上的文件$ git pull origin master 将远程仓库里面的项目拉下来$ dir 查看有哪些文件夹$ git rm -r --cached target 删除target文件…
阅读更多...
[book]道法自然

[book]道法自然

前不久读了王咏刚的〈凌波微步〉和〈凌波微步II〉&#xff0c;感觉不错。今天把他老人家的《道法自然》也买了下来。在dearbook看到关于这本书的长篇大评&#xff0c;也一块copy了下来&#xff1a;http://www.dearbook.com.cn/book/viewbook.aspx?pnoTS0023954认真的作者&…
阅读更多...
c语言编手机蓝牙软件的代码,51单片机C语言的简易蓝牙锁代码

c语言编手机蓝牙软件的代码,51单片机C语言的简易蓝牙锁代码

#include#define uint unsigned int#define uchar unsigned charuchar r_buf; //蓝牙接收到的字符存储缓冲区sbit PWMAP2^0; //电机驱动模块接口sbit IN1P2^2;sbit IN2P2^1;sbit STBYP2^3;sbit LED1P0^0; //LED灯接口sbit LED2P0^1;sbit LED3P0^2;sbit key1P1^0;…
阅读更多...
列表嵌套字典，根据字典某一key排序

列表嵌套字典，根据字典某一key排序

在返回列表嵌套字典时候&#xff0c;往往需要对数据进行一定的处理&#xff1a;按照字典中某一个key排序 In [87]: a [{"name": "牛郎", "age": 23},{"name":"许仙", "age": 20},{"name":"董永&q…
阅读更多...
display: inline-block 布局

display: inline-block 布局

三个元素display: inline-block; 布局 &#xff0c;其中一个元素中存在其他元素也用了display: inline-block; 无法垂直居中&#xff0c;将这个元素设置为display: inline; 转载于:https://www.cnblogs.com/Running00/p/11163751.html
阅读更多...
GCC精彩之旅

GCC精彩之旅

在为Linux开发应用程序时&#xff0c;绝大多数情况下使用的都是C语言&#xff0c;因此几乎每一位Linux程序员面临的首要问题都是如何灵活运用C编译器。目前 Linux下最常用的C语言编译器是GCC&#xff08;GNU Compiler Collection&#xff09;&#xff0c;它是GNU项目中符合ANSI…
阅读更多...
写出C语言中5种数据类型的名称及其关键字,求C语言中的32个关键字及其意思？...

写出C语言中5种数据类型的名称及其关键字,求C语言中的32个关键字及其意思？...

关键字如下&#xff1a;一、数据类型关键字(12个)&#xff1a;(1) char &#xff1a;声明字符型变量或函数(2) double &#xff1a;声明双精度变量或函数(3) enum &#xff1a;声明枚举类型(4) float&#xff1a;声明浮点型变量或函数(5) int&#xff1a; 声明整型变量或函数(6…
阅读更多...
想要设计自己的微服务？看这篇文章就对了

想要设计自己的微服务？看这篇文章就对了

欢迎大家前往腾讯云社区&#xff0c;获取更多腾讯海量技术实践干货哦~ 本文由我就静静地看 发表于云社区专栏 本文通过使用Spring Boot&#xff0c;Spring Cloud和Docker构建的概念验证应用程序的示例&#xff0c;为了解常见的微服务架构模式提供了一个起点。 该代码在Github上…
阅读更多...
函数的嵌套调用

函数的嵌套调用

在函数的内部调用其他的函数 def index(): func() print("index") def func(): index() # def index():# func()# print("index")## def func():# print("func")# index()#def my_max(x,y): #这个函数的作用就是比大小谁大打印出…
阅读更多...
mysql 开发进阶篇系列 41 mysql日志之慢查询日志

mysql 开发进阶篇系列 41 mysql日志之慢查询日志

一.概述 慢查询日志记录了所有的超过sql语句( 超时参数long_query_time单位 秒&#xff09;&#xff0c;获得表锁定的时间不算作执行时间。慢日志默认写入到参数datadir(数据目录)指定的路径下。默认文件名是[hostname]_slow.log&#xff0c;默认超时是10秒&#xff0c;默认不开…
阅读更多...
分数相同名次排名规则C语言,如何给数据排名（相同分数相同名次）-excel篇

分数相同名次排名规则C语言,如何给数据排名（相同分数相同名次）-excel篇

使用Rank函数来做数据排名该函数是返回一个数值在一个数字列表中的排名。语法&#xff1a;RANK(number,ref,order)RANK(对象,范围,参数)number(必填参数):是特定单位格中的数据&#xff0c;需要在整个数字列表中排名的单个对象。ref(必填参数):是指需要排名的整体数列。即范围&…
阅读更多...
子窗体列表在菜单中的实现

子窗体列表在菜单中的实现

想在菜单中加入子窗体的列表&#xff0c;上网找了半天&#xff0c;都很麻烦&#xff0c;后来看看了菜单的属性&#xff0c;发现里面有个MdiList属性&#xff0c;设置成true&#xff0c;搞定&#xff0c;晕。 转载于:https://www.cnblogs.com/catzhou/articles/258450.html
阅读更多...
MySql的连接查询

MySql的连接查询

若一个查询同时涉及到两个或者两个以上的表&#xff0c;则称之为连接查询。常见的包括&#xff1a;等值连接查询&#xff0c;自然连接查询&#xff0c;非等值连接查询&#xff0c;自身连接查询&#xff0c;外连接查询&#xff08;左右连接&#xff09;。 1.等值与非等值连接查询…
阅读更多...
最新文章

Copyright @ 2022~2023