Cloudera Manager

Cloudera Manager 分为两个部分：CDH和CM。

CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。

CM是cloudera manager的简称，是CDH的管理平台，主要包括CM server, CM agent。通过CM可以对CDH进行配置，监测，报警，log查看，动态添加删除各种服务等。

一、准备工作

环境

JDK:1.8  
centos:7.3操作系统：CentOS 6
JDK 版本：1.7.0_80所需安装包及版本说明：由于我们的操作系统为CentOS7，需要下载以下文件：cloudera-manager-centos7-cm5.12.1_x86_64.tar.gzCDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcelCDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1manifest.json

Cloudera Manager 下载目录 http://archive.cloudera.com/cm5/cm/5/

CDH 下载目录 http://archive.cloudera.com/cdh5/parcels/5.12.1/

manifest.json 下载 http://archive.cloudera.com/cdh5/parcels/5.12.1/manifest.json

CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 重命名为 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

这点必须注意，否则，系统会重新下载 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel 文件

本文采用离线安装方式，在线安装方式请参照官方文

CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。　　CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。　　CDH分为Cloudera Manager管理平台和CDH parcel（parcel包含各种组件的安装包）。这里采用CDH6.2.0。　　Cloudera Manger下载地址为https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/，如图：　　　　CDH6.2.0安装包地址为：https://archive.cloudera.com/cdh6/6.2.0/parcels/ 　　由于操作系统为CentOS7，需要下载以下文件：　　　　上述文件整理资料百度云下载地址为：　　链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3 2. 安装步骤说明：以下操作都是在root用户下进行的 2.1 环境准备 2.1.1. 准备虚拟机（根据自己的系统资源分配虚拟机资源） 2.1.2. 静态IP设置（每个节点） vim /etc/sysconfig/network-scripts/ifcfg-eth0 service network restart 重启网络生效 yum install -y net-tools ifconfig查看设置 2.1.3. 编辑/etc/hosts文件（每个节点） vim /etc/hosts 2.1.4. 关闭防火墙、禁止防火墙开机自启（每个节点） systemctl stop firewalld 关闭防火墙 systemctl disable firewalld 禁止防火墙开机自启 vim /etc/selinux/config —> SELINUX=disabled (修改) 2.1.5. ssh无密码登录 manager节点执行ssh-keygen -t rsa 一路回车到结束，在/root/.ssh/下面会生成一个公钥文件id_rsa.pub cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将公钥追加到authorized_keys chmod 600 ~/.ssh/authorized_keys 修改权限将~/.ssh从当前节点分发到其他各个节点。如：scp -r ~/.ssh/ root@node1:~/.ssh/ ssh 各个节点互相登陆 2.1.6. 配置NTP服务（所有节点）修改时区（改为中国标准时区）ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 安装ntp yum -y install ntp ntp主机配置 vim /etc/ntp.conf manager节点其余节点重新启动 ntp 服务：service ntpd restart 设置开机自启：systemctl enable ntpd.service ntpdc -c loopinfo #查看与时间同步服务器的时间偏差 ntpq -p #查看当前同步的时间服务器 ntpstat #查看状态配置成功状态（服务开启后前面出现说明成功）： 2.1.7. 修改Linux swappiness参数(所有节点）为了避免服务器使用swap功能而影响服务器性能，一般都会把vm.swappiness修改为0（cloudera建议10以下）上述方法rhel6有效，rhel7.2中:tuned服务会动态调整系统参数查找tuned中配置，直接修改配置 cd /usr/lib/tuned/ grep “vm.swappiness” -R 查询出后依次修改修改完确认: 参考：sysctl修改内核参数重启不生效 https://blog.csdn.net/ygtlovezf/article/details/79014299 2.1.8. 禁用透明页(所有节点） echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled 永久生效在/etc/rc.local 添加上面命令给与可执行权限：chmod +x /etc/rc.d/rc.local 2.1.9. JDK安装（所有节点） rpm -qa \| grep java # 查询已安装的java yum remove java* # 卸载 rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm vi /etc/profile 末尾添加 source /etc/profile java -version验证 2.1.10. 创建/usr/share/java目录，将mysql-jdbc包放过去（所有节点） mkdir -p /usr/share/java mv /opt/mysql-j/mysql-connector-java-5.1.34.jar /usr/share/java/ mysql-connector-java-5.1.34.jar 一定要命名为mysql-connector-java.jar 2.1.11. 为保证防火墙、虚拟机参数修改后生效，各节点机器需要重启 reboot 2.1.12. Mysql安装卸载原生的mariadb，安装mysql： rpm -qa\|grep mariadb rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64 cd /opt/mysql/ tar -xvf ./mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm MYSQL配置如下: mysqld --initialize --user=mysql # 初始化mysql使mysql目录的拥有者为mysql用户 cat /var/log/mysqld.log # 最后一行将会有随机生成的密码 systemctl start mysqld.service # 设置mysql服务自启 mysql -uroot –p 如果不能登陆 systemctl restart mysqld #登录并修改mysql的管理者密码　　　　$>mysql -u root 　　　　mysql>use mysql; 　　　　mysql>set password = PASSWORD('root'); 　　　　mysql>exit; 创建库(后续安装服务等使用) create database cmserver default charset utf8 collate utf8_general_ci; grant all on cmserver.* to 'cmserveruser'@'%' identified by 'root';create database metastore default charset utf8 collate utf8_general_ci; grant all on metastore.* to 'hiveuser'@'%' identified by 'root';create database amon default charset utf8 collate utf8_general_ci; grant all on amon.* to 'amonuser'@'%' identified by 'root';create database rman default charset utf8 collate utf8_general_ci; grant all on rman.* to 'rmanuser'@'%' identified by 'root';create database oozie default charset utf8 collate utf8_general_ci; grant all on oozie.* to 'oozieuser'@'%' identified by 'root';create database hue default charset utf8 collate utf8_general_ci; grant all on hue.* to 'hueuser'@'%' identified by 'root'; 2.1.13. 安装Httpd服务（manager） yum install httpd systemctl start httpd systemctl enable httpd.service 设置httpd服务开机自启 2.1.14. 配置Cloudera Manager包yum源（manager节点） mkdir -p /var/www/html/cloudera-repos/ 将下载的cm包文件移到此目录下: mv cm6 /var/www/html/cloudera-repos/ cd /var/www/html/cloudera-repos/cm6/ 创建repodata： createrepo . vim /etc/yum.repos.d/cloudera-manager.repo 　　注意路径：http://manager/cloudera-repos/cm6/ yum clean all yum makecache 2.1.15.导入GPG key（如果没有这步操作，很可能cloudera服务安装失败）manager节点 rpm --import http://manager/cloudera-repos/cm6/RPM-GPG-KEY-cloudera 2.1.16. 安装 Cloudera Manager（manager节点） sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server 安装完CM后/opt/ 下会出现cloudera目录 mv /opt/parcels/* /opt/cloudera/parcel-repo # 将parcel包移动到指定位置在/opt/cloudera/parcel-repo执行以下命令： sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel \| awk ‘{ print $1 }’ > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha 执行初始化脚本: /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver cmserveruser password 打开server服务: service cloudera-scm-server start 静候几分钟，打开http://manager:7180 2.2 其他服务安装 2.2.1 登录cm WEB界面 http://主机ip:7180/cmf/login 访问CM 用户名admin 密码admin 遇到问题：7180服务没有启动解决方法：查看端口服务，未启动 cm服务启动显示正常。我在刚启动服务后7180没有启动，没找到什么原因，后来晾了它一晚上，第二天一查端口，居然启动了，可能是cm服务要启动的东西太多，主机一时没启动。启动成功！备注： linux查看端口：https://www.cnblogs.com/Archmage/p/7570716.html 2.2.2 具体安装步骤 WELCOME Accept License Select Edition 版本选择免费版，已经够用。 Welcome (Add Cluster - Installation) Specify Hosts 主机是自己规划安装agent的主机 Select Repository JDK 安装选项 Enter Login Credentials Install Agents 最到考验网速的时候了，该页面使用js进行刷新，千万别手动刷新，手动刷新的话安装列表中之前已经功成的会消失，未成功的显示，未成功即使安装成功了，cm会管理不到之前已经成功但刷新后未显示的主机，在安装集群时只能选择本次显示的（原因未知）。网速过慢的话安装会失败，一定要耐心等待，别做无关操作。失败重试直到成功，再次说明，耐心等待。 n次失败之后终于安装成功！ Install Parcels 安装成功！等了有将近半天的时候。。。 Inspect Hosts 问题处理：时钟同步是由于我恢复过一次镜像，在手动同步一下即可。服务端启动（恢复镜像居然没启动) 各台同步虚拟内存设置： Cloudera 建议将 /proc/sys/vm/swappiness 设置为0-10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响：查看详细信息 cdh[171-174] 解决：临时解决通过echo 10 > /proc/sys/vm/swappiness即可解决。永久解决 sysctl -w vm.swappiness=10 echo vm.swappiness = 10 >> /etc/sysctl.conf 透明大页问题：已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响: 查看详细信息 cdh[171-174] 处理：大内存页禁用 echo never>/sys/kernel/mm/transparent_hugepage/defrag echo never>/sys/kernel/mm/transparent_hugepage/enabled 升级软件依赖版本 Starting with CDH 6, PostgreSQL-backed Hue requires the Psycopg2 version to be at least 2.5.4, see the documentation for more information. This warning can be ignored if hosts will not run CDH 6, or will not run Hue with PostgreSQL. The following hosts have an incompatible Psycopg2 version of ‘2.5.1’: 查看详细信息 cdh[171-174] 本次忽略处理完成： 2.3 大数据组件安装正式安装前拍个快照 Select Services 自定义角色分配数据库设置这里测试了一晚上。。。审核更改（可以自己更改目录，我使用的是默认） cdh管理界面，大功告成：第一次进入后，许多服务标红，查看后是agent与cm失去连接。 #ntpstat（所有节点）只有cm启动，其余莫名停止。 #systemctl start ntpd（停止节点） #ntpdate -u cdh1（ntp服务端）在失去的节点执行 service cloudera-scm-agent restart（停止节点）重启正常启动不报错注 service cloudera-scm-agent status（查看 agent 状态）总结【参考资料】 https://blog.csdn.net/wolf_333/article/details/89071203 http://www.cnblogs.com/mylovelulu/p/10384732.html https://blog.csdn.net/qq_40127822/article/details/84441869 https://www.cnblogs.com/raphael5200/p/5293960.html https://www.waitig.com/%E5%AF%B9cloudera-hadoop%E5%A4%9A%E4%B8%80%E4%BA%9B%E4%BA%86%E8%A7%A3.html cdh切换日志目录 https://www.520mwx.com/view/46525 cdh服务器磁盘划分好文要顶关注我收藏该文

二、系统环境搭建

1、网络配置(所有节点)

修改 hostname

命令格式

hostnamectl set-hostname <hostname>

依次修改所有节点 node[1-7]

hostnamectl set-hostname node1

重启服务器

reboot

修改映射关系

1.在 node1 的 /etc/hosts 文件下添加如下内容

$ vi /etc/hosts

2.查看修改后的/etc/hosts 文件内容

[root@node7 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.252.121 node1
192.168.252.122 node2
192.168.252.123 node3
192.168.252.124 node4
192.168.252.125 node5
192.168.252.126 node6
192.168.252.127 node7

2、SSH 免密码登录

1.在集群node1的 /etc/ssh/sshd_config 文件去掉以下选项的注释

vi /etc/ssh/sshd_config

RSAAuthentication yes      #开启私钥验证
PubkeyAuthentication yes   #开启公钥验证

2.将集群node1 修改后的 /etc/ssh/sshd_config 通过 scp 命令复制发送到集群的每一个节点

for a in {2..7} ; do scp /etc/ssh/sshd_config node$a:/etc/ssh/sshd_config ; done

3.生成公钥、私钥

1.在集群的每一个节点节点输入命令 ssh-keygen -t rsa -P ''，生成 key，一律回车

ssh-keygen -t rsa -P ''

4.在集群的node1 节点输入命令

将集群每一个节点的公钥id_rsa.pub放入到自己的认证文件中authorized_keys;

for a in {1..7}; do ssh root@node$a cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done

5.在集群的node1 节点输入命令

将自己的认证文件 authorized_keys ` 通过 scp 命令复制发送到每一个节点上去: /root/.ssh/authorized_keys

for a in {1..7}; do scp /root/.ssh/authorized_keys root@node$a:/root/.ssh/authorized_keys ; done

6.在集群的每一个节点节点输入命令

接重启ssh服务

sudo systemctl restart sshd.service

7.验证 ssh 无密登录

开一个其他窗口测试下能否免密登陆

例如：在node3

ssh root@node2

exit 退出

3、关闭防火墙

systemctl stop firewalld.service

4、关闭 SELINUX

查看

[root@node1 ~]# getenforce
Enforcing
[root@node1 ~]# /usr/sbin/sestatus -v
SELinux status:

临时关闭

## 设置SELinux 成为permissive模式
## setenforce 1 设置SELinux 成为enforcing模式
setenforce 0

永久关闭

vi /etc/selinux/config

将 SELINUX=enforcing 改为 SELINUX=disabled

设置后需要重启才能生效

PS 我是修改node1 的 /etc/selinux/config 后，把配置文件复制到其他节点

for a in {2..7}; do scp /etc/selinux/config root@node$a:/etc/selinux/config ; done

重启所有节点

reboot

5、安装 JDK

下载Linux环境下的jdk1.8，请去（官网）中下载jdk的安装文件

我在百度云盘分下的链接：http://pan.baidu.com/s/1jIFZF9s 密码：u4n4

上传在 /opt 目录

解压

cd /opt
tar zxvf jdk-8u144-linux-x64.tar.gz
mv jdk1.8.0_144/ /lib/jvm

配置环境变量

vi /etc/profile

#jdk
export JAVA_HOME=/lib/jvm
export JRE_HOME=${JAVA_HOME}/jre   
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   
export PATH=${JAVA_HOME}/bin:$PATH

使环境变量生效

source /etc/profile

验证

[root@localhost ~]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

6、设置 NTP

所有节点安装 NTP

yum install ntp

设置同步

ntpdate -d 182.92.12.11

7、安装配置 MySql

主节点安装 MySql

MySQL依赖于libaio 库

yum search libaio
yum install libaio

下载，解压，重命名

通常解压在 /usr/local/mysql

把mysql-5.7.19-linux-glibc2.12-x86_64 文件夹，重命名成mysql,这样就凑成/usr/local/mysql目录了

cd /opt/
wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz
tar -zxvf /opt/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
mv /usr/local/mysql-5.7.19-linux-glibc2.12-x86_64/ /usr/local/mysql

1. 新建用户组和用户

groupadd mysql
useradd mysql -g mysql

2. 创建目录并授权

cd /usr/local/mysql/ 
mkdir data mysql-files
chmod 750 mysql-files
chown -R mysql .
chgrp -R mysql .

3. 初始化MySQL

bin/mysqld --initialize --user=mysql # MySQL 5.7.6 and up

4. 注意密码 mysql 临时密码

[注意]root@localhost生成临时密码：;b;s;)/rn6A3,也就是root@localhost:后的字符串

2017-09-24T08:34:08.643206Z 1 [Note] A temporary password is generated for root@localhost: D<qha)5gtr<!

5. 授予读写权限

chown -R root .
chown -R mysql data mysql-files

6. 添加到MySQL 启动脚本到系统服务

cp support-files/mysql.server /etc/init.d/mysql.server

7. 给日志目录授予读写权限

mkdir /var/log/mariadb
touch /var/log/mariadb/mariadb.log
chown -R mysql:mysql /var/log/mariadb

8. 修改 /etc/my.cnf

vi /etc/my.cnf

修改 [mysqld]组下的 socket 路径，注释掉/var/lib/mysql/mysql.sock，加一行为tmp/mysql.soc

[mysqld]
datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
socket=/tmp/mysql.sock

9.启动MySQL服务

service mysql.server start

或者

/usr/local/mysql/support-files/mysql.server start

10. 登录MySQL

/usr/local/mysql/bin/mysql -uroot -p
Enter password:

如果不知道密码 密码在，安装MySQL步骤 4 ，有提到，怎么找初始化临时密码

11. 设置MySQL密码

登陆成功后，设置MySQL密码

mysql> ALTER USER   'root'@'localhost' identified by 'mima';
mysql> flush privileges;

12. 开启远程登录

mysql> grant all privileges on *.*  to  'root'@'%'  identified by 'mima'  with grant option;
mysql> flush privileges;
mysql> exit;

8、下载依赖包

yum -y install chkconfig
yum -y install bind-utils
yum -y install psmisc
yum -y install libxslt
yum -y install zlib
yum -y install sqlite
yum -y install cyrus-sasl-plain
yum -y install cyrus-sasl-gssapi
yum -y install fuse
yum -y install portmap
yum -y install fuse-libs
yum -y install redhat-lsb

三、cloudera manager Server & Agent 安装

1、安装 CM Server & Agent

在所有节点，创建/opt/cloudera-manager

mkdir /opt/cloudera-manager

把下载好的cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz安装包上传至 node1 节点/opt/目录

在 node1 节点拷贝 cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz 到所有 Server、Agent 节点创建 /opt/cloudera-manager 目录：

for a in {2..7}; do scp /opt/cloudera-manager-*.tar.gz root@node$a:/opt/ ; done

所有 Server、Agent 节点节点解压安装 Cloudera Manager Server & Agent

cd /opt
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户 cloudera-scm（所有节点）

cloudera-scm 用户说明，摘自官网：

Cloudera Manager Server and managed services are configured to use the user account cloudera-scm by default, creating a user with this name is the simplest approach. This created user, is used automatically after installation is complete.

Cloudera管理器服务器和托管服务被配置为在默认情况下使用用户帐户Cloudera-scm，创建具有这个名称的用户是最简单的方法。创建用户，在安装完成后自动使用。

执行：在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cloudera-manager/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置 CM Agent

修改 node1 节点

/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

cd /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/
vi config.ini

在node1 操作将 node1 节点修改后的 (复制到所有节点)

for a in {1..7}; do scp /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini root@node$a:/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini ; done

4、配置 CM Server 的数据库

在主节点 node1 初始化CM5的数据库：

下载 mysql 驱动包

cd /opt/cloudera-manager/cm-5.12.1/share/cmf/lib
wget http://maven.aliyun.com/nexus/service/local/repositories/hongkong-nexus/content/Mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar

启动MySQL服务

service mysql.server start

cd /opt/cloudera-manager/cm-5.12.1/share/cmf/schema/./scm_prepare_database.sh mysql cm -h node1 -uroot -pmima --scm-host node1 scm scm scm

看到如下信息，恭喜您，配置没毛病

[main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

格式:

scm_prepare_database.sh mysql cm -h <hostName> -u<username>  -p<password> --scm-host <hostName>  scm scm scm对应于：数据库类型  数据库 服务器 用户名 密码  –scm-host  Cloudera_Manager_Server 所在节点……

5、创建 Parcel 目录

Manager 节点创建目录/opt/cloudera/parcel-repo，执行：

将下载好的文件

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
manifest.json

拷贝到该目录下。

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo

重命名，CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 否则，系统会重新下载 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

Agent 节点创建目录/opt/cloudera/parcels，执行：

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、启动 CM Manager&Agent 服务

注意，mysql 服务启动，防火墙关闭

在 node1 (master) 执行：

Server

/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start

在 node2-7 (Agents) 执行：

Agents

/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

访问 http://Master:7180 若可以访问（用户名、密码：admin），则安装成功。

Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

四、CDH5 安装

CM Manager && Agent 成功启动后，登录前端页面进行 CDH 安装配置。

免费版本的 CM5 已经去除 50 个节点数量的限制。

各个 Agent 节点正常启动后，可以在当前管理的主机列表中看到对应的节点。

选择要安装的节点，点继续。

点击，继续，如果配置本地 Parcel 包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约 10 多分钟吧，取决于内网网速。

（若本地 Parcel 有问题，重新检查步骤三、5 是否配置正确）

点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约10多分钟吧，取决于内网网速。

遇到问题

问题一 接下来是服务器检查，可能会遇到以下问题：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。

使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。

您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响：node[2-7]

echo 0 > /proc/sys/vm/swappiness

问题二 已启用透明大页面压缩，可能会导致重大性能问题。请运行 echo never > /sys/kernel/mm/transparent_hugepage/defrag和 echo never > /sys/kernel/mm/transparent_hugepage/enabled 以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响: node[2-7]

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

五、脚本

MySql 建库&&删库

1、MySql 建库&&删库

amon

create database amon DEFAULT CHARACTER SET utf8; 
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';

hive

create database hive DEFAULT CHARACTER SET utf8; 
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';

oozie

create database oozie DEFAULT CHARACTER SET utf8; 
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

离线部署 CDH 6.2 及使用 CDH 部署 Hadoop3 大数据平台集群服务

Cloudera Manager

一、准备工作

环境

2. 安装步骤

2.1 环境准备

2.1.1. 准备虚拟机（根据自己的系统资源分配虚拟机资源）

2.1.2. 静态IP设置（每个节点）

2.1.3. 编辑/etc/hosts文件（每个节点）

2.1.4. 关闭防火墙、禁止防火墙开机自启（每个节点）

2.1.5. ssh无密码登录

2.1.6. 配置NTP服务（所有节点）

2.1.7. 修改Linux swappiness参数(所有节点）

2.1.8. 禁用透明页(所有节点）

2.1.9. JDK安装（所有节点）

2.1.10. 创建/usr/share/java目录，将mysql-jdbc包放过去（所有节点）

2.1.11. 为保证防火墙、虚拟机参数修改后生效，各节点机器需要重启 reboot

2.1.12. Mysql安装

2.1.13. 安装Httpd服务（manager）

2.1.14. 配置Cloudera Manager包yum源（manager节点）

2.1.15.导入GPG key（如果没有这步操作，很可能cloudera服务安装失败）manager节点

2.1.16. 安装 Cloudera Manager（manager节点）

2.2 其他服务安装

2.2.1 登录cm WEB界面

2.2.2 具体安装步骤

2.3 大数据组件安装

总结