CDH6.3.2安装文档

前置环境:

操作系统: CentOS Linux release 7.7

java JDK : 1.8.0_231

1、准备工作

准备以下安装包:

Cloudera Manager:

cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

CDH Parcel:

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1

manifest.json

MySQL:

mysql-community-common-5.7.19-1.el7.x86_64.rpm

mysql-community-libs-5.7.19-1.el7.x86_64.rpm

mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm

mysql-community-devel-5.7.19-1.el7.x86_64.rpm

mysql-community-client-5.7.19-1.el7.x86_64.rpm

mysql-community-server-5.7.19-1.el7.x86_64.rpm

全部放在/opt/CDH6.3.2 中

2、集群规划
hostnameIP角色CM组件软件包
bigdata1172.16.1.62masterserver,agentJDK1.8,mysql5.7
bigdata2172.16.1.63slaveagentJDK1.8
bigdata3172.16.1.64slaveagentJDK1.8
bigdata4172.16.1.65slaveagentJDK1.8
bigdata5172.16.1.67slaveagentJDK1.8
bigdata6172.16.1.68slaveagentJDK1.8
3、系统准备
3.1 修改主机名及映射(全部节点)
vi /etc/hostname
vi /etc/hosts
3.2 配置免密登录(SSH)(全部节点)

在用户主目录下,进入.ssh文件夹:

cd ~/.ssh

生成密钥:

ssh-keygen -t rsa

发放其他主机:

ssh-copy-id 主机名
3.3 时间同步NTP

所有节点安装ntp

yum -y install ntp

主节点:

vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
注释掉其他server xxx irurst

其他节点

vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
server bigdata1 iburst
注释掉其他server xxx irurst

添加server主机ip

vi /etc/sysconfig/ntpd
SYNC_CLOCK=yes

启动服务

systemctl start ntpd.service
​
systemctl enable ntpd.service
​
service ntpd status

其他节点:

crontab -e

写入:

*/10 * * * * /usr/sbin/ntpdate 主节点
3.4 修改系统参数(全部节点)
sysctl vm.swappiness=10
echo 'vm.swappiness=10'>> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
3.5 安装http(master节点)
yum -y install httpd

启动服务

service httpd start
4、安装软件
4.1 安装依赖(全部节点)
yum -y install chkconfig
yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib
yum -y install lsb
yum -y install libaio
​
4.2 安装JDK(全部节点)

1)上传JDK,在root用户下解压和配置,目录为:/usr/local/java/jdk1.8.0_231

mkdir -p /usr/share/java

将mysql-connector-java-5.1.46.jar拷贝至/usr/share/java/ 并更名为mysql-connector-java.jar

修改配置文件vi /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

添加软连接

ln -s /usr/local/java/jdk1.8.0_231/bin/java /usr/bin/java

mkdir /usr/java

ln -s /usr/local/java/jdk1.8.0_231 /usr/java/default
4.3 安装mysql(master节点)

按以下顺序安装

cd /opt/CDH6.3.2/mysql
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

启动mysql

systemctl start mysqld

设置开机自启动mysql

systemctl enable mysqld

获取临时密码

cat /var/log/mysqld.log | grep password

查询到初始密码 2eB>8r;ZEO%2

使用初始密码登录mysql账号

mysql -uroot -p’2eB>8r;ZEO%2’

设置mysql root密码

set password=password('Pw#123456');
​
quit;

登陆设置允许外网访问当前的MySQL

mysql -uroot -pPw#123456
use mysql;
update user set host='%' where host='localhost';
delete from user where host != '%';
flush privileges;
quit;

建立相关数据库及用户

mysql -uroot -pPw#123456
grant all on *.* to root@'%' identified by "Pw#123456" with grant option;
create database scm default character set utf8 default collate utf8_general_ci;
grant all on scm.* to 'scm'@'%' identified by 'Pw#123456';
create database hue default character set utf8 default collate utf8_general_ci;
grant all on hue.* to 'hue'@'%' identified by 'Pw#123456';
create database hive default character set utf8 default collate utf8_general_ci;
grant all on hive.* to 'hive'@'%' identified by 'Pw#123456';
flush privileges;
5、安装CM
5.1 安装deamons(全部节点)
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
5.2 安装agent(全部节点)
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
5.3 配置agent的server节点(全部节点)
cp /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/config.ini.template
​
vim /etc/cloudera-scm-agent/config.ini
server_host=bigdata1(主节点主机名)
5.4 安装server(master节点)
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
6、启动CM
6.1 上传CDH包到parcel-repo(master节点)
cp /opt/CDH6.3.2/parcel/* /opt/cloudera/parcel-repo/

修改sha1为sha

mv /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
mkdir -p /var/www/html/cdh6_parcel

将/opt/cloudera/parcel-repo 下的文件复制到 /var/www/html/cdh6_parcel/

cp  /opt/cloudera/parcel-repo/* /var/www/html/cdh6_parcel/
6.2 修改配置(master节点)
vim /etc/cloudera-scm-server/db.properties

# 填入如下内容

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.host=bigdata1:3306
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=Pw#123456
6.3 启动server(master节点)
service cloudera-scm-server start

查看server状态

systemctl status cloudera-scm-server  
6.4 启动agent(全部节点)
service cloudera-scm-agent start

查看agent状态

systemctl status cloudera-scm-agent
7、安装CDH集群(master节点IP)

http://172.16.1.62:7180/cmf/login

账号:admin

密码:admin

进行访问,根据提示进行安装7.1 点击继续

7.2 同意协议

7.3 选择第一个版本Cloudera Express

7.4 点击继续

7.5 集群命名

7.6 选择服务器

7.7 使用Parcel安装

7.8 开始下载安装

7.9 检查机器

7.10 选择安装服务,自定义安装

7.11 自定义角色分配

7.12 数据库配置

7.13 审核更改

路径配置较复杂,不同环境可能不一样,需要一一确认

7.14 部署

7.15 安装完成

7.16 页面展示

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/22175.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

视频号小店是什么?没有货源可以去做吗?一篇详解!

大家好,我是电商小V 视频号小店近两年在创业者眼中可以说是一个可以去操作的项目,也是可以激起来很高的讨论度,但是很多小伙伴对视频号小店了解不是很深,今天咱们就来详细的说一下:视频号小店, 视频号小店就…

鸿蒙Ability Kit(程序框架服务)【ServiceExtensionAbility】

ServiceExtensionAbility 概述 [ServiceExtensionAbility]是SERVICE类型的ExtensionAbility组件,提供后台服务能力,其内部持有了一个[ServiceExtensionContext],通过[ServiceExtensionContext]提供了丰富的接口供外部使用。 本文描述中称被…

EasyV开发人员的使用说明书

在可视化大屏项目时,开发人员通常需要承担以下任务: 技术实现:根据设计师提供的设计稿,利用前端技术(如HTML、CSS、JavaScript等)和后端技术(根据具体项目需求,可能是Java、Python、…

【工具】windows下VMware17解锁mac安装选项(使用unlocker427)

目录 0.简介 1.环境 2.安装前后对比 3.详细安装过程 3.1 下载unlocker427 1)下载地址 2)下载unlocker427.zip 3)解压之后是这样的 4)复制iso中的两个文件到你本地的VMware的安装目录下 5)复制windows下的所有…

计网期末复习指南(四):网络层(IP协议、IPv4、IPv6、CIDR、ARP、ICMP)

前言:本系列文章旨在通过TCP/IP协议簇自下而上的梳理大致的知识点,从计算机网络体系结构出发到应用层,每一个协议层通过一篇文章进行总结,本系列正在持续更新中... 计网期末复习指南(一):计算…

学生在课堂上可以用小风扇吗?五款学生可用迷你手持小风扇分享!

随着夏季的来临,高温酷暑成为了学生日常学习生活中的一大挑战。在闷热的教室里,人多风扇少,闷热的环境很容易就会让人学不下去。因此学生在课堂上最好是使用手持小风扇,但选择的手持小风扇噪音一定要小,不然很容易就会…

HarmonyOS(29)onMeasureSize和PlaceChildren (View的测量和布局)

onMeasureSize和PlaceChildren onMeasureSize和PlaceChildren 说明官方使用示例参考资料 onMeasureSize和PlaceChildren 说明 在Android开发中View的测量onMeasure和布局onLayout是自定义组件必备的两个方法,HarmonyOS对自定义布局也提供了两个方法: on…

面试题:谈谈你对 JS 内存泄漏与内存溢出的理解

面试题:谈谈你对 JS 内存泄漏与内存溢出的理解 内存泄漏(Memory Leak)指的是程序不需要使用的内存没有被正确释放,从而导致内存占用逐渐增加,最终可能会耗尽所有可用内存。 内存泄漏即不想用的内存没被释放 内存溢出&a…

【VSCode实战】转换大小写快捷键

今天在VSCode Insiders上编码,突然想将某常量转换为大写。按照virtual studio的习惯,我Ctrl Shift U没有效果,Ctrl U也没效果。网上搜了搜,原来VSCode Insiders没有这个默认功能。 而VSCode Insiders这么强大怎么可能没有大小…

ELK 使用 metricbeat监控数据

IP功能版本192.168.140.153elk-18.13.4192.168.140.153metricbeat8.13.4192.168.140.156elk-28.13.4192.168.140.156metricbeat8.13.4192.168.140.159logstash8.13.4192.168.140.159kibana8.13.4 一、安装ELK 参考文档: https://download.csdn.net/download/weix…

TG-5510CA温补晶振用于GPS应用

随着现代社会对精准定位和导航需求的不断增加,GPS(全球定位系统)已成为我们日常生活和各行各业中不可或缺的一部分。无论是在智能手机、汽车导航、无人机飞行控制,还是在精密的科学研究和军事应用中,GPS系统都扮演着至…

爬虫入门教程:爬虫概述

在数字化时代,数据已经成为我们生活和工作中不可或缺的一部分。而如何高效、准确地获取这些数据,成为了许多领域面临的共同问题。今天,我们就来一起探讨一下爬虫技术,这个能够自动从互联网上抓取信息的神奇工具。 一、什么是爬虫…

Android电量优化,让你的手机续航更持久

节能减排,从我做起。一款Android应用如果非常耗电,是一定会被主人嫌弃的。自从Android手机的主人用了你开发的app,一天下来,也没干啥事,电就没了。那么他就会想尽办法找出耗电量杀手,当他找出后&#xff0c…

Ambient Diffusion: Learning Clean Distributions from Corrupted Data

我们采用以下六个标准,用于对从损坏数据中学习的领域的研究进行分类: **学习范式:**该标准区分模型如何从数据中学习: 监督学习,如 Noise2Noise [39] 所示,涉及在损坏和干净图像对上训练模型。这种方法需要访问干净的数据,这可能并不总是可行的。无监督学习方法,如 Amb…

用户定制应用顺序

经常会有这样的个性化需求,用户希望可以在页面上按自己的偏好拖放移动应用图标,而且还能保存,下次访问该页面时应用图标就是按自己上次保存的顺序展示的。 拖放是一种常见的特性,即抓取对象后移动到另一个位置后放下。在 HTML5 中…

CentOS 7基础操作10_Linux备份与恢复文档

在Linux 操作系统中,最简单的文件和目录备份工具就是cp (复制)命令,但是当需要备份的文件、目录数量较多时,仅仅使用cp 命令就显得“力不从心”,并且备份的文件数量及其所占用的磁盘空间都可能会对服务器产生不小的压力…

PPT设置为本框的默认格式以及固定文本框

调整文本框固定位置 双击文本框之后勾选如下三个位置 设置文本框为默认 在调整好文本框的基本性质后,设置为默认即可

python-验证子串

题目描述 输入两个字符串,验证其中一个串是否为另一个串的子串。 输入两个字符串, 每个字符串占一行,长度不超过200且不含空格。 输出 若第一个串s1是第二个串s2的子串,则输出(s1) is substring of(s2)否则,若第二个串…

什么是实际嵌入表示和虚拟嵌入表示?

在知识图谱中,实体和关系通常被表示为向量空间中的点或向量,这些向量被称为嵌入表示。嵌入表示的目的是将实体和关系映射到连续的向量空间中,以便计算机可以更好地理解它们之间的语义关系。在这种情况下,可以将嵌入表示分为实际嵌…

pgvector v0.7.0 的新增功能

现实世界的嵌入数据集通常包含隐藏在向量空间中的冗余。例如,当向量聚集在多维空间中的某些中心点周围时,它会揭示一个可利用的结构。通过减少这种冗余,我们可以在对精度影响最小的情况下节省内存和性能。自 0.7.0 版以来,pgvecto…