CDH6.3.2安装文档

前置环境:

操作系统: CentOS Linux release 7.7

java JDK : 1.8.0_231

1、准备工作

准备以下安装包:

Cloudera Manager:

cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

CDH Parcel:

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1

manifest.json

MySQL:

mysql-community-common-5.7.19-1.el7.x86_64.rpm

mysql-community-libs-5.7.19-1.el7.x86_64.rpm

mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm

mysql-community-devel-5.7.19-1.el7.x86_64.rpm

mysql-community-client-5.7.19-1.el7.x86_64.rpm

mysql-community-server-5.7.19-1.el7.x86_64.rpm

全部放在/opt/CDH6.3.2 中

2、集群规划
hostnameIP角色CM组件软件包
bigdata1172.16.1.62masterserver,agentJDK1.8,mysql5.7
bigdata2172.16.1.63slaveagentJDK1.8
bigdata3172.16.1.64slaveagentJDK1.8
bigdata4172.16.1.65slaveagentJDK1.8
bigdata5172.16.1.67slaveagentJDK1.8
bigdata6172.16.1.68slaveagentJDK1.8
3、系统准备
3.1 修改主机名及映射(全部节点)
vi /etc/hostname
vi /etc/hosts
3.2 配置免密登录(SSH)(全部节点)

在用户主目录下,进入.ssh文件夹:

cd ~/.ssh

生成密钥:

ssh-keygen -t rsa

发放其他主机:

ssh-copy-id 主机名
3.3 时间同步NTP

所有节点安装ntp

yum -y install ntp

主节点:

vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
注释掉其他server xxx irurst

其他节点

vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
server bigdata1 iburst
注释掉其他server xxx irurst

添加server主机ip

vi /etc/sysconfig/ntpd
SYNC_CLOCK=yes

启动服务

systemctl start ntpd.service
​
systemctl enable ntpd.service
​
service ntpd status

其他节点:

crontab -e

写入:

*/10 * * * * /usr/sbin/ntpdate 主节点
3.4 修改系统参数(全部节点)
sysctl vm.swappiness=10
echo 'vm.swappiness=10'>> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
3.5 安装http(master节点)
yum -y install httpd

启动服务

service httpd start
4、安装软件
4.1 安装依赖(全部节点)
yum -y install chkconfig
yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib
yum -y install lsb
yum -y install libaio
​
4.2 安装JDK(全部节点)

1)上传JDK,在root用户下解压和配置,目录为:/usr/local/java/jdk1.8.0_231

mkdir -p /usr/share/java

将mysql-connector-java-5.1.46.jar拷贝至/usr/share/java/ 并更名为mysql-connector-java.jar

修改配置文件vi /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

添加软连接

ln -s /usr/local/java/jdk1.8.0_231/bin/java /usr/bin/java

mkdir /usr/java

ln -s /usr/local/java/jdk1.8.0_231 /usr/java/default
4.3 安装mysql(master节点)

按以下顺序安装

cd /opt/CDH6.3.2/mysql
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

启动mysql

systemctl start mysqld

设置开机自启动mysql

systemctl enable mysqld

获取临时密码

cat /var/log/mysqld.log | grep password

查询到初始密码 2eB>8r;ZEO%2

使用初始密码登录mysql账号

mysql -uroot -p’2eB>8r;ZEO%2’

设置mysql root密码

set password=password('Pw#123456');
​
quit;

登陆设置允许外网访问当前的MySQL

mysql -uroot -pPw#123456
use mysql;
update user set host='%' where host='localhost';
delete from user where host != '%';
flush privileges;
quit;

建立相关数据库及用户

mysql -uroot -pPw#123456
grant all on *.* to root@'%' identified by "Pw#123456" with grant option;
create database scm default character set utf8 default collate utf8_general_ci;
grant all on scm.* to 'scm'@'%' identified by 'Pw#123456';
create database hue default character set utf8 default collate utf8_general_ci;
grant all on hue.* to 'hue'@'%' identified by 'Pw#123456';
create database hive default character set utf8 default collate utf8_general_ci;
grant all on hive.* to 'hive'@'%' identified by 'Pw#123456';
flush privileges;
5、安装CM
5.1 安装deamons(全部节点)
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
5.2 安装agent(全部节点)
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
5.3 配置agent的server节点(全部节点)
cp /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/config.ini.template
​
vim /etc/cloudera-scm-agent/config.ini
server_host=bigdata1(主节点主机名)
5.4 安装server(master节点)
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
6、启动CM
6.1 上传CDH包到parcel-repo(master节点)
cp /opt/CDH6.3.2/parcel/* /opt/cloudera/parcel-repo/

修改sha1为sha

mv /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
mkdir -p /var/www/html/cdh6_parcel

将/opt/cloudera/parcel-repo 下的文件复制到 /var/www/html/cdh6_parcel/

cp  /opt/cloudera/parcel-repo/* /var/www/html/cdh6_parcel/
6.2 修改配置(master节点)
vim /etc/cloudera-scm-server/db.properties

# 填入如下内容

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.host=bigdata1:3306
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=Pw#123456
6.3 启动server(master节点)
service cloudera-scm-server start

查看server状态

systemctl status cloudera-scm-server  
6.4 启动agent(全部节点)
service cloudera-scm-agent start

查看agent状态

systemctl status cloudera-scm-agent
7、安装CDH集群(master节点IP)

http://172.16.1.62:7180/cmf/login

账号:admin

密码:admin

进行访问,根据提示进行安装7.1 点击继续

7.2 同意协议

7.3 选择第一个版本Cloudera Express

7.4 点击继续

7.5 集群命名

7.6 选择服务器

7.7 使用Parcel安装

7.8 开始下载安装

7.9 检查机器

7.10 选择安装服务,自定义安装

7.11 自定义角色分配

7.12 数据库配置

7.13 审核更改

路径配置较复杂,不同环境可能不一样,需要一一确认

7.14 部署

7.15 安装完成

7.16 页面展示

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/22175.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

视频号小店是什么?没有货源可以去做吗?一篇详解!

大家好,我是电商小V 视频号小店近两年在创业者眼中可以说是一个可以去操作的项目,也是可以激起来很高的讨论度,但是很多小伙伴对视频号小店了解不是很深,今天咱们就来详细的说一下:视频号小店, 视频号小店就…

鸿蒙Ability Kit(程序框架服务)【ServiceExtensionAbility】

ServiceExtensionAbility 概述 [ServiceExtensionAbility]是SERVICE类型的ExtensionAbility组件,提供后台服务能力,其内部持有了一个[ServiceExtensionContext],通过[ServiceExtensionContext]提供了丰富的接口供外部使用。 本文描述中称被…

EasyV开发人员的使用说明书

在可视化大屏项目时,开发人员通常需要承担以下任务: 技术实现:根据设计师提供的设计稿,利用前端技术(如HTML、CSS、JavaScript等)和后端技术(根据具体项目需求,可能是Java、Python、…

【工具】windows下VMware17解锁mac安装选项(使用unlocker427)

目录 0.简介 1.环境 2.安装前后对比 3.详细安装过程 3.1 下载unlocker427 1)下载地址 2)下载unlocker427.zip 3)解压之后是这样的 4)复制iso中的两个文件到你本地的VMware的安装目录下 5)复制windows下的所有…

计网期末复习指南(四):网络层(IP协议、IPv4、IPv6、CIDR、ARP、ICMP)

前言:本系列文章旨在通过TCP/IP协议簇自下而上的梳理大致的知识点,从计算机网络体系结构出发到应用层,每一个协议层通过一篇文章进行总结,本系列正在持续更新中... 计网期末复习指南(一):计算…

学生在课堂上可以用小风扇吗?五款学生可用迷你手持小风扇分享!

随着夏季的来临,高温酷暑成为了学生日常学习生活中的一大挑战。在闷热的教室里,人多风扇少,闷热的环境很容易就会让人学不下去。因此学生在课堂上最好是使用手持小风扇,但选择的手持小风扇噪音一定要小,不然很容易就会…

HarmonyOS(29)onMeasureSize和PlaceChildren (View的测量和布局)

onMeasureSize和PlaceChildren onMeasureSize和PlaceChildren 说明官方使用示例参考资料 onMeasureSize和PlaceChildren 说明 在Android开发中View的测量onMeasure和布局onLayout是自定义组件必备的两个方法,HarmonyOS对自定义布局也提供了两个方法: on…

【VSCode实战】转换大小写快捷键

今天在VSCode Insiders上编码,突然想将某常量转换为大写。按照virtual studio的习惯,我Ctrl Shift U没有效果,Ctrl U也没效果。网上搜了搜,原来VSCode Insiders没有这个默认功能。 而VSCode Insiders这么强大怎么可能没有大小…

ELK 使用 metricbeat监控数据

IP功能版本192.168.140.153elk-18.13.4192.168.140.153metricbeat8.13.4192.168.140.156elk-28.13.4192.168.140.156metricbeat8.13.4192.168.140.159logstash8.13.4192.168.140.159kibana8.13.4 一、安装ELK 参考文档: https://download.csdn.net/download/weix…

TG-5510CA温补晶振用于GPS应用

随着现代社会对精准定位和导航需求的不断增加,GPS(全球定位系统)已成为我们日常生活和各行各业中不可或缺的一部分。无论是在智能手机、汽车导航、无人机飞行控制,还是在精密的科学研究和军事应用中,GPS系统都扮演着至…

Android电量优化,让你的手机续航更持久

节能减排,从我做起。一款Android应用如果非常耗电,是一定会被主人嫌弃的。自从Android手机的主人用了你开发的app,一天下来,也没干啥事,电就没了。那么他就会想尽办法找出耗电量杀手,当他找出后&#xff0c…

PPT设置为本框的默认格式以及固定文本框

调整文本框固定位置 双击文本框之后勾选如下三个位置 设置文本框为默认 在调整好文本框的基本性质后,设置为默认即可

python-验证子串

题目描述 输入两个字符串,验证其中一个串是否为另一个串的子串。 输入两个字符串, 每个字符串占一行,长度不超过200且不含空格。 输出 若第一个串s1是第二个串s2的子串,则输出(s1) is substring of(s2)否则,若第二个串…

pgvector v0.7.0 的新增功能

现实世界的嵌入数据集通常包含隐藏在向量空间中的冗余。例如,当向量聚集在多维空间中的某些中心点周围时,它会揭示一个可利用的结构。通过减少这种冗余,我们可以在对精度影响最小的情况下节省内存和性能。自 0.7.0 版以来,pgvecto…

Linux环境下安装MySQL详细教程(手把手附图安装!!!)

目录 一、前言 二、安装前的环境检查 三、下载官方的 MySQL 安装包 四、开始安装 MySQL 五、尝试初次启动 MySQL 六、给MySQL 做一些简单的小配置 七、共勉 一、前言 本次专题将带大家进入一个新的专题 ---- MySQL。作为本次专题的第一篇博客,肯定是带大家一起…

Jetson Orin Nano v6.0 + tensorflow2.15.0+nv24.05 GPU版本安装

Jetson Orin Nano v6.0 tensorflow2.15.0nv24.05 GPU版本安装 1. 源由2. 步骤2.1 Step1:系统安装2.2 Step2: nvidia-jetpack安装2.3 Step3:jtop安装2.4 Step4:h5py安装2.5 Step5:tensorflow安装2.6 Step6:jupyterlab安…

Golang——RPC

一. RPC简介 远程过程调用(Remote Procedure Call,RPC)是一个计算机通信协议。该协议运行运行于一台计算机的程序调用另外一台计算机的子程序,而程序员无需额外的为这个交互作用编程。如果涉及的软件采用面向对象编程,那么远程过程调用亦可称…

Thesios: Synthesizing Accurate Counterfactual I/O Traces from I/O Samples——论文泛读

ASPLOS 2024 Paper 论文阅读笔记整理 问题 在设计大规模分布式存储系统时,I/O活动的建模至关重要。具有代表性的/O跟踪,可以对现有硬件、配置和策略进行详细的性能评估。假设跟踪进一步支持分析假设情况,例如部署新的存储硬件、更改配置和修…

2.4 OpenCV随手简记(五)

一、图像翻转 第一个图像翻转,这个可是制作表情包的利器。 图像翻转在 OpenCV 中调用函数 flip() 实现,原函数如下: flip(src, flipCode, dstNone) src:原始图像。 flipCode:翻转方向, 如果 flipCode 为…

[Redis]List类型

列表类型来存储多个有序的字符串,a、b、c、d、e 五个元素从左到右组成了一个有序的列表,列表中的每个字符串称为元素,一个列表最多可以存储个元素。在 Redis 中,可以对列表两端插入(push)和弹出&#xff08…