CentOS 7.9 CDH6.3.2集群生产环境实战部署指南

一、环境准备

1、系统环境：

# cat /etc/os-release

2、准备工作：

部署资源分配

节点centos 7.9（生产）节点规划Postgresql部署组件备注
pgsql32c、128G、2TB国产数据库Postgresql（翰高）可根据实际情况调整如mysql、mongoDB
cdh0116c、128G、1TBmaster
agent		jdk1.8
cdh0216c、128G、1TBagentjdk1.8
cdh0316c、128G、1TBagentjdk1.8
cdh0416c、128G、1TBagentjdk1.8
cdh0516c、128G、1TBagentjdk1.8

安装包下载：

夸克网盘分享夸克网盘是夸克推出的一款云服务产品，功能包括云存储、高清看剧、文件在线解压、PDF一键转换等。通过夸克网盘可随时随地管理和使用照片、文档、手机资料，目前支持Android、iOS、PC、iPad。icon-default.png?t=N7T8https://pan.quark.cn/s/cd01f3cfca27

安装包准备：

CM6.3.1

cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm

enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm

CDH6.3.2 Parcel

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el6.parcel.sha256

manifest.json

JDK

jdk-8u201-linux-x64.tar.gz

Postgresql JDBC jar

postgresql-42.2.5.jar

下载完成后要重命名去掉版本号:

mv postgresql-42.2.5.jar postgresql-connector-java.jar

3、安装基础依赖：

$ sudo yum -y install gcc gcc-c++ net-tools make autoconf sysstat bash-completion wget openssl-dev lsof vim telnet lrzsz dos2unix nohup unzip psmisc

二、环境初始化

1、关闭防火墙

    # 关闭防火墙echo "关闭防火墙..."# 查看防火墙状态firewall-cmd --state || echo "firewalld 未运行"# 临时关闭防火墙systemctl stop firewalld# 永久关闭防火墙systemctl disable firewalld# 清空防火墙规则iptables -F# 临时关闭selinuxsetenforce 0# 永久关闭selinuxsed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config# 查看selinux状态getenforce

2、修改主机名

所有节点都要执行，修改后需执行bash生效

#节点1
hostnamectl set-hostname cdh01
bash#节点2
hostnamectl set-hostname cdh02
bash#节点3
hostnamectl set-hostname cdh03
bash#节点4
hostnamectl set-hostname cdh04
bash#节点5
hostnamectl set-hostname cdh05
bash

3、配置hosts文件

cat /etc/hosts

所有节点都要配置

cat >> /etc/hosts << EOF
192.168.2.161 cdh01
192.168.2.162 cdh02
192.168.2.163 cdh03
192.168.2.164 cdh04
192.168.2.165 cdh05
EOF

4、设置时间同步

#设置时区为Asia/Shanghai
timedatectl set-timezone Asia/Shanghai#查看是否安装了ntpd的服务
rpm -qa | grep ntpd#如果没有安装,可以进行在线安装
yum -y install ntp#启动ntpd的服务
service ntpd start#设置ntpd的服务开机启动
systemctl enable ntpd.service#查看ntpd的服务是否启动
service ntpd status#设置定时任务
#与阿里云服务器进行时钟同步
crontab -e
#设置的内容如下
*/1 * * * * /usr/sbin/ntpdate -u ntp4.aliyun.com;
设置成功后会一直出现You have new mail in /var/spool/mail/root的邮件提示，可使用下面命令关闭邮件提示
echo "unset MAILCHECK" >> /etc/profile
source /etc/profile

5、 禁用透明大页(所有节点)

#查看：查看透明大页的设置和启动状态cat /sys/kernel/mm/transparent_hugepage/defrag
cat /sys/kernel/mm/transparent_hugepage/enabled#操作：临时关闭
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled#永久关闭：将临时关闭命令添加到/etc/rc.d/rc.local文件中，并赋予执行权限echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local#验证：
cat /etc/rc.d/rc.local

6、部署PG（使用瀚高）

待更新

7、创建本地YUM仓库

安装Apache Httpd服务(master节点，本例中cdh01）

#安装
yum install httpd -y#启动
systemctl start httpd#设置开机自启
systemctl enable httpd#配置Cloudera Manager安装包yum源(master节点，本例中cdh01)
#创建目录
mkdir -p /var/www/html/cloudera-repos/cm6
#！！！将下载好的cloudera的rmp安装包上传到/var/www/html/cloudera-repos/cm6
#创建仓库
yum install -y createrepo
cd  /var/www/html/cloudera-repos/cm6
#cloudera的rmp安装包所在的cm6目录下执行
createrepo .

创建repo文件

sudo cat >> /etc/yum.repos.d/cloudera-manager.repo <<EOF
[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://192.168.2.161:80/cloudera-repos/cm6
gpgcheck=0
enabled=1
autorefresh=0
type=rpm-md
EOF
#清理并缓存
yum clean all
yum makecache

8、检查依赖是否安装

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb portmap mod_ssl openssl-devel python-psycopg2 MySQL-python python-devel telnet pcre-devel gcc gcc-c++

9、所有服务器安装JDK

第一步： 安装JDK

mkdir -p /usr/java/
#进入jdk所在的目录，执行命令 注意：修改相应自己的jdk版本tar -zxvf  jdk-8u201-linux-x64.tar.gz -C /usr/java/ && cd /usr/java/  && mv jdk1.8.0_201 default#编辑配置文件
vim /etc/profile#将以下内容添加到文件中：
export JAVA_HOME=/usr/java/default  #java的实际路径
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
#使之生效
source /etc/profile

第二步： 添加postgresql驱动包

mkdir -p /usr/share/java/
cd /usr/share/java/
#重命名不不能带版本号
mv postgresql-42.2.5.jar postgresql-connector-java.jar
#分发到其他节点 拷贝过去
scp postgresql-connector-java.jar cdh02:/usr/share/java/
scp postgresql-connector-java.jar cdh03:/usr/share/java/
……

注：所有服务器都要配置

三、Cloudera Manager部署

1、安装 Cloudera Manager(master节点，本例中cdh01)

#安装master
sudo yum install -y cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server#安装完CM后/opt/ 下会出现cloudera目录
cd /opt/cloudera/parcel-repo/上传CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel到/opt/cloudera/parcel-repo目录
校验文件是否下载完全
ll#total 2033432
#-rw-r--r-- 1 root root 2082186246 Apr 4 14:31 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
#-rw-r--r-- 1 root root 40 Apr 4 14:31 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
#-rw-r--r-- 1 root root 33887 Apr 4 14:31 manifest.json#将parcel包移动到指定位置，别忘了manitest.json文件
#赋权限
sudo chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/#执行脚本scm_prepare_database.sh
#PG数据库
cd /opt/cloudera/cm/schema/
./scm_prepare_database.sh -h 192.168.2.161 -P 5866 postgresql scm scm 密码#替换CDH-server服务器的host
sudo sed -i "s/server_host=localhost/server_host=cdh01/g" /etc/cloudera-scm-agent/config.ini#查看数据库的配置
vim /etc/cloudera-scm-server/db.properties

2、安装所有节点agent并修改配置

#部署agent
sudo yum install -y cloudera-manager-daemons cloudera-manager-agent
#修改文件中server_host的属性值
#所有节点修改agent的配置，指向server的节点node161【manager端地址】sudo sed -i "s/server_host=localhost/server_host=cdh01/g" /etc/cloudera-scm-agent/config.ini#启动 CM服务，先启动master当确认master正常运行的情况下再启动agent：
systemctl start cloudera-scm-server && systemctl enable cloudera-scm-server && systemctl status cloudera-scm-server#检查master服务运行状态tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log | grep "INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server"#出现INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server则启动成功#所有节点启动CM agent
sudo systemctl start cloudera-scm-agent && sudo systemctl enable cloudera-scm-agent查看agent日志
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log#启动如果有问题查看log。/var/log/cloudera-scm-server，启动server 和agent 尽量一起启动否则报错：

浏览器登陆CM 管理界面验证：初始用户密码 admin/admin

web页面：http://IP:7180/

默认登录账号： admin

默认登录密码： admin

## 建议选择免费

设置集群名称：

当你先启动master后启动agent时，否则与以下界面会有所不同

选择CDH parcel 版本

安装时报错 “Parcel 不可用于操作系统分配 RHEL7” 请看：

安装CDH时报错：Parcel 不可用于操作系统分配 RHEL7，原因与解决办法～-CSDN博客

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/36291.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Wordpress图像编辑插件-palleon v3.8.1中文版语言包

Wordpress图像编辑插件-palleon v3.8.1中文版语言包

Palleon是一个强大的WordPress图像编辑器&#xff0c;可以与您的WordPress网站无缝集成&#xff0c;让您快速高效地工作。它拥有为你的WordPress网站创建令人惊叹的图像所需的一切。 Palleon让您完全控制图像&#xff0c;允许您逐个像素进行更改。您可以轻松地裁剪、调整图像大…
阅读更多...
漏洞利用开发基础学习记录

漏洞利用开发基础学习记录

文章目录 简介Win32缓冲区溢出内容难点 SEH 溢出内容难点 Egg Hunters内容难点 Unicode 溢出内容难点 x86-64 缓冲区溢出内容难点 参考资料 简介 本文基于ERC.Xdbg漏洞分析文章进行初步归纳整理&#xff0c;主要有Win32 缓冲区溢出、SEH 溢出、Egg Hunters、Unicode 溢出、x86…
阅读更多...
基于盲信号处理的人声分离

基于盲信号处理的人声分离

1.问题描述 在实际生活中&#xff0c;存在一种基本现象称为“鸡尾酒效应”&#xff0c;该效应指即使在非常嘈杂的环境中&#xff0c;人依然可以从噪声中提取出自己所感兴趣的声音。 在实际应用中&#xff0c;我们可能需要对混合的声音进行分离&#xff0c;此时已知的只有混合…
阅读更多...
规上！西安市支持培育商贸企业达限纳统应统尽统申报奖励补助要求政策

规上！西安市支持培育商贸企业达限纳统应统尽统申报奖励补助要求政策

西安市支持培育商贸企业达限纳统应统尽统工作方案 为加快培育消费市场主体&#xff0c;支持商贸企业扩大经营、做大做强&#xff0c;指导企业达限纳统、应统尽统&#xff0c;不断扩大我市限额以上商贸企业数量规模&#xff0c;促进全市经济社会高质量发展&#xff0c;结合我市…
阅读更多...
springboot 集成阿里云 OSS

springboot 集成阿里云 OSS

引入依赖 <!-- 阿里云oss依赖 --> <dependency><groupId>com.aliyun.oss</groupId><artifactId>aliyun-sdk-oss</artifactId><version>3.9.1</version> </dependency><?xml version"1.0" encoding"…
阅读更多...
技术前瞻：华为鸿蒙HarmonyOS NEXT仓颉语言Beta招募亮点提前曝光

技术前瞻：华为鸿蒙HarmonyOS NEXT仓颉语言Beta招募亮点提前曝光

在科技迅猛发展的今天&#xff0c;华为的每一步创新都备受瞩目。6月21日&#xff0c;华为再次引领风潮&#xff0c;正式发布了自研的仓颉编程语言&#xff0c;并宣布开启HarmonyOS NEXT 仓颉语言开发者预览版Beta招募活动。这不仅是华为技术实力的展示&#xff0c;更是对开发者…
阅读更多...
C语言基础笔记(全）

C语言基础笔记(全）

一、数据类型 数据的输入输出 1.数据类型 常量变量 1.1 数据类型 1.2 常量 程序运行中值不发生变化的量&#xff0c;常量又可分为整型、实型(也称浮点型)、字符型和字符串型 1.3 变量 变量代表内存中具有特定属性的存储单元&#xff0c;用来存放数据&#xff0c;即变量的值&a…
阅读更多...
day53--ELK搜索

day53--ELK搜索

ELK搜索高级课程 1&#xff0e; 课程简介 1.1 课程内容 ELK是包含但不限于Elasticsearch&#xff08;简称es&#xff09;、Logstash、Kibana 三个开源软件的组成的一个整体。这三个软件合成ELK。是用于数据抽取&#xff08;Logstash&#xff09;、搜索分析&#xff08;Elast…
阅读更多...
win10系统自动关闭屏幕和自动睡眠不生效的解决办法

win10系统自动关闭屏幕和自动睡眠不生效的解决办法

在cmd中执行 powercfg /requests 检查影响电源睡眠或休眠的驱动或进程 如果执行结果遇到下面这种带括号很长一串的情况SYSTEM: [DRIVER] Conexant SmartAudio HD (HDAUDIO\FUNC_01&VEN_14F1&DEV_510F&SUBSYS_17AA502A&REV_1001\4&f35eced&0&0001…
阅读更多...
学习笔记——动态路由——OSPF（报头信息、报文信息、三张表）

学习笔记——动态路由——OSPF（报头信息、报文信息、三张表）

六、OSPF协议的报头信息、报文信息、三张表 OSPF的协议报文在一个广播域内进行传递&#xff0c;是直接封装在IP报文中的&#xff0c;协议号为89。 OSPF本身5种类型&#xff1a;分别是Hello报文、DD报文、LSR报文、LSU报文、LSAck报文&#xff0c;各种不同类型的LSA其实只是包含…
阅读更多...
Acitity跳转延时10s会导致anr的时序问题讨论

Acitity跳转延时10s会导致anr的时序问题讨论

背景&#xff1a; 针对前些天直播时候&#xff0c;主要讲解是launcher启动app&#xff0c;Activity onResume延时10s不会anr&#xff0c;但是Activity内部activity1跳转activity2就会anr问题展开了讨论 https://mp.weixin.qq.com/s/_uA5yKUTUw-9H-tWxGNK9g 这个原因为啥已经在…
阅读更多...
『Z-Workshop』 6月22日线下ALCOVE分享活动

『Z-Workshop』 6月22日线下ALCOVE分享活动

2024 求是创新 ZJUBCA Sponsored by the ALCOVE Community TIME&#xff1a;2024/06/22 ADD&#xff1a;浙江大学紫金港校区 --- Alcove 是 Aptos 公链与 Alibaba Cloud 共同打造的亚洲首个 Move 开发者社区&#xff0c;致力于支持开发者使用 Move 语言构建下一代 Web3 应用&am…
阅读更多...
深入解析Java ThreadLocal及其内存管理机制

深入解析Java ThreadLocal及其内存管理机制

在多线程编程中&#xff0c;如何保证线程间的数据隔离和线程安全是一个重要问题。Java提供的ThreadLocal类通过让每个线程拥有独立的数据副本&#xff0c;巧妙地解决了这个问题。本文将深入分析ThreadLocal的工作机制&#xff0c;并探讨如何防止内存泄漏。 目录 ThreadLocal基…
阅读更多...
综合管廊挂轨巡检机器人：安全高效管理的新力量

综合管廊挂轨巡检机器人：安全高效管理的新力量

综合管廊、电力管廊等作为承载着各类电缆和管线的重要通道&#xff0c;管廊的安全和可靠性对城市的运行至关重要。传统人工巡检效率低、劳动强度大&#xff0c;且可能存在巡检不及时、不准确等问题。难以满足日益复杂和庞大的管廊系统的监控需求。为了解决这些问题&#xff0c;…
阅读更多...
如何选择一个好的汽车油封制造商?

如何选择一个好的汽车油封制造商?

汽车的每一个零部件都至关重要&#xff0c;其中&#xff0c;油封的作用更是不可忽视。它们确保了液体和气体在汽车内部的正确流动&#xff0c;防止了泄漏。因此&#xff0c;选择一个可靠的汽车油封制造商就显得尤为重要。那么&#xff0c;我们应该如何做出明智的选择呢? 首先…
阅读更多...
MySQL用于分析查询性能的命令

MySQL用于分析查询性能的命令

1、EXPLAIN 1、使用EXPLAIN命令可以查看MySQL如何执行SQL查询语句&#xff0c;包括它是否使用了索引、使用了哪些索引、表扫描方式等。 2、示例&#xff1a;EXPLAIN SELECT * FROM table_name WHERE column_name value; 2、SHOW PROFILE 1、SHOW PROFILE命令用于显示查询执…
阅读更多...
RabbitMQ基本概念

RabbitMQ基本概念

RabbitMQ是AMQP协议的一个开源实现&#xff0c;所以其基本概念也就是的 AMQP 协 议中的基本概念。如图3-1所示是 RabbitMQ 的整体架构图。 Message(消息):消息是不具名的&#xff0c;它由消息头和消息体组成。消息体是不透明的&#xff0c; 而消息头则由一系列可选属性组成&…
阅读更多...
vue3中的图片懒加载指令及全局注册

vue3中的图片懒加载指令及全局注册

vue3中的图片懒加载指令及全局注册 最近重新刷了一遍黑马的小兔鲜前端项目&#xff0c;发现有个懒加载的指令之前还没有用过。而且写法相对固定&#xff0c;因此记录一下 首先&#xff0c;懒加载&#xff08;Lazy Loading&#xff09;的作用是延迟加载某些资源或组件&#xf…
阅读更多...
用免费的“山水博客”来管理你的离线文章

用免费的“山水博客”来管理你的离线文章

山水博客地址&#xff1a; https://github.com/opensanyue/ssblog 电脑上存了不博客文章&#xff0c;一直想找个软件整理一下。前不久在github刷到一个&#xff0c;试了一下&#xff0c;还不错&#xff0c;先看看成果。 左边我建了2个大类&#xff0c;分开用来放“csdn”和“简…
阅读更多...
【附精彩文章合辑】哈佛辍学小哥的创业经历【挑战英伟达！00 后哈佛辍学小哥研发史上最快 AI 芯片，比 H100 快 20 倍！】

【附精彩文章合辑】哈佛辍学小哥的创业经历【挑战英伟达！00 后哈佛辍学小哥研发史上最快 AI 芯片，比 H100 快 20 倍！】

前情提要 https://blog.csdn.net/weixin_42661676/article/details/140020491 哈佛辍学小哥的创业经历 一、背景与起步 这位哈佛辍学小哥&#xff0c;名为Chris Zhu&#xff0c;是一位华裔学生&#xff0c;他在2020年进入哈佛大学&#xff0c;攻读数学学士学位和计算机科学硕…
阅读更多...
最新文章

Copyright @ 2022~2023