本地虚拟机的搭建
一、准备网段
在VMware的虚拟网络编辑器中将VMnet8虚拟网卡的
- 网段设置为：192.168.88.0
- 网关设置为：192.168.88.2
二、下载CentOS操作系统文件，并安装
三、克隆多台虚拟机
依照同样的方法，克隆出node2,node3，共三台虚拟机
四、对每台虚拟机设置相关硬件内存
五、虚拟机系统设置
①、主机名\ip\SSH免密登录
Ⅰ、node1，192.168.88.131
进入命令终端首先要切换到root权限 su -root 或者 su -
# 修改主机名
hostnamectl set-hostname node1# 修改IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131" # 文件内容添加,如下截图所示，子网掩码、网关、DNS相同# 重启网卡
systemctl stop network
systemctl start network#或者直接
systemctl restart network
node2，192.168.88.132
node3，192.168.88.133
Ⅱ、配置主机名映射
Ⅲ、配置三台服务器root用户之间免密互通
Ⅳ、为了避免root用户权限造成的安全问题，为三台虚拟机创建一个hadoop用户并配置免密登录
通过在node3，输入命令ssh node1或者ssh node2都可以通，然后exit退出
②、JDK环境部署
官网中下载jdk8以上的linux安装包.tar.gz
③、防火墙、SELinux、时间同步
集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，可以在集群内部关闭防火墙，并且关闭开启自启功能
systemctl status firewalld 查看防火墙状态
Linux有一个安全模块，SELinux用以限制用户和程序相关权限，确保系统的安全稳定
需要关闭SELinux功能，避免导致后面的软件运行出现问题（通过init 6命令，或者init 0进行重启）
修改时期并配置自动时间同步
步骤2实操：
六、为上述设置保存一个快照，以备后续恢复
三台虚拟机关机之后，右键->快照
==================================================
云平台
阿里云
购买阿里云服务器
一、配置VPC和子网
VPC云上专属的私有局域网（virtual private cloud），可提供/16级别的子网掩码（65535个IP）
并支持创建多个子网（交换机）
注册阿里云账号，进入控制台，找到专有网络VPC
创建专有网络
创建专有网络
子网是在VPC内部创建的局域网络，可以在一个VPC内创建多个子网
子网支持/17至/29的子网掩码，可以支持约8到65535个IP地址
VPC相当于拉了一个家庭带宽，属于个人的私有网络
一个子网就相当于放了一个路由器，3个子网就相当于放了3个路由器。
二、创建安全组
云上的虚拟流量防火墙称为安全组
被安全组绑定的资源（比如服务器），其网络流量的进出都是被安全组所控制。
- 资源的流量可以去往什么地方（出站控制）
- 外部哪些访问可以连接到资源（入站控制）
搭建大数据集群，需要一个安全组来控制服务器和外部的交互，通过安全组来控制网络流量
入方向需要删除默认规则，创建自己的规则
出方向：允许云服务器随意访问外部
创建自定义的入站规则：即允许自己的公网IP，访问安全组的全部端口
①、查询自己的公网IP（以下两种方法）
②、只允许自己ip访问
三、创建云服务器ECS
任意选择适合自己的各种模式和地区
根据自己的要求cpu和内存选择，筛选最便宜的
选择适合自己的系统和存储
网络、公网IP设置、安全组（前面设置好的）
选择采用密钥对的方式，通过创建密钥对生成
全部创建完成
按照以上步骤，创建node2,node3，（密钥对相同）
通过公网和私钥，进行登录操作
阿里云服务器系统设置
相较于本地虚拟机的配置，云平台只需要以下三项配置：
①、主机名映射
三台node节点上，vim /etc/hosts
②、SSH免密登录
cd .ssh/，上传配置服务器时的密钥到三台node节点服务器，并且更改名称，然后400授权
通过ssh node2，进行测试。exit退出
③、创建hadoop用户的免密登录
不同与root用户（服务器已经创建好，直接上传即可）
hadoop用户，需要通过ssh-copy-id 进行。
需要在三台节点都执行以下操作：
ssh-copy-id node1
#设置密码：123456
ssh-copy-id node2
#设置密码：123456
ssh-copy-id node3
#设置密码：123456
④、为三台服务器上传jdk安装包
mkdir -p /export/server
将JDK安装包解压到上面的目录中：tar -zxvf jdkxxx.tar.gz -C /export/server
配置软链接：ln -s /export/server/jdk1.8.0 jdk
vim /etc/profile
配置环境变量：
UCloud云购买虚拟机
一、配置UVPC
二、配置安全组
三、创建服务器
同样的方式创建node2和node3
然后通过fialshell工具进行连接
UCloud云服务器设置
一、设置主机名以及主机名映射
hostnamectl set-hostname node1(node2,node3)
vim /etc/hosts # 三台服务器的内网地址
二、SSH免密
①、进入：cd .ssh/
上传：密钥文件并改名 mv bigdata-key-cloud.pem id_rsa
修改权限：chmod 400 id_rsa
通过 ssh node1 ssh node2 ssh node3进行测试，exit退出
②、创建hadoop用户的免密登录
三台服务器都执行如下：
三台服务器都执行：
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
三、JDK环境
mkdir -p /export/server
上传jdk安装包，并解压
然后配置环境变量
然后在node1中将文件复制到node2、node3中
