「大数据-0」虚拟机VMware安装、配置、使用、创建虚拟机集群教程

目录

一、下载VMware Wworkstation Pro 16

二、安装VMware Wworkstation Pro 16

三、检查与设置VMware的网卡

1. 检查

2. 设置VMware网段

四、在VMware上安装Linux虚拟机

五、对安装好的虚拟机进行设置

1. 打开设置

2. 设置中文

3. 修改字体大小

4. 修改终端字体大小

5. 关闭虚拟机

六、创建大数据集群 

七、对大数据集群进行配置

1. 配置三台虚拟机的主机名

2. 配置固定IP

3. 设置SSH免密登录

4. 创建hadoop用户并设置免密登录

八、对虚拟机完成JDK环境的部署 

1. 下载JDK

2. 将下载好的JDK压缩包上传到虚拟机中

九、对虚拟机完成防火墙、SE Linux、时间同步等系统设置

1. 关闭防火墙

2. 关闭SE Linux

3. 修改时区并设置时间同步 

4. 拍摄快照保存配置好的虚拟机

一、下载VMware Wworkstation Pro 16

1. 跳转至官网

选择Workstation 16 Pro for Windows进行下载，官网下载速度可能较慢。

2.百度网盘链接  提取码：2233

二、安装VMware Wworkstation Pro 16

1.点击刚才下载好的安装程序，等待一会会出现一下界面：

2.点击下一步，然后同意协议，来到安装位置界面，在这里更改安装位置：

3.用户体验设置界面的两个选项勾不勾都可以，一般不勾

4.快捷方式界面推荐都勾上，然后下一步，选择安装，等待一会后出现以下界面：

        到该界面后，如果直接点击完成的话，则是进行试用，适用到期后软件将无法使用；点击许可证，输入密钥则是永久使用，密钥需要到官网购买，请大家支持正版软件，如果只是用于学习，在百度搜索VMware Workstation Pro 16密钥，找一个能用的即可，密钥格式如下：

YF390-0HF8P-M81RQ-2DXQE-M2UT6
（仅用于学习）

5.输入密钥后点击完成，到以下界面再点击完成，即可完成安装。 

三、检查与设置VMware的网卡

1. 检查

主要是检查是否有VMnet1和VMnet8这两张虚拟网卡，如果没有，那我们的虚拟机将无法上网。

法一：适用Windows11

1. 打开Windows设置

2. 查看网络连接中是否有VMnet1和VMnet8

法二：通用

因为Windows系统各版本的打开方式有区别，下面提供一个通用方法：

1. 快捷键Win + R 打开运行界面，输入ncpa.cpl

2. 查看网络连接中是否有VMnet1和VMnet8

如果没有那就是安装出现了问题，请卸载软件后重新安装。

2. 设置VMware网段

        为了方便以后大数据的学习，将VMware网段设置为192.168.88.0，在后续的学习中大数据的集群网络就设置为192.168.88.0的网段，同时设置整个虚拟机的网关为192.168.88.2，这样未来就不用频繁的修改适配了，能减少很多麻烦。

2.1 打开虚拟网络编辑器对VMnet8进行修改，将网段设置为192.168.88.0

2.2 修改net设置中的网关为192.168.88.2 ，修改完点击确定，进行应用即可。

四、在VMware上安装Linux虚拟机

1. 下载CentOS或Ubuntu操作系统

1.1  下载CentOS操作系统

选择CentOS7.6版本下载： 

1.2 百度网盘链接  提取码：2233

1.3 跳转下载ubuntu 

2. 打开刚才安装好的VMware，选择创建新的虚拟机

3.进入向导界面选择建议选择操作简单的典型

4.选择安装程序光盘映像文件，选择浏览找到刚才下载好的CentOS

5. 创建一个账户

6. 设置虚拟机的名称和位置（点击浏览选择安装位置）

7.设置虚拟机硬盘大小，为了避免影响后续使用，建议设为40GB。

8. 检查虚拟机配置信息，选择创建后打开，完成

9. 选择刚才创建好的虚拟机，如果没有自动开机点击开机

10. 开机后用之前的账户登录虚拟机

第一次开机需要安装虚拟机，这个过程大概要10分钟左右，开机成功后选择之前创建的账户，填写好密码就能成功进入虚拟机的操作系统界面中了。

10.1 选择账户和填写账户密码

10.2 成功进入虚拟机的操作系统界面

五、对安装好的虚拟机进行设置

1. 打开设置

2. 设置中文

进入设置后，选择 Region & Language 设置语言。

重启后语言就会变为中文，此时会询问你是否修改文件名，选择不修改 ，不建议修改文件名为中文。

3. 修改字体大小

4. 修改终端字体大小

5. 关闭虚拟机

六、创建大数据集群 

0. 关闭刚才创建好的虚拟机

1. 右击虚拟机，选择管理，选择克隆

2. 不断点击下一页，到以下页面后，选择创建完整克隆

因为我们要的是完整的服务器，而不是一个链接，所以选择完整克隆。

3.  点击下一页，修改虚拟机的名称和虚拟机的存放地址

4. 点击完成，成功后出现以下界面

5.同样的操作，克隆出node2和node3

6. 右击我的计算机，选择新建文件夹，创建大数据集群文件夹，然后将node1\2\3拖入其中。

7. 设置node1\2\3的内存

以下内存配置只是推荐，要求电脑至少有16GB内存，如果没有，具体内存分配请根据自己的电脑配置设置(如8GB设置为2/1/1)。

node1为主要服务器会运行更多的软件，将其内存设置为4GB

重复上面的步骤设置node2\3的内存为2GB 

七、对大数据集群进行配置

0. 将三台虚拟机开机并登录

选择之前创建的用户和填写用户密码

1. 配置三台虚拟机的主机名

1.1右击桌面，打开终端。

1.2 在终端里输入 su - ，再输入当前用户密码切换到超级用户root

      只有超级用户root才有权限修改主机名。

1.3 在终端输入 hostnamectl set-hostname node1 修改主机名

1.4 关闭后重新打开终端，检查主机名是否被正确修改

1.5 重复上述步骤将虚拟机node2\3的主机名设置为node2 和 node3

2. 配置固定IP

2.0 以超级用户身份打开配置文件

  • 先使用命令su - 切换为超级用户root
  • 然后在终端下输入指令 vim /etc/sysconfig/network-scripts/ifcfg-ens33 打开配置文件
  • 按i进入插入模式，对文件进行修改

2.1 修改配置文件

  • 将BOOTPROTO="dhcp"改为BOOTPROTO="static" （将协议由自动获取IP变更为固定不变）
  • 在末尾添加 IPADDR="192.168.88.101"（固定后要设置IP地址，node1为192.168.88.101，node2为192.168.88.102，node3为192.168.88.103）
  • 在末尾添加 NETMASK="255.255.255.0" （设置子网掩码）
  • 在末尾添加 GATEWAY="192.168.88.2" （设置网关）
  • 在末尾添加 DNS1="192.168.88.2"（设置DNS服务器，一般和网关一样)

2.2 保存并退出

  • 按下Esc退出编辑模式
  • 按下Shift + : 进入底行模式
  • 输入wq! 强制保存并退出。

2.3 重启网卡

        在终端输入 systemctl restart network 重启网卡

2.4 检查是否配置成功

        在终端输入 ifconfig 检查inet、netmask是否配置成功

        

2.5 在虚拟机node2和node3下进行如上操作

        但要注意在修改配置文件时：在末尾添加 IPADDR="192.168.88.101"（node1为192.168.88.101，node2为192.168.88.102，node3为192.168.88.103）

2.6 配置主机名映射

2.6.1 在Windows系统中修改hosts文件，在文件末尾加上：

        192.168.88.101 node1
        192.168.88.102 node2
        192.168.88.103 node3

步骤：

a. 找到C盘下的hosts文件：C:\Windows\System32\drivers\etc，右击修改属性

b. 修改hosts文件权限为可写入

c. 修改hosts文件，加上配置信息

d. 将hosts文件权限改回

2.6.2 在虚拟机中修改/etc/hosts 文件，在文件末尾加上：

        192.168.88.101 node1
        192.168.88.102 node2
        192.168.88.103 node3

步骤：

a. 在终端下输入指令 vim /etc/hosts 打开配置文件

b. 修改配置文件

按i进入插入模式，在文件末尾加上：

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

c.  保存并退出
  • 按下Esc退出编辑模式
  • 按下Shift + : 进入底行模式
  • 输入wq! 强制保存并退出。

d. 输入指令 vim /etc/hosts 再次打开配置文件，检查是否配置成功.

配置成功，如下图：

e. 对虚拟机node2\3 进行相同操作

3. 设置SSH免密登录

由于是一个集群，未来需要在多个服务器之间跳转，为了方便起见最好配置一下ssh免密登录。

3.1 生成SSH密钥

在每台虚拟机的终端输入以下命令：ssh-keygen -t rsa -b 4096 ，然后一路回车即可。

3.2 授权免密登录

在每台虚拟机上执行以下步骤：

a. 在终端输入命令：ssh-copy-id node1   输入yes   输入用户密码

b. 在终端输入命令：ssh-copy-id node2   输入yes   输入用户密码

b. 在终端输入命令：ssh-copy-id node3   输入yes   输入用户密码

e. 检查是否成功免密登录

在虚拟机node1的终端输入 ssh node2 或 ssh node3 看看能否跳转成功。

4. 创建hadoop用户并设置免密登录

为保证安全性(防止误操作对系统造成严重破坏)，后续的大数据软件，不会再以root用户启动。为大数据集群创建一个单独的用户hadoop，并为集群上的服务器配置hadoop用户的免密登录。

4.1 在每一台机器执行: useradd hadoop，创建hadoop用户

4.2 在每一台机器执行: passwd hadoop，设置hadoop用户密码为123456

4.3 在每一台机器均切换到hadoop用户: su - hadoop ，并执行 ssh-keygen -t rsa -b 4096 ，一路回车，创建ssh密钥

4.4 在每一台机器均执行以下命令，授权免密登录：
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

八、对虚拟机完成JDK环境的部署 

JDK就是Java语言的开发环境，很多大数据软件都需要Java环境的支持，所以要预先部署好JDK。

1. 下载JDK

1.1 官网下载跳转

1.2 百度网盘链接  提取码：2233

2. 将下载好的JDK压缩包上传到虚拟机中

2.1 先关闭三台虚拟机的防火墙

在终端执行以下指令：
关闭防火墙：
systemctl stop firewalld关闭防火墙自启：
systemctl disable firewalld

2.2 然后安装一个远程管理软件，如Xshell、Finalshell，以root身份登录。

2.3 创建文件夹/export/server，将JDK安装部署到该文件夹中

mkdir -p /export/server

2.4 进入到刚才创建的目录中

cd /export/server

2.5 使用rz命令上传下载好的JDK压缩包(或直接将本地文件拖拽进来)

2.6 解压缩

tar -zxvf jdk-8u361-linux-x64.tar.gz

2.7 删除压缩包

rm -rf jdk-8u361-linux-x64.tar.gz

2.8 配置JDK的软链接

ln -s /export/server/jdk1.8.0_361 jdk

2.9 配置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入到PATH环境变量中

a. 使用命令 vim /etc/profile 打开profile文件b. 按i进入插入模式，在文件末尾加上：
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/binc. 按下Esc退出插入模式，按下Shift+：进入底行模式，输入wq!，强制保存并退出。

2.10 生效环境变量

source /etc/profile

2.11 配置java执行程序的软链接

a. 先删除系统自带的java程序
rm -f /usr/bin/javab. 软链接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java

2.12 检查是否配置成功

查看java版本：
java -version
javac -version

九、对虚拟机完成防火墙、SE Linux、时间同步等系统设置

1. 关闭防火墙

以下操作在三台虚拟机里都要执行：

1.1 为什么要关闭防火墙？
如果不关闭防火墙，我们无法远程连接虚拟机，且集群内的虚拟机无法通过端口互相通讯。

1.2 怎么关闭防火墙？

关闭防火墙：
systemctl stop firewalld关闭防火墙自启：
systemctl disable firewalld

2. 关闭SE Linux

以下操作在三台虚拟机里都要执行：

2.1 为什么要关闭SE Linux？

SELinux会限制用户和程序的相关权限，会影响我们后续运行大数据程序，所以提前关闭。

2.2 怎么关闭

a.在终端输入指令，打开selinux文件：
vim /etc/sysconfig/selinuxb.将第七行的 SELINUX=enforcing 改为
SELINUX=disabled
（检查一遍，一定不能出错否则无法启动系统。）c.重启虚拟机
init 6

3. 修改时区并设置时间同步 

以下操作在三台虚拟机里都要执行：

1. 安装ntp软件 

yum install -y ntp

2. 更新时区

删除原来的时区：
rm -f /etc/localtime;设置时区为上海：
sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3. 同步时间 

联网访问阿里云，校准时间
ntpdate -u ntp.aliyun.com

4. 开启ntp服务并设置开机自启

启动ntpd
systemctl start ntpd;将ntpd加入开机自启
systemctl enable ntpd

4. 拍摄快照保存配置好的虚拟机 

4.0 为什么需要拍摄快照？

拍快照相当于给当前虚拟机的配置做一个备份，将来有问题，直接按照快照还原虚拟机即可，不需要删除再重新配置。

4.1 在VMware将所有虚拟机关机

4.2 拍摄快照

4.3 如何使用快照恢复？

------------------------END-------------------------

才疏学浅，谬误难免，欢迎各位批评指正。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/83765.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

pip pip3安装库时都指向python2的库

pip pip3安装库时都指向python2的库

当在python3的环境下使用pip3安装库时&#xff0c;发现居然都指向了python2的库 pip -V pip3 -V安装命令更改为&#xff1a; python3 -m pip install <package>
阅读更多...
【操作系统笔记】内存寻址

【操作系统笔记】内存寻址

物理寻址 主存&#xff08;内存&#xff09; 计算机主存也可以称为物理内存&#xff0c;内存可以看成由若干个连续字节大小的单元组成的数组每个字节都有一个唯一的物理地址&#xff08;Physical Address&#xff09;CPU访问内存前&#xff0c;先拿到内存地址&#xff0c;然后…
阅读更多...
【数据结构】二叉树的链式实现及遍历

【数据结构】二叉树的链式实现及遍历

文章目录 一、二叉树的遍历1、前序遍历2、中序遍历3、后序遍历4、层序遍历 二、二叉树结点个数及高度1、二叉树节点个数2、二叉树叶子节点个数3、二叉树第k层节点个数4、二叉树查找值为x的节点 三、二叉树创建及销毁1、通过前序遍历数组创建二叉树2、二叉树的销毁3、判断是否为…
阅读更多...
Pytest单元测试框架 —— Pytest+Allure+Jenkins的应用

Pytest单元测试框架 —— Pytest+Allure+Jenkins的应用

一、简介 pytestallurejenkins进行接口测试、生成测试报告、结合jenkins进行集成。 pytest是python的一种单元测试框架&#xff0c;与python自带的unittest测试框架类似&#xff0c;但是比unittest框架使用起来更简洁&#xff0c;效率更高 allure-pytest是python的一个第三方…
阅读更多...
IMX6ULL移植篇-Linux内核源码文件表

IMX6ULL移植篇-Linux内核源码文件表

一. Linux内核源码目录 我们在分析 Linux 之前&#xff0c;一定要先在 Ubuntu 中编译一下 Linux &#xff0c;因为编译过程会生成一些文件&#xff0c;而生成的这些恰恰是分析 Linux 不可或缺的文件。 二. Linux内核源码重要文件含义 编译后的 Linux内核源码重要的文件…
阅读更多...
修改接口，字段的内容允许清空，避免歧义，参数校验：@NotNull

修改接口，字段的内容允许清空，避免歧义，参数校验：@NotNull

1. 问题描述 修改接口&#xff0c;字段的内容允许清空&#xff0c;是否应该做参数校验&#xff1f;如何做参数校验&#xff1f; 2. 说明 2.1. 需要对字段进行校验。 因为不校验&#xff0c;字段可能不传&#xff0c;或者字段的值为null&#xff1b;这样无法判断出&#xff…
阅读更多...
【Linux基础】第27讲 Linux 查找和过滤命令（二）——grep命令

【Linux基础】第27讲 Linux 查找和过滤命令（二）——grep命令

Grep命令 grep是根据文件的内容进行查找&#xff0c;会对文件的每一行按照给定的模式&#xff08;patter&#xff09;进行匹配查找 基本格式&#xff1a; grep [options]范围 [options] 主要参数 -c: 只输出匹配行的计数 -i : 不区分大小写 -n: 显示匹配行及行号 -w: 显示整个…
阅读更多...
[Linux入门]---文本编辑器vim使用

[Linux入门]---文本编辑器vim使用

文章目录 1.Linux编辑器-vim使用2.vim的基本概念4.vim正常模式命令集从正常模式进入插入模式从插入模式转换为命令模式移动光标删除文字复制替换撤销更改跳至指定行 5.vim末行模式命令集5.总结 1.Linux编辑器-vim使用 vi/vim作为Linux开发工具之一&#xff0c;从它的键盘操作图…
阅读更多...
驱动开发练习，platform实现如下功能

驱动开发练习，platform实现如下功能

实验要求 驱动代码 #include <linux/init.h> #include <linux/module.h> #include <linux/platform_device.h> #include <linux/mod_devicetable.h> #include <linux/of_gpio.h> #include <linux/unistd.h> #include <linux/interrupt…
阅读更多...
PDCA循环

PDCA循环

目录 1.认识PDCA&#xff1a; 2.PDCA循环的经典案例 3.PDCA的四个阶段和八个步骤 4.PDCA循环的优缺点&#xff1a; 5.案例 6.其他作用 1.认识PDCA&#xff1a; PDCA循环最早由美国质量统计控制之父Shewhat&#xff08;休哈特&#xff09;提出的PDS&#xff08;Plan Do Se…
阅读更多...
hadoop3.x搭建到集群调优

hadoop3.x搭建到集群调优

一、基础环境安装 https://blog.csdn.net/fen_dou_shao_nian/article/details/120945221 二、hadoop运行环境搭建 2.1 模板虚拟机环境准备 0&#xff09;安装模板虚拟机&#xff0c;IP 地址 192.168.10.100、主机名称 hadoop100、内存 4G、硬盘 50G 1&#xff09;hadoop100…
阅读更多...
【Html】用CSS定义咖啡 - 咖啡配料展示

【Html】用CSS定义咖啡 - 咖啡配料展示

显示效果 代码 index.html <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><title>CodePen - For The Love Of Coffee</title><link rel"stylesheet" href"./style.css">&l…
阅读更多...
阿里云服务器部署安装hadoop与elasticsearch踩坑笔记

阿里云服务器部署安装hadoop与elasticsearch踩坑笔记

2023-09-12 14:00——2023.09.13 20:06 目录 00、软件版本 01、阿里云服务器部署hadoop 1.1、修改四个配置文件 1.1.1、core-site.xml 1.1.2、hdfs-site.xml 1.1.3、mapred-site.xml 1.1.4、yarn-site.xml 1.2、修改系统/etc/hosts文件与系统变量 1.2.1、修改主机名解…
阅读更多...
基于ENC28J60+uIP1.0+STM32的UDP Server实现，以及主动发送数据，几个关键的问题可算整明白了！

基于ENC28J60+uIP1.0+STM32的UDP Server实现，以及主动发送数据，几个关键的问题可算整明白了！

ENC28J60&#xff0c;是一款SPI接口的以太网PHYMAC芯片&#xff0c;实现以太网物理层和MAC层硬件通信。uIP是一个TCP/IP软件协议栈&#xff0c;实现TCP、UDP、ARP、ICMP等网络协议。STM32F103RCT6通过SPI接口与ENC28J60通讯&#xff0c;并移植uIP协议&#xff0c;实现一个小型的…
阅读更多...
利用Linux虚拟化技术实现资源隔离和管理

利用Linux虚拟化技术实现资源隔离和管理

在现代计算机系统中&#xff0c;资源隔离和管理是非常重要的&#xff0c;特别是在多租户环境下。通过利用Linux虚拟化技术&#xff0c;我们可以实现对计算资源&#xff08;如CPU、内存和存储&#xff09;的隔离和管理&#xff0c;以提供安全、高效、稳定的计算环境。下面将详细…
阅读更多...
如何将内网ip映射到外网？快解析内网穿透

如何将内网ip映射到外网？快解析内网穿透

关于内网ip映射到外网的问题&#xff0c;就是网络地址转换&#xff0c;私网借公网。要实现这个&#xff0c;看起来说得不错&#xff0c;实际上是有前提条件的。要实现内网ip映射到外网&#xff0c;首先要有一个固定的公网IP&#xff0c;可以从运营商那里得到。当你得到公网IP后…
阅读更多...
Flink——Flink检查点（checkpoint）、保存点（savepoint）的区别与联系

Flink——Flink检查点（checkpoint）、保存点（savepoint）的区别与联系

Flink checkpoint Checkpoint是Flink实现容错机制最核心的功能&#xff0c;能够根据配置周期性地基于Stream中各个Operator的状态来生成Snapshot&#xff0c;从而将这些状态数据定期持久化存储下来&#xff0c;从而将这些状态数据定期持久化存储下来&#xff0c;当Flink程序一…
阅读更多...
FPGA设计时序约束一、主时钟与生成时钟

FPGA设计时序约束一、主时钟与生成时钟

​目录 一、主时钟create_clock 1.1 定义 1.2 约束设置格式 1.3 Add this clock to the existing clock 1.4 示例 1.5 差分信号 二、生成时钟generate_clock 2.1 定义 2.2 格式 2.2.1 by clock frequency 2.2.2 by clock edges 2.2.3 示例 2.2.4 自动生成时钟 2.…
阅读更多...
MongoDB-1入门介绍

MongoDB-1入门介绍

NoSQL NoSQL(NoSQL Not Only SQL)&#xff0c;意即反SQL运动&#xff0c;指的是非关系型的数据库 优点 1、对数据库高并发读写。 2、对海量数据的高效率存储和访问。 3、对数据库的高可扩展性和高可用性。 弱点&#xff1a; 1、数据库事务一致性需求 2、数据库的写实时性…
阅读更多...
flink集群与资源@k8s源码分析-集群

flink集群与资源@k8s源码分析-集群

0 介绍 本文是flink集群与资源@k8s源码分析系列的第二篇-集群 1 场景 下面详细分析各用例 2 启动k8s集群 k8s集群支持session和application模式，job模式将会被废弃，本文分析session模式集群 Configuration作为配置容器，几乎所有的构建需要从配置类获取配置项，这里不显示…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023