黑马程序员-大数据入门到实战-前置章节

文章目录

  • 1. 环境介绍
  • 2. VMware准备虚拟机
  • 3. VMware虚拟机系统设置
    • 3.1 主机名、IP、SSH免密登录
      • 3.1.1 配置固定IP地址
      • 3.1.2 配置主机名映射
      • 3.1.3 配置SSH免密登录
      • 3.1.4 创建hadoop用户并配置免密登录
    • 3.2 JDK环境部署
      • 3.2.1 配置JDK环境
    • 3.3 防火墙、SELinux、时间同步
      • 3.3.1 关闭防火墙和SELinux
      • 3.3.2 修改时区并配置自动时间同步
  • 4. 总结

1. 环境介绍

基于VMware构建Linux虚拟机
① 是大数据从业者或IT从业者的必备技能之一
② 是成本低廉的方案

2. VMware准备虚拟机

① 设置VMware网段
② 下载Centos操作系统
③ 在VMware中安装Centos操作系统
④ 配置多台Linux虚拟机

3. VMware虚拟机系统设置

3.1 主机名、IP、SSH免密登录

对三台虚拟机完成主机名、固定IP、SSH免密登录等系统设置

3.1.1 配置固定IP地址

① 开启node1,修改主机名为node1,并修改固定ip

# 修改主机名
hostnamectl set-hostname node1;# 修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.101"#重启网卡
systemctl restart network

同样的操作启动node2和node3
修改node2主机名为node2,设置ip为192.168.88.102
修改node3主机名为node3,设置ip为192.168.88.103

3.1.2 配置主机名映射

① 在Windows系统中修改hosts文件,填入如下内容:

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

② 在3台Linux的/etc/hosts文件中填入以下内容

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

3.1.3 配置SSH免密登录

后续安装的集群化软件,多数需要远程登录以及远程执行命令,为了简单起见,配置三台Linux服务器之间的免密码互相SSH登录

① 在每一台机器执行:(一路回车到底)

ssh-keygen -t rsa -b 4096

② 在每一台机器执行:

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

执行完毕后,node1、node2、node3之间将完成root用户间的免密互通

3.1.4 创建hadoop用户并配置免密登录

后序大数据的软件,将不以root用户启动
我们将大数据的软件创建一个单独的用户hadoop,并为三台服务器同样配置hadoop用户的免密互通

① 在每一台机器执行:

useradd hadoop #创建hadoop用户

② 在每一台机器执行:

passwd hadoop #设置hadoop用户密码为123456

③ 在每一台机器执行:

su - hadoop #切换到hadoop用户

④ 在每一台机器执行:

ssh-keygen -t rsa -b 4096

⑤ 在每一台机器执行:

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

3.2 JDK环境部署

对三台虚拟机完成JDK环境部署

3.2.1 配置JDK环境

① 创建文件夹,用来部署JDK

mkdir -p /export/server

② 解压JDK安装文件

tar -zxvf jdk-8u351-linux-x64.tar.gz -C /export/server

③ 配置JDK的软链接

ln -s /export/server/jdk1.8.0_351 /export/server/jdk 

④ 配置JAVA_HOME环境变量

# 编辑/etc/profile文件
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

⑤ 生效环境变量

source /etc/profile

⑥ 配置java执行程序的软链接

# 删除系统自带的java程序
rm -f /usr/bin/java
# 软链接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java

⑦ 执行验证

java -version
javac -version

3.3 防火墙、SELinux、时间同步

对三台虚拟机完成防火墙、SELinux、时间同步等系统设置

3.3.1 关闭防火墙和SELinux

集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单在集群内部关闭防火墙

① 在每一台机器执行:

systemctl stop firewalld
systemctl disable firewalld

Linux有一个安全模块:SELinux,用以限制用户和程序的相关权限,来确保系统的安全稳定。
在当前,我们需要关闭SELinux功能,避免导致后面的软件运行出现问题

② 在每一台机器执行:

vim /etc/sysconfig/selinux# 将第七行SELINUX=enforcing 改为
SELINUX=disabled

3.3.2 修改时区并配置自动时间同步

① 在每一台机器执行:

yum install -y ntp #安装ntp软件

② 更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

③ 同步时间

ntpdate -u ntp.aliyun.com

④ 开启ntp服务并设置开机自启

systemctl start ntpd
systemctl enable ntpd

4. 总结

  1. 设置三台Linux的主机名和固定IP
  2. 在Linux系统以及本机中配置了主机名映射
  3. 配置了三台服务器之间root用户的SSH免密互通
  4. 安装配置完成了JDK环境
  5. 关闭了防火墙和SELinux
  6. 更新了时区和同步了时间
  7. 拍摄快照保存状态

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/816.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【软件测试】Git 远程仓库的使用(详细)

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 查看远程仓库 想…

SQL性能规范

一、随聊 记录一下吧,2023年7月13日00:11:11,现在的状态真的很,忙,干不完的活,希望巨大的压力,能够让自己快速成长,回想我这一路,21年大专毕业,用一年时间熟悉软件&…

STM32 Proteus仿真医用仓库环境控制系统紫外线消毒RS232上传CO2 -0066

STM32 Proteus仿真医用仓库环境控制系统紫外线消毒RS232上传CO2 -0066 Proteus仿真小实验: STM32 Proteus仿真医用仓库环境控制系统紫外线消毒RS232上传CO2 -0066 功能: 硬件组成:STM32F103R6单片机 LCD1602显示器DHT11温度湿度电位器模拟…

golang中的【数组】相关知识点

目录 数组含义数组定义形式数组的声明初始化方式数组变量的类型 arr的特征数组的遍历遍历的用法二数组的值传递数组的引用&取地址 传送二维数组的相关操作定义二维数组初始化遍历 Golang是一种高效的编程语言,具有很多特性和优点,其中之一就是其对数…

python 小案例25

要使用Django开发一个抽奖活动的后台,需要进行以下步骤: 安装Django:首先确保已经安装了Python和pip,然后使用pip安装Django库: pip install django 创建Django项目:在命令行中执行以下命令创建一个新的Dja…

RNN、LSTM、Seq2Seq

目录 时间序列表示梯度弥散和梯度爆炸RNN(循环神经网络)LSTMSeq2SeqELMo 时间序列表示 核心是加入历史信息去预测下一步骤 在NLP中,序列维度一般是这个样子:[b,seq_len,feature_len] b个句子,每个句子seq_len个单词,…

【复习10-12天内容】【我们一起60天准备考研算法面试(大全)-第十四天 14/60】

专注 效率 记忆 预习 笔记 复习 做题 欢迎观看我的博客,如有问题交流,欢迎评论区留言,一定尽快回复!(大家可以去看我的专栏,是所有文章的目录)   文章字体风格: 红色文字表示&#…

OK3588运行python程序对摄像头数据进行图像处理

OK3588运行python程序读取usb摄像头 硬件连接用工具测试验证摄像头工作正常python 读取usb摄像头并进行图像处理 硬件连接 把usb摄像头插入HOST的usb接口。 在串口终端运行 sudo v4l2-ctl --list-devices 如下图 当前的usb设备是 /dev/video74 用工具测试验证摄像头工作正常…

贪心算法、贪心搜索/采样(greedy search/sampling)、集束搜索(beam search)、随机采样(random sample)

首先需要了解贪心算法: 贪心算法,又名贪婪法,是寻找最优解问题的常用方法,这种方法模式一般将求解过程分成若干个步骤,但每个步骤都应用贪心原则,选取当前状态下最好/最优的选择(局部最有利的选…

Android之Intent

意图介绍 一个意图(Intent)对象包含了目标组件、动作、数据、类别、附加数据、标志六个部分。 目标组件 目标组件可以帮助应用发送显式意图调用请求。在创建Intent时,可以通过setComponent方法来设置一个组件,如: //设置组件 intent.setC…

LRU 缓存

题目链接 LRU 缓存 题目描述 注意点 如果插入操作导致关键字数量超过 capacity ,则应该 逐出 最久未使用的关键字函数 get 和 put 必须以 O(1) 的平均时间复杂度运行 解答思路 如果想以O(1)的速度进行get,则需要将对应的key、value存到map中如果想…

​ 基于单片机智能温室大棚控制系统

功能介绍 以51单片机作为主控系统; DS18B20温度采集模块检测温度; 光敏电阻和ADC0832组成的光照检测模块; 土壤湿度检测模块检测土壤湿度; CO2检测模块检测CO2浓度; LCD1602显示模块显示测量值、 若温度小于温度最…

ceph命令总结

ceph命令总结 一、集群 1、启动一个ceph 进程 2、查看机器的监控状态[查看集群健康状态细节] ceph health [detail]3、查看ceph的实时运行状态(常用) ceph -w4、检查信息状态信息(常用) ceph -s5、查看ceph存储空间 ceph df6、查看ceph集群中的认证用户及相关的key(常用…

【2023江西省研究生数学建模竞赛】第三题 植物的多样性 48页论文及Python代码

【2023江西省研究生数学建模竞赛】第三题 植物的多样性 48页论文及Python代码 相关链接 【江西省研究生数学建模竞赛】第一题 蒸汽发生器倒U型管内液体流动 70页论文及MATLAB代码 【江西省研究生数学建模竞赛】第一题 蒸汽发生器倒U型管内液体流动 70页论文及MATLAB代码 【2…

车道线检测|利用边缘检测的原理对车道线图片进行识别

前言 那么这里博主先安利一些干货满满的专栏了! 这两个都是博主在学习Linux操作系统过程中的记录,希望对大家的学习有帮助! 操作系统Operating Syshttps://blog.csdn.net/yu_cblog/category_12165502.html?spm1001.2014.3001.5482Linux S…

【深度学习】受限玻尔兹曼机 (RBM) 初学者指南

一、说明 受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一种基于能量模型的人工神经网络。它只有一个隐层,将输入层和隐层中的每个神经元互相连接,但不同层的神经元之间没有连接。RBM是一种无向的概率图模型&am…

docker和k8s的学习介绍

docker: 出现是因为相比于虚拟机,资源复用更加灵活,虚拟机是一个完整的操作系统,占用空间大,启动慢;docker容器技术可以根据也无需求,配置不同的环境,不会互相影响。镜像操作方便迁移&#xff0…

一套完全开源,支持多租户,界面配置单点的后端框架JVS

JVS的多租户体系统 在IT系统中,“租户”(tenant)通常用于指代一种多租户架构(multi-tenancy),它是一种软件架构模式,允许多个用户或组织共享相同的应用程序或系统实例,但彼此之间的…

7.5 SpringBoot 拦截器Interceptor实战 统一角色权限校验

文章目录 前言一、定义注解annotation二、拦截角色注解1. 在拦截器哪里拦截?2. 如何拦截角色注解?3. 角色如何读取?4. 最后做角色校验 三、应用:给管理员操作接口加注解四、PostMan测试最后 前言 在【7.1】管理员图书录入和修改API&#xf…

JMeter 中 3 种参数值的传递

目录 前言: (一) 从 CSV 文件读取要批量输入的变量 (二) 利用 Cookie 进行值的传递 (三) 利用正则匹配提取上一个接口的返回数据作为下个请求的输入 前言: 在JMeter中,参数值的传递是非常重要的,因为它允许你在测试过程中动态…