大数据学习-环境准备

VMware 部分

网络设置

下载好 CentOS 7 的镜像文件

修改 VMware 的网络

把子网 ip 修改为 192.168.88.0,然后点击 NAT 设置,修改网关 IP 为 192.168.88.2

之后就确定即可

虚拟机安装

选择镜像文件,使用 VMware 的典型安装方法即可,这里用户是 lyj,密码是 1234

基本就是一路下一步即可

大数据集群这里使用三台虚拟机即可

当第一台虚拟机安装后,关机

右键虚拟机标签(如果没有就打开虚拟机),点击管理—克隆,克隆方法选择:完整克隆

起好名字即可,这里分别起名叫:hadoop-node-1/2/3,还好克隆虚拟机不需要把空间占用也克隆

克隆完毕后,把 node1 的内存修改为 4G,另外两个改成 2G

虚拟机网络设置

先切换为 root

su root

修改固定IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

IPADDR=192.168.88.131

GATEWAY=192.168.88.2

NETMASK=255.255.255.0

DNS1=192.168.88.2

另外两台就是 192.168.88.132 192.168.88.133

修改主机名

hostnamectl set-hostname node1

重启网络

systemctl restart network

主机名与 IP 映射

在 Windows 中的 hosts 文件

C:\Windows\System32\drivers\etc\hosts

加入这三句:

192.168.88.131 node1

192.168.88.132 node2

192.168.88.133 node3

如果没有权限保存,就用管理员方式+记事本打开即可

在 Linux 的 hosts 文件

vim /etc/hosts

也加上这三句,三台机子都要加

192.168.88.131 node1

192.168.88.132 node2

192.168.88.133 node3

SSH

免密登录

在每一台机器上都执行这个命令,生成密钥,一直回车即可

ssh-keygen -t rsa -b 4096

生成的密钥文件在这个目录下

/root/.ssh

在每一台机器都执行

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

主要作用好像就是执行 ssh 命令可以快速切换 ssh 连接的主机

比如连接的是 node2,执行 ssh node1,就可以切换到 node1

创建用户 hadoop

主要还是培养习惯吧,毕竟在企业中不可能给开发 root 权限的

在每台机器执行命令,创建 hadoop 用户

useradd hadoop

在每台机器中执行,设置 hadoop 用户的密码:1234

别管它的提示说无效,用 root 用户就可以继续设置

passwd hadoop

切换 hadoop 用户,并生成密钥

su hadoop

ssh-keygen -t rsa -b 4096

在每台机器上执行

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

JDK 部分

给每个机器都部署好 JDK 环境,这里下载 JDK 1.8

Java Archive Downloads - Java SE 8u211 and later

创建文件夹,用来部署JDK,将JDK和Tomcat都安装部署到:/export/server 内

mkdir -p /export/server

解压上传的 JDK 压缩包

tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server

配置 JDK 软连接

ln -s /export/server/jdk1.8.0_391 /export/server/jdk

配置 JDK 的环境变量

vim /etc/profile

export JAVA_HOME=/export/server/jdk

export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

配置 Java 执行程序的软连接

# 删除系统自带的 Java 程序

rm -f /usr/bin/java

# 软连接自己安装的 Java

ln -s /export/server/jdk/bin/java /usr/bin/java

验证

java -version

javac -version

防火墙

每台机器都关闭它,并取消开机自启动

systemctl stop firewalld

systemctl disable firewalld

SELinux

这是一个安全模块,用来限制用户和程序的权限,保证系统安全

目前关闭即可

vim /etc/sysconfig/selinux

把 SELINUX=enforcing,修改为 SELINUX=disabled

disabled,不能拼错,不然无法开机

修改完毕后,重启虚拟机

reboot

修改时区并配置自动时间同步

1. 安装ntp软件

yum install -y ntp

2. 更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3. 同步时间

ntpdate -u ntp.aliyun.com

4. 开启ntp服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

给虚拟机搞个快照

万一出问题用于恢复

在 VMware 中点上面的虚拟机,找到快照,点击拍摄快照

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/31858.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分解数据堆栈:存储和计算 2.0 的分解

在LinkedIn上,有一篇优秀的帖子在数据和数据库人群中流行。它由 Theory VC 合伙人 Tomasz Tunguz 撰写,讲述了我们自 2019 年以来讨论的趋势。 数据库正在成为高速查询引擎,并正在抛弃存储。这并不意味着存储不重要,相反&#xf…

Opencv学习项目5——pyzbar,numpy

上一次我们使用pyzbar进行解码二维码并将其内容显示在图像上,使用的是rect barcode.rect来获取图像的坐标,这次我们使用另一种方法来获取坐标进行画框。 Numpy介绍 NumPy 是一个用于科学计算的开源 Python 库,提供了对大量数值数据进行高效操…

MFC GDI绘制卡通人物

文章目录 主要代码完整visual studio工程下载主要代码 // DrawFrogView.cpp : implementation of the CDrawFrogView class //#include "stdafx.h" #include "DrawFrog.h"#include "DrawFrogDoc.h" #include "DrawFrogView.h"#includ…

5. Revit API: Application

5. Revit API: Application 前言 上一篇中,讲到了UI篇的Ribbon(界面),并提到要创建 RibbonPanel,需要使用UIControlledApplication.CreateRibbonPanel(..)方法,还在结尾说到要写“UI”开头的那些个类&…

碳钢酸洗线送酸槽蒸汽冷凝水PH计测量装置改进方法

碳钢酸洗线送酸槽蒸汽冷凝水PH计测量装置改进方法 一、项目提出前状况 1)立项背景 轧钢退火酸洗生产线的酸洗过程需要使用大量的硫酸、盐酸、硝酸、氢氟酸等酸液对钢带的表面进行清洗,酸洗过后产生较多的酸洗废水,酸洗废水需要经过处理达到污水排放标准后才能排放。其中酸…

【linux】内核源码TCP->IP->L2层函数调用继续摸索中

日志打印的时候,把行数也打印了: 登录 - Gitee.comhttps://gitee.com/r77683962/linux-6.9.0/commit/b847489a9910f68b9581fd8788807c697c82cdbd 上回基于应用层wget操作找到TCP调用的一些接口,并且已经到IP层的一些接口,当前基…

昇思25天学习打卡营第3天|数据集Dataset

一、简介: 数据是深度学习的基础,高质量的数据输入将在整个深度神经网络中起到积极作用。有一种说法是模型最终训练的结果,10%受到算法影响,剩下的90%都是由训练的数据质量决定。(doge) MindSpore提供基于…

Docker常用操作和命令

文章目录 1、卸载旧版本 2、yum安装Docker CE(社区版) 3、添加镜像加速器 4、docker --version 查看docker版本 5、docker info 或 docker system info 显示 Docker 系统的详细信息,包括容器、镜像、网络等 6、docker search 搜索镜像 …

仙讯畅通无阻:探索MQ阵法的强大功能

MQ起源 IBM MQ:IBM MQ是IBM推出的一系列消息导向中间件产品,最初在1993年12月发布。它最初被称为MQSeries,2002年更名为WebSphere MQ,以加入WebSphere产品系列。2014年4月,它被重新命名为IBM MQ。Apache ActiveMQ&…

永辉超市:胖东来爆改,成色几何?

单日业绩暴涨14倍。来,看看,这是被胖东来爆改后重新开业后的门店, 不出意外的流量爆炸。胖东来爆改,真是解决实体商超困境的灵丹妙药吗? 今天我们聊聊——永辉超市 最近两年实体商超日子都不好过,去年13家…

cron.timezone

系统 date 数据库 show timezone插件 show cron.timezonealter system set cron.timezonePRC;show cron.timezone

【odoo】常用的基本视图类型

概要 在Odoo中,有几种基本视图类型,每种视图类型用于不同的目的和场景。这些视图类型包括表单视图(form view)、树视图(tree view)、看板视图(kanban view)、图表视图(gr…

研究人员描述了如何判断ChatGPT是否在虚构

研究人员描述了如何判断ChatGPT是否在虚构 这是世界上最不为人知的秘密之一,大型语言模型对查询给出了明显错误的答案,并自信地这样做,与它们正确的时候没有区别。这有很多原因。人工智能可能已经接受了错误信息的训练;答案可能需要从LLM无法…

Flutter【组件】富文本组件

简介 flutter 富文本组件。 github地址: https://github.com/ThinkerJack/jac_uikit pub地址:https://pub.dev/packages/jac_uikit 使用方式 运行 flutter pub add jac_uikit组件文档 使用方式: HighlightedTextWidget.builder(text: &…

SpringMVC的使用

SpringMVC详情 RequestMapping("/hello") 负责用户的请求路径与后台服务器之间的映射关系 如果请求路径不匹配,则用户报错404 ResponseBody 作用: 将服务器的返回值转化为JSON. 如果服务器返回的是String类型,则按照自身返回. 新增: post请求类型 PostMapping("…

Java 从零开始写一个简单的图书管理系统

了解一下 先来了解要实现一个怎样的图书管理系统 从中可以看到有操作的 使用者 和 不同 的 功能 而不同的使用者有不同的 菜单 那要如何实现呢? 请继续看下去 如何实现 首先了解我们 需要什么 图书系统需要 书,放书的 书架 ,用户 中有 管…

大数据与java哪个好找工作?这篇文章帮你做选择!

大数据与java哪个好找工作?这篇文章帮你做选择! 还在为选择Java开发还是Java大数据而头疼吗?别担心,本文将从就业前景、学习方向、学习内容以及薪资待遇四个方面,为你揭开Java和Java大数据的神秘面纱,帮你做…

【STM32】时钟树系统

1.时钟树简介 1.1五个时钟源 LSI是低速内部时钟,RC振荡器,频率为32kHz左右。供独立看门狗和自动唤醒单元使用。 LSE是低速外部时钟,接频率为32.768kHz的石英晶体。这个主要是RTC的时钟源。 HSE是高速外部时钟,可接石英*/陶瓷谐振…

Webstorm vue项目@路径不能跳转到对应资源,提示Cannot find declaration to go to

Webstorm vue项目路径不能跳转到对应资源,提示Cannot find declaration to go to 我们 ctrl加鼠标左键点击方法会失效,看了网上很多教程在说需要在此处配置一下webpack.config.js的文件路径,而且指向了node_modules\vue\cli-service\webpack.config.js 我…

外贸SEO工具有哪些推荐?

"我们作为一个专业的Google SEO团队,比较推荐一下几个适合外贸SEO的工具。Ahrefs 是一个非常强大的工具,可以帮助你深入分析竞争对手的表现,找到有潜力的关键词,还可以监控你的网站链接状况。另外,SEMrush 也很不…