一、Hadoop初始化配置(final+ubuntu保姆级教程)

1、配置虚拟机

        三台虚拟机,分别为node1、node2、node3,内存分别为4G、2G、2G,现存最好为(>40G),如下:

2、修改主机名

分别打开三台虚拟机,root用户输入一下命令:

node1虚拟机输入:
hostnamectl set-hostname node1
node2虚拟机输入:
hostnamectl set-hostname node2
node3虚拟机输入:
hostnamectl set-hostname node3

3、验证

输入完成之后,刷新cmd窗口,可以看到主机名发生变化:

 

4、修改配置文件

(1)图形化界面修改

设置-》网络-》点击-》将ipv4调整为手动-》修改地址、子网掩码、网关、dns

(2)重启网络设置

先开关按钮,再重启网络:

sudo systemctl restart NetworkManager.service

(3)查看修改结果

5、修改主机的host文件

找到C盘下的如下目录:

C:\Windows\System32\drivers\etc

打开第一个hosts文件,在文件末尾输入三台虚拟机的IP地址,然后保存,分别为:

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

6、finall shell连接

(1)建立连接

        因为已经在windows中配置过node1,所以这里主机名只需要输入node1即可,不需要输入IP地址。

(2)关闭防火墙

sudo ufw disable

(3)配置ssh

安装ssh服务器
sudo apt install openssh-server
安装ssh客户端
sudo apt install openssh-client

(4)配置root密码

        当你按照(1)中步骤连接时,会不断弹出密码框,这是因为在初始化Ubuntu时,我们只赋予了普通用户密码,并没有给与root用户密码,我们需要在Ubuntu中配置root用户密码:

sudo passwd root

(5)修改配置文件

        在root用户下,进入如下配置文件:

vim /etc/ssh/sshd_config

        找到PermitRootLogin……这一行:

        在这一行的下面添加如下语句:

PermitRootLogin yes

(6)重启ssh服务

systemctl restart sshd

(7)完成链接

7、修改Ubuntu中的hosts文件

(1)进入目录

vim /etc/hosts

(2)加入如下内容

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

8、为root用户创建ssh免密登录配置

(1)配置

(2)生成密钥

        输入如下语句,一路回车即可:

 ssh-keygen -t rsa -b 4096

(3)验证

(4)授权免密登录

在node1下执行如下语句,这里以node1中执行为例

·node1到node1免密登录

ssh-copy-id node1

·node1到node2免密登录

ssh-copy-id node2

·node1到node3免密登录

ssh-copy-id node3

9、为普通用户创建ssh免密登录

(1)为三台虚拟机创建hadoop用户

adduser:会自动为创建的用户指定主目录、系统shell版本,会在创建时输入用户密码。
useradd:需要使用参数选项指定上述基本设置,如果不使用任何参数,则创建的用户无密码、无主目录、没有指定shell版本。

这里强烈建议使用adduser,否则会在生成密钥时,出现“文件不存在报错”

adduser hadoop

(2)将三台虚拟机切换到hadoop用户

su hadoop

(3)生成密钥

        一直回车键即可,记着,三台虚拟机都要再生成一次密钥

ssh-keygen -t rsa -b 4096

(4)授权免密登录

这里请参考8、(4)进行操作

10、配置java的JDK

(1)创建目录

(2)上传文件和解压

安装rz,上传压缩包

解压文件

 tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server/

验证

(3)创建软连接

ln -s /export/server/jdk1.8.0_391 jdk

(4)修改配置文件

vim /etc/profile
在配置文件中加入:
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

刷新

 source /etc/profile

验证:

(5)删除操作系统自带的java

rm -f /usr/bin/java

(6)将刚刚下载java软连接到usr的bin文件中

ln -s /export/server/jdk/bin/java /usr/bin/java

验证

11、关闭防火墙和SELinux

(1)下载防火墙

apt install firewalld

 (2)关闭防火墙

systemctl stop firewalld
 systemctl disable firewalld

(3)关闭selinux

在安装selinux之后,输入如下,进入配置文件进行修改

 vim /etc/selinux/config

将文件第七行进行如上修改即可

12、修改时区

(1)安装ntp

apt install ntp

 (2)更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

(3)同步时间

ntpdate -u ntp.aliyun.com

(4)启动ntp

systemctl status ntp
systemctl enable ntp #开机自启

(5)验证是否开机自启动

yang@node1:~$ systemctl is-enabled ntp
enabled

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/132109.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android 13.0 启动app时设置密码锁

1.前言 在13.0的系统产品开发中,对于限制某些app的启动的功能中,在项目中的需求是在点击app启动的时候,根据包名设置密码锁,当输入正确的密码的时候来启动这个app,否则 就不能启动这个app,达到限制使用app的目的,这就需要在app启动的时候,检测app的包名,然后在app启动…

随笔--解决ubuntu虚拟环境的依赖问题

文章目录 问题一:在conda虚拟环境中报错ImportError: libcupti.so.11.7:cannot open shared object file: No such file or directory解决步骤问题二: RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling cublasSgemmStridedBatched( …

使用R语言构建HTTP爬虫:IP管理与策略

目录 摘要 一、HTTP爬虫与IP管理概述 二、使用R语言进行IP管理 三、爬虫的伦理与合规性 四、注意事项 结论 摘要 本文深入探讨了使用R语言构建HTTP爬虫时如何有效管理IP地址。由于网络爬虫高频、大量的请求可能导致IP被封禁,因此合理的IP管理策略显得尤为重要…

2023-11-06 LeetCode每日一题(最大单词长度乘积)

2023-11-06每日一题 一、题目编号 318. 最大单词长度乘积二、题目链接 点击跳转到题目位置 三、题目描述 给你一个字符串数组 words ,找出并返回 length(words[i]) * length(words[j]) 的最大值,并且这两个单词不含有公共字母。如果不存在这样的两个…

如何在 Unbuntu 下安装配置 Apache Zookeeper

简介 Zookeeper 是 apache 基金组织下的项目,项目用于简单的监控和管理一组服务,通过简单的接口就可以集中协调一组服务,如配置管理,信息同步,命名,分布式协调。 准备工作 Ubuntu 23.04 或者 20.04访问…

Pycharm-community-2021版安装和配置

一、下载Pycharm-community-2021 1.从官网下载pycharm-community Pycharm 版本官网 二、安装PyCharm 1.打开下载完成的安装包,点击Next 2.安装PyCharm到其他位置,点击Next 3.一定把更新PATH变量勾上,可以创建桌面快捷方式,创建关联,最后…

C++ 信息学奥赛 2046:【例5.15】替换字母

#include<cstdio> #include<iostream> using namespace std; int main() { char st[200];char A,B; int n0;while((st[n]getchar())!\n); //将原文存放在字符数组st中,并且要注意上述的最后分号 Agetchar();getchar();Bgetchar(); //读取A和B&#xff0c;中间get…

【漏洞复现】weblogic-10.3.6-‘wls-wsat‘-XMLDecoder反序列化(CVE-2017-10271)

感谢互联网提供分享知识与智慧&#xff0c;在法治的社会里&#xff0c;请遵守有关法律法规 文章目录 1.1、漏洞描述1.2、漏洞等级1.3、影响版本1.4、漏洞复现1、基础环境2、漏洞扫描nacsweblogicScanner3、漏洞验证 说明内容漏洞编号CVE-2017-10271漏洞名称Weblogic < 10.3.…

Linux C/C++下抓包分析mysql流量(协议解析)

MySQL通信协议是一个有状态的协议&#xff0c;主要用于MySQL客户端与服务器之间的通信。这个协议在MySQL客户端连接器&#xff08;如Connector/C、Connector/J等&#xff09;、MySQL Proxy以及主从复制中都有实现。 该协议的特性包括&#xff1a;支持SSL、压缩和认证等功能。 …

django REST框架- Django-ninja

Django 是我学习的最早的web框架&#xff0c;大概在2014年&#xff0c;当时选他原因也很简单就是网上资料比较丰富&#xff0c;自然是遇到问题更容易找答案&#xff0c;直到 2018年真正开始拿django做项目&#xff0c;才对他有了更全面的了解。他是一个入门有门槛&#xff0c;学…

后端接口接收对象和文件集合,formdata传递数组对象

0 问题 后端接口需要接收前端传递过来的对象和文件集合&#xff1b;对象中存在数组对象 1 前端和后端 前端只能使用formdata来传递参数&#xff0c;后端不使用RequestBody注解 2 formdata传递数组对象 2.1 多个参数对象数组 addForm: {contactInfo: [{contactPerson: ,…

22款奔驰GLE450加装原厂360全景影像 打破死角

360全景影像影像系统提升行车时的便利&#xff0c;不管是新手或是老司机都将是一个不错的配置&#xff0c;无论是在倒车&#xff0c;挪车以及拐弯转角的时候都能及时关注车辆所处的环境状况&#xff0c;避免盲区事故发生&#xff0c;提升行车出入安全性。 360全景影像包含&…

BuhoCleaner for Mac:彻底改变您的Mac清理体验

BuhoCleaner for Mac是一款专为Mac用户打造的清理工具&#xff0c;它可以帮助您清理无用的文件、缓存、日志和其他垃圾&#xff0c;从而释放磁盘空间并提高系统性能。这款工具具有简单易用的界面和强大的清理功能&#xff0c;是Mac用户必备的清理工具之一。 特点 简单易用的界…

Oracle 19c 可插拔数据库PDB的创建方式

多租户容器数据库架构图总览 多租户容器数据库组成部分&#xff1a; 1.有且仅有一个CDB Root(CDB$ROOT)&#xff0c;它包含了Root和所有PDB数据库的元数据和数据字典信息。 2.有且仅有一个Seed PDB(PDB$SEED),它的作用是创建其他PDB的模板&#xff0c;它是只读库&#xff0c;…

应用开发平台集成表单设计器系列之1——技术预研与技术选型

背景 表单的可视化配置&#xff0c;是低代码开发平台的重要组成部分。平台已实现的低代码配置部分&#xff0c;可以配置生成前端vue页面&#xff0c;对于属性较少的实体&#xff0c;如系统基础数据的管理、配置数据的维护&#xff0c;采用标准化的模板模式来生成&#xff0c;配…

使用JMeter进行接口压力测试

1.我首先创建一个线程组 2.创建好之后如图所示 3. 进行配置 4. 然后添加一个https请求 5.创建好之后设置请求方法和对应参数 6.设置表格监听器 7.创建好之后如图所示 8.保存jmx文件后点击运行进行测试&#xff0c;结果反馈如下图

【数智化人物展】觉非科技CEO李东旻:数据闭环,智能驾驶数智时代发展的新引擎...

李东旻 本文由觉非科技CEO李东旻投递并参与《2023中国企业数智化转型升级先锋人物》榜单/奖项评选。 大数据产业创新服务媒体 ——聚焦数据 改变商业 数智化的主要作用是帮助决策。它的核心是大数据&#xff0c;以大数据为基础&#xff0c;匹配合适的AI技术&#xff0c;促使数…

leetcode刷题 - SQL - 简单

目录 1. 175组合两个表 左外连接 2. 181. 超过经理收入的员工 3. 182. 查找重复的电子邮箱 4. 196. 删除重复的电子邮箱 5. 197. 上升的温度 日期作差 6. 511. 游戏玩法分析 I 7. 577. 员工奖金 null条件运算 8. 584. 寻找用户推荐人 9. 586. 订单最多的客户 10. 595. 大的国家…

AD9371 官方例程裸机SW 和 HDL配置概述(二)

AD9371 系列快速入口 AD9371ZCU102 移植到 ZCU106 &#xff1a; AD9371 官方例程构建及单音信号收发 ad9371_tx_jesd -->util_ad9371_xcvr接口映射&#xff1a; AD9371 官方例程之 tx_jesd 与 xcvr接口映射 AD9371 官方例程 时钟间的关系与生成 &#xff1a; AD9371 官方…

第四届辽宁省大学生程序设计竞赛(正式赛)(12/13)

AC情况 赛中通过赛后通过暂未通过A√B√C√D○E○F√G√H√I○J√K—L√M√ 整体体验 easy&#xff1a;ABFHL mid&#xff1a;MJGC hard&#xff1a;IDKE 心得 感觉出了一堆典题&#xff0c;少数题还有些意思&#xff0c;E题确实神仙 题解 A. 欢迎来到辽宁省赛&#x…