基于VM虚拟机下Ubuntu18.04系统,Hadoop的安装与详细配置

参考博客:

https://blog.csdn.net/duchenlong/article/details/114597944

与上面这个博客几乎差不多,就是java环境配置以及后面的hadoop的hdfs-site.xml文件有一些不同的地方。 

准备工作

1.更新

# 更新
sudo apt update
sudo apt upgrade

2.关闭防火墙( 不用单独开辟端口)

sudo ufw disable

创建Hadoop用户

# 创建Hadoop用户,并使用/bin/bash作为shell
sudo useradd -m hadoop -s /bin/bash# 为Hadoop设置登录密码
sudo passwd hadoop# 增加管理员权限
sudo adduser hadoop sudo

创建一个Hadoop用户,是因为可以避免Hadoop在运行的过程中影响到其他用户的正常使用。

增加管理员权限可以避免Hadoop在运行时,出现一些权限的问题,比如在一些目录下创建文件等。

如何后续的安装在hadoop用户下进行

# 切换为 Hadoop用户
su hadoop

或者退出当前用户:

方法一:使用快捷键Ctrl+D组合键

方法二:在终端中输入$exit或者$logout命令,然后按下回车键就可退出当前用户会话

安装Java 

如果安装的Hadoop是2.*版本的,那么需要安装的java版本最好是1.8,默认安装的是11,在配置伪分布式节点时会报一些警告

sudo apt install openjdk-8-jdk

配置环境变量( Ctrl + s 保存,Ctrl + x 退出)

nano ~/.bashrc

在结尾添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

然后更新环境变量

# 更新环境变量
source ~/.bashrc

查看是否安装成功,以及java的版本信息

# 查看是否安装成功
whereis java# java的版本信息
java-version# 环境变量是否导入成功
echo $JAVA_HOME

 

设置ssh免密登录

# 登录localhost
ssh localhost

(忘记直接截图在哪了,放上面博客博主的图吧,操作一样)

然后会在~/目录下发现一个.ssh文件。

配置秘钥,免密登录

# 到.ssh 目录下
cd ~/.sshssh-keygen -t rsa

# 加入授权
cat ./id_rsa.pub >> ./authorized_keys

再次输入$ssh localhost不需要密码的话,就是配置成功了

Hadoop下载安装

安装地址:https://blog.csdn.net/m0_62110645/article/details/134403165?spm=1001.2014.3001.5502

我是使用共享文件夹安装的:

在在virtualbox的ubuntu虚拟机上设置共享文件夹步骤:

1.设置共享文件夹

自行设定共享文件夹路径以及名称,记得勾选自动挂载(A),运行虚拟机的时候才会自动加载该文件夹。

# 将hadoop 压缩包在/usr/local 目录下解压
sudo tar -zxvf hadoop-2.10.1.tar.gz -C /usr/local/# 进入该目录
cd /usr/local# 更新名字文hadoop
sudo mv ./hadoop-2.10.1/ ./hadoop# 修改文件权限
sudo chown -R hadoop ./hadoop 

 配置java环境变量在hadoop中

# 进入配置文件目录
cd /usr/local/hadoop/etc/hadoop# 打开文件
nano hadoop-env.sh

查看hadoop版本信息 

# 进入bin目录
cd /usr/local/hadoop/bin./hadoop version

 

 

伪分布式安装

# 进入配置文件的目录
cd /usr/local/hadoop/etc/hadoop

 需要修改的两个文件core-site.xmlhdfs-site.xml文件

修改core-site.xml文件为:

nano core-site.xml
<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

修改hdfs-site.xml文件为:

nano hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property><property><name>dfs.http.address</name><value>localhost:50070</value></property>
</configuration>

这里我直接是localhost:50070,在自己主机上访问。因为我按教程来,但是得不到一样的结果,就启动不出教程192.168.*的界面。后来经过四处搜索方法。在终端输入$ifconfig,显示我的是10.0.2.15 。

尝试过什么修改为桥接网络等等各种方法,但始终不成功,所以我干脆修改为只在自己主机运行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/161611.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MS2401隔离Σ-Δ调制器,可替代ADI的AD7401

产品简述 MS2401 是一款二阶 Σ-Δ 调制器&#xff0c;集成片上数字隔离器&#xff0c;能 将模拟输入信号转换为高速 1 位码流。调制器对输入信号连续 采样&#xff0c;无需外部采样保持电路。模拟信号输入满量程为 320 mV &#xff0c;转换后的数字码流的最高数据速率为 2…

C++ Boost Thread 编程总结

1.前言 标准C线程即将到来。CUJ预言它将衍生自Boost线程库&#xff0c;现在就由Bill带领我们探索一下Boost线程库。 就在几年前&#xff0c;用多线程执行程序还是一件非比寻常的事。然而今天互联网应用服务程序普遍使用多线程来提高与多客户链接时的效率&#xff1b;为了达到最…

统计voc格式数据中的xml标签、bndbox到excel表格中

有这么个需求是将xml的内容: 1,filename 2.label 3.bndbox:xmin,xmax,ymin,ymax。 … 将这些东西写入excel表格中,方便我统计标签数量和框的分布! 于是撰写了脚本:xml2csv.py 我的xml文件形式如下。大家的目标检测格式大同小异! <annotation><folder>UAV_d…

【MySQL】多表查询、子查询、自连接、合并查询详解,包含大量示例,包你会。

复合查询 前言正式开始一些开胃菜多表查询自连接子查询单行子查询多行子查询in关键字all关键字any关键字多列子查询在from中使用子查询 合并查询union 和 union all 前言 我前面博客讲的所有的查询都是在单表中进行的&#xff0c;从这里开始就要专门针对查询这个话题进行进一步…

ansible学习

一文掌握 Ansible 自动化运维 - 知乎 ansible的安装与简单的使用_坚持到所有人都放弃!!!的技术博客_51CTO博客

GIT | 基础操作 | 初始化 | 添加文件 | 修改文件 | 版本回退 | 撤销修改 | 删除文件

GIT | 基础操作 | 初始化 | 添加文件 | 修改文件 | 版本回退 | 撤销修改 | 删除文件 文章目录 GIT | 基础操作 | 初始化 | 添加文件 | 修改文件 | 版本回退 | 撤销修改 | 删除文件前言一、安装git二、git基本操作2.1 初始化git2.2 配置局部生效2.3 配置全局生效 三、认识工作区…

浅谈堆和栈内存以及编程语言

浅谈堆和栈内存以及编程语言 栈和堆C 和 C# 的区别&#xff1a;C#总结 编程语言C汇编语言&#xff08;Assembly Language&#xff09;&#xff1a;机器语言&#xff08;Machine Language&#xff09;&#xff1a; 拓展C#依赖注入&#xff08;Dependency Injection&#xff09;模…

2018年全国硕士研究生入学统一考试管理类专业学位联考数学试题——解析版

文章目录 2018 年考研管理类联考数学真题一、问题求解&#xff08;本大题共 5 小题&#xff0c;每小题 3 分&#xff0c;共 45 分&#xff09;下列每题给出 5 个选项中&#xff0c;只有一个是符合要求的&#xff0c;请在答题卡上将所选择的字母涂黑。真题&#xff08;2018-01&a…

DRF-项目-(1):构建纯净版的drf项目,不再使用django的后台管理,django的认证,django的session等功能,作为一个纯接口项目

项目的目录结构&#xff1a; -HeartFailure |-- apps |--user |--HeartFailure |-- static |--manage.py 一、django项目相关的 1、命令行中创建django项目 #1、切换到指定的虚拟环境中 workon my_drf#2、该虚拟环境已经安装好django和rest_framework了 django-admin startp…

补充:linux rsyslog配置多端口监听(基于UDP)

rsyslog默认udp监听端口为514,我们可以配置rsyslog基于udp的多端口监听,实现监控的丰富性 1.环境信息 环境信息 HostnameIpAddressOS versionModuleNotersyslog1192.168.10.246Red Hat Enterprise Linux Server release 7.7 (Maipo)rsyslogd 8.24.0-38.el7linux基础配置 Li…

④【Set】Redis常用数据类型: Set [使用手册]

个人简介&#xff1a;Java领域新星创作者&#xff1b;阿里云技术博主、星级博主、专家博主&#xff1b;正在Java学习的路上摸爬滚打&#xff0c;记录学习的过程~ 个人主页&#xff1a;.29.的博客 学习社区&#xff1a;进去逛一逛~ Redis Set ④Redis Set 操作命令汇总1. sadd …

mysql的联合索引最左匹配原则问题

MySQL的联合索引 联合索引的最左匹配原则会一直向右匹配直到遇到范围查询(>、<、between、like) 就会停止匹配。 这个结论并不全对&#xff01;去掉 「between 和 like 」这个结论就没问题了 经过实验的证明&#xff0c;我得出的结论是这样的&#xff1a; 联合索引的最…

【计算机网络学习之路】TCP socket编程

文章目录 前言一. 服务器1. 初始化服务器2. 启动服务器 二. 客户端三. 多进程服务器结束语 前言 本系列文章是计算机网络学习的笔记&#xff0c;欢迎大佬们阅读&#xff0c;纠错&#xff0c;分享相关知识。希望可以与你共同进步。 本篇博客基于UDP socket基础&#xff0c;介绍…

Oracle的控制文件多路复用,控制文件备份,控制文件手工恢复

一.配置控制文件多路复用 1.查询Oracle的控制文件所在位置 SQL> select name from v$controlfile;NAME -------------------------------------------------------------------------------- /u01/app/oracle/oradata/orcl/control01.ctl /u01/app/oracle/fast_recovery_a…

【docker】docker总结

一、Docker简介 Docker是开源应用容器引擎&#xff0c;轻量级容器技术。基于Go语言&#xff0c;并遵循Apache2.0协议开源Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中&#xff0c;然后发布到任何流行的Linux系统上&#xff0c;也可以实现虚拟化容…

No matching variant of com.android.tools.build:gradle:7.4.2 was found.

一、报错信息 创建个新项目&#xff0c;运行直接报错&#xff0c;信息如下&#xff1a; No matching variant of com.android.tools.build:gradle:7.4.2 was found. The consumer was configured to find a runtime of a library compatible with Java 8, packaged as a jar,…

shell 条件语句

目录 测试 test测试文件的表达式 是否成立 格式 选项 比较整数数值 格式 选项 字符串比较 常用的测试操作符 格式 逻辑测试 格式 且 &#xff08;全真才为真&#xff09; 或 &#xff08;一真即为真&#xff09; 常见条件 双中括号 [[ expression ]] 用法 &…

springboot启动过程

1、SpringApplication new一个对象会优先调用initialize方法 public SpringApplication(Object... sources) {initialize(sources); } private void initialize(Object[] sources) {//添加配置类SpringBootApplicationif (sources ! null && sources.length > 0) …

关于一些bug的解决1、el-input的输入无效2、搜索之后发现数据不对3、el多选框、单选框点击无用4、

el-input输入无效 原来的代码是 var test null 但是我发现不能输入任何值 反倒修改test的初始值为123是可以的 于是我确定绑定没问题 就是修改的问题 于是改成 var test ref&#xff08;&#xff09; v-model绑定的值改成test.value就可以了 因为ref是相应式的 可以通过输入…

【算法】奇偶游戏(带权并查集)

题目 小 A 和小 B 在玩一个游戏。 首先&#xff0c;小 A 写了一个由 0 和 1 组成的序列 S&#xff0c;长度为 N。 然后&#xff0c;小 B 向小 A 提出了 M 个问题。 在每个问题中&#xff0c;小 B 指定两个数 l 和 r&#xff0c;小 A 回答 S[l∼r] 中有奇数个 1 还是偶数个 …