hadoop安装详细步骤_推荐一个超详细的Hadoop安装教程,已有32万次阅读

安装Hadoop软件系列,首选Linux系统,比如Ubuntu。如果你的系统是Windows,建议再安装一个Ubuntu,组成双系统,如此可以发挥各自系统的特点。

使用U盘制作一个系统,拿出一块分区用作新装的系统,开机启动安装,选择新腾出来的空间后分为4个分区,大概过程就是如此。这块网上教程较多,可以参考。

2 教程来源

这个Hadoop教程是厦门大学林子雨老师团队出品的,介绍的可以说是非常非常专业、细致,按照这个教程,基本可以一次装好Hadoop.

教程的地址:

http://dblab.xmu.edu.cn/blog/install-hadoop/

3 安装步骤

1) 创建Hadoop用户,非必须,建议新手参考这步去做

2) 更新 apt

3) 安装 ssh, 配置ssh无密码登入

4) 安装 Java 环境

5) 安装 Hadoop2

6) Hadoop的单机配置

7) Hadoop的伪分布式配置

8) 运行

4 易出错点

以上每个步骤最好都要检查一遍,它们都是相互依赖的。同时建议安装伪分布式版,主要涉及到两个配置文件:core-site.xml, hdfs-site.xml, 配置方式如下所示:

9afc42fda080acb5b4c8a8288ebc0b74.png

core-site.xml

f39cd434fa3073a1393450d974de1ee8.png

hdfs-site.xml

通过执行 /sbin/start-dfs.sh 启动 Hadoop,如下图所示,创建了一个DataNode节点,两个NameNode节点。

7e4437dc618db07387b67e334207ebc0.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/305339.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

后宫佳丽三千,假如古代皇帝也懂负载均衡算法...

古代皇帝,后宫佳丽三千,没法做到雨露均沾,但为了繁衍后代,子嗣繁盛,弱水三千,只取一瓢饮显然是不行的。不同的朝代有不同的宠幸妃子的方法,著名的有羊车望幸、掷筛侍寝、翻牌悬灯等等。如果皇帝…

常见DDoS技术方法和对应防御措施

DDOS***是现在最常见的一种******方式,下面就给大家简单介绍一下DDOS的七种***方式。 1.Synflood: 该***以多个随机的源主机地址向目的主机发送SYN包,而在收到目的主机的SYN ACK后并不回应,这样,目的主机就为这些源主机建立了大…

mac 配置php和mysql_Mac下配置PHP+MySql环境

由于最近需要布置mantis用来进行bug追踪,在此记录其过程。由于PHP apache环境在Mac OS上是自带的,所以不需要另处下安装包,只需要简单配置一下即可。首先打开终端输入命令:sudo vim /etc/apache2/httpd.conf其中有一行是这样的#Lo…

git使用的基本流程_git命令的基本使用

首先下载完git之后打开Git Bash配置你的邮箱和用户名(github或gitee):$ git config --global user.name "注册时账号的名字"$ git config --global user.email "注册时使用的邮箱"获取ssh公钥:ssh-keygen -t …

软件性能测试与LoadRunner实战可以在网上和书店买到了

有很多朋友和学员对这本书已经期待很久了,今天可以幸福的告诉大家这本书,您可以在China-pub上订购了(订购的链接:[url]http://www.china-pub.com/39876[/url]),也可以在书店买到喽。下面是专业人事的书评内…

Code Runner for VS Code 突破 2000 万下载量!支持超过 50 种语言

还记得五年前的夏天,我在巨硬写着世界上最好的语言,有时也需要带着游标卡尺写着另一门语言。然而,我对这两门语言都不熟悉,如果能在 VS Code 中方便快捷地运行各种语言,那岂不是很方便?于是,我就…

mysql group where_[MySQL] 测试where group by order by的索引问题

1. select * from test where axx group by b order by c 如何加索引CREATE TABLE index_test (id int(10) unsigned NOT NULL AUTO_INCREMENT,name varchar(100) NOT NULL DEFAULT ,gid int(11) NOT NULL DEFAULT 0,age int(11) NOT NULL DEFAULT 0,PRIMARY KEY (id)) ENGI…

gpl可以商用吗_一文看懂开源许可证,能不能商用再也不抓瞎

在github中闲逛,宝藏多福利好。不过心里或许总有小忐忑,这么多开源项目,我的产品里能不能用呀!其实想知道项目能不能用看下项目的开源许可证就清楚了(即使是非软件产品比如数据、媒体、资料等也可以通过开源许可证知道它们的可用范…

使用 Tye 辅助开发 k8s 应用竟如此简单(一)

最近正巧在进行 Newbe.Claptrap 新版本的开发,其中使用到了 Tye 来辅助 k8s 应用的开发。该系列我们就来简单了解一下其用法。安装 Tye 首先,确保已经正确安装了 netcore 2.1 或以上版本的 dotnet SDK。Tye 目前还处于开发阶段,因此&#xff…

np变题了。但我过了

前天5月14号,一个平静的日子。我去参加了np的bsci考试,但不幸的是一进去看到考题就发晕了。题变了,后来才知道,我去考试的时间是变题的第二天。但万幸的是经过艰苦的努力,我终于看到了Congratulations,出来…

mysql修改主键生成策略信息_常用Hibernate 主键生成策略

1.AssignedAssigned方式由程序生成主键值,并且要在save()之前指定否则会抛出异常特点:主键的生成值完全由用户决定,与底层数据库无关。用户需要维护主键值,在调用session.save()之前要指定主键值。2.HiloHilo使用高低位算法生成主…

php上传文件很慢的原因_PHP编码安全:上传文件安全

一次性付费进群,长期免费索取教程,没有付费教程。进微信群回复公众号:微信群;QQ群:460500587教程列表 见微信公众号底部菜单 | 本文底部有推荐书籍 微信公众号:计算机与网络安全ID:Computer-net…

RabbitMQ 入门:2. Exchange 和 Queue

上文RabbitMQ 入门:1. Message Broker(消息代理)提到过 RabbitMQ 实现了 AMQP 这个协议(RabbitMQ 所支持的 AMQP 的版本是 0.9.1),这个协议的内容很多,但为了构建入门级的分布式应用&#xff0c…

【组图】地震前线归来--心中的震撼

5.12号获悉家乡发生大地震,不放心在成都的家人朋友,于13日从北京赶回成都,再了解事态严重性,并确定家人情况后,14日与众多志愿者一起从成都出发,取道彭州市,通济镇,白水河镇&#xf…

mysql数据库密码错误_MySQL数据库经典错误六 数据库密码忘记的问题

数据库密码忘记的问题[rootzs ~]# mysql -uroot -pEnter password:ERROR 1045 (28000): Access denied for user ‘root’’localhost’ (using password: YES)[rootzs ~]# mysql -uroot -pEnter password:ERROR 1045 (28000): Access denied for user ‘root’’localhost’ (…

前端 input怎么显示null_小猿圈WEB前端之HTML5+CSS3面试题(一)

学习是一件非常充实的过程,特别是把自己的乐趣变成工作的时候,很多朋友就喜欢学习web前端,所以学习前端,也希望从事前端的工作,但是因为缺少实战经验,所以很多都是卡在面试这关上,下面小猿圈总结…

使用AXIS开发Web Service的示例

1)先下载Axis的文件包 :http://ws.apache.org/axis/2)新建web工程 名称为:axis 拷贝Axis包中 webapps/axis 目录中的所有文件到工程目录的 webroot 目录中, 然后 刷新 工程 新建一个 java 文件,文件名称为:HelloClient…

聊聊Interlocked.CompareExchange吧?

【导读】私下空余时间一直在研究开源框架,当然也就少不了学习优秀源码,本文也是我查看有关源码时,触碰到我个人知识盲区,做此记录,分享下Interlocked.CompareExchange这玩意用法被讲的很烂了,为何再次被提及…

sae 本地环境 mysql数据库_SAE本地环境与真实环境的差别

其实从刚开始用的时候就发现本地环境和真实环境有不同,导致本地环境我都没怎么用。1、本地环境的php是32bit版本的,真实环境是64bit的。这是我发现的第一个不相同的地方,就是因为这个,直接导致我的应用绝大部分调试工作都是在把代…

winform 统计大量数据重复的元素个数_面试系列:十个海量数据处理方法大总结...

本文将简单总结下一些处理海量数据问题的常见方法。当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方…