linux 运行 chom,Hadoop安装-单节点/伪分布(2.7.3)

1,下载Hadoop

目前在Ubuntu的软件库里面  没有发现Hadoop的压缩包,没猜错Hadoop不是可执行文件 只是一个压缩包吧!所以我们只能自己到官网下载(http://hadoop.apache.org/releases.html);

在Apache社区中,下载软件的时候常看到source类型和binary类型的文件包,第一种其实就是源码,您可以根据自己的环境进行编译 生成适合自己运行环境的,第二种是我们课直接使用的;

cd  /usr   切换到usr目录下

sudo mkdir  hadoop  创建hadoop文件夹

sudo cd hadoop 进入hadoop文件夹

(wget是从网络上直接下载文件的命令,其支持http  ftp 等协议,默认下载文件到当前目录;)

由于我使用的是虚拟机,下载速度很慢,所以我直接使用本地下载,然后上传到目录下;

apt-get install lrzsz   安装lrzsz脚本,此脚本支持文件传输,类似于FileZ;

(http://freecode.com/projects/lrzsz/)

解压缩文件:

cd  /usr/hadoop

sudo tar -xzf hadoop-2.7.3.tar.gz     tar和gz都是linux下面的压缩算法文件的后缀;通常采用tar命令来解压文件; tar 的参数选项有主选项  和选择选项,主要选项例如上面的 -x   是解压的意思  还有 -c是压缩的意思;    f是制定文件名    f选项一定放在最后     z是代码gz的压缩解密;

2,hadoop目录结构介绍

a366af9e5bec4741cec7d1620d5e0275.png

为了便于观察我在window下面解压了Hadoop压缩文件,得出的出如图目录;

bin:Hadoop最基本的管理脚本和使用脚本的目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用Hadoop。

etc:Hadoop配置文件所在的目录,包括core-site,xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用C++定义的,通常用于C++程序访问HDFS或者编写MapReduce程序。

lib:该目录包含了Hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用。

libexec:各个服务对用的shell配置文件所在的目录,可用于配置日志输出、启动参数(比如JVM参数)等基本信息。

sbin:Hadoop管理脚本所在的目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本。

share:Hadoop各个模块编译后的jar包所在的目录。

3,配置单点Hadoop

》基础配置:  配置Hadoop运行的jdk;

sudo vi  ..../etc/hadoop/hadoop-env.sh    ...代表hadoop解压存放的目录

修改 export JAVA_HOME = jdk安装目录;

》启动

mkdir .../input   创建一个输入参数文件加

cp .../etc/hadoop/*.xml      把hadoop默认的配置文件都copy到input里面

/usr/hadoop/hadoop-2.7.3/bin/hadoop jar .../share/hadoop/mapreduce/

hadoop-mapreduce-examples-*.jar grep /usr/hadoop/input /usr/hadoop/output 'dfs[a-z.]+'

4,伪分布式Hadoop

》基础配置:

ssh免密码登陆     如果想要ssh面密码登陆,必须使用 ssh的keygen生成密匙对;

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  ssh-keygen是ssh算法工具, -t指定算法,-P 是密码 -f是文件名;

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   把公钥追加到认证文件中;

chmod  600 ~/.ssh/authorized_keys  设置认证文件只有所有者可以读写操作;

因为在免密码登陆的时候涉及到生产的密匙对的权限问题即密匙文件必须是只能用户所有者操能操作,所以我们必须知道文件权限;

(注: Linux中权限管理  有三个要素  一个要素是操作者   一个是操作  一个是权限;操作者在Linux中按照用户  用户组来管理;操作主要有 读(R) 写(W) 执行(X)三种,操作可以用数字转换  r=4 w=2 x=1;权限则是用来衡量操作者对文件或文件夹具有哪些操作要素;权限中我们同通过 所有者权限  所在组权限和其他组权限来管理   其中我们可以通过chomn来改变文件所有者    通过chgrp 改变文件所在组   通过chmod来改变用户权限。  我们在ls -a的时候可以看见文件的权限    -rw-r-----  第一个-代表这个是文件   rw- 代表文件所有着具有读写权限   r-- 代表本组人员具有读权限  ---代表其他用户组没有权限对此文件操作)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/393761.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

leetcode944. 删列造序

给定由 N 个小写字母字符串组成的数组 A,其中每个字符串长度相等。 你需要选出一组要删掉的列 D,对 A 执行删除操作,使 A 中剩余的每一列都是 非降序 排列的,然后请你返回 D.length 的最小可能值。 删除 操作的定义是&#xff1…

python学习:re模块

常用正则表达式符号 123456789101112131415161718192021. 默认匹配除\n之外的任意一个字符,若指定flag DOTALL,则匹配任意字符,包括换行^ 匹配字符开头,若指定flags MULTILINE,这种也可以匹配上(r"^a","\nabc\neee&qu…

app之---豆果美食

1.抓包 2.代码 抓取: #!/usr/bin/env python # -*- coding: utf-8 -*- #author tom import requests from multiprocessing import Queue from handle_pymongo import mongo from concurrent.futures import ThreadPoolExecutorclass Douguo():def __init__(self):s…

语言坐标度分秒的换算_测量位置度说明

测量位置度说明位置度是限制被测要素的实际位置对理想位置变动量的指标。它的定位尺寸为理论正确尺寸。位置度公差在评定实际要素位置的正确性, 是依据图样上给定的理想位置。位置度包括点的位置度、线的位置度和面的位置度。[1] 点的位置度:如公差带前加S¢&#xf…

OpenStack创建win7实例遇到的问题(尚未解决,求帮助)

原地址在这里:(作者也是我,害羞)http://www.aboutyun.com/forum.php?modviewthread&tid22898 小白经过两天尝试,用fuel部署好了OpenStack的云平台,接下来想在Compute节点上创建一个win7 实例&#xff…

VMware使两台windows虚拟机能够互相ping通

如果以下内容测试无效,可参考另一篇:VMware虚拟机配置内网电脑能访问 1.关闭防火墙 cmd命令行里输入:netsh firewall set opmode disable 2.测试如果还不能ping通,就把网络类型选nat类型 3.测试:vmware网关默认是.2 转…

linux账号前有个base,安装 aconda 后Linux的终端界面前部出现(base)字样

aconda 是做什么用的这里就不说了,一般玩Python的都知道这东西,最早接触这东西是因为它把NVIDIA中cuda计算和Python互连的一个库拿下了,是买下来了还是专业,还是唯一合作的也就记不清了,那就是 numba , 那些年头Python…

回复邮件时如何不要邮件头_如何为阅读,点击和回复率达到100%的CEO设计一封冷邮件...

回复邮件时如何不要邮件头by Theo Strauss由西奥斯特劳斯(Theo Strauss) 如何为阅读,点击和回复率达到100%的CEO设计一封冷邮件 (How to design a cold email for a CEO with a 100% read, click, and response rate) 银河电子邮件指南:第二…

leetcode1007. 行相等的最少多米诺旋转(贪心)

在一排多米诺骨牌中,A[i] 和 B[i] 分别代表第 i 个多米诺骨牌的上半部分和下半部分。(一个多米诺是两个从 1 到 6 的数字同列平铺形成的 —— 该平铺的每一半上都有一个数字。) 我们可以旋转第 i 张多米诺,使得 A[i] 和 B[i] 的值…

Spring 学习教程(一): 认识 Spring 框架

Spring 框架是 Java 应用最广的框架,它的成功来源于理念,而不是技术本身,它的理念包括 IoC (Inversion of Control,控制反转) 和 AOP(Aspect Oriented Programming,面向切面编程)。 Spring 的框架结构 Data Access/Int…

小米网关控制空调伴侣_小米有品上架移动空调,支持语音控制

近日小米有品商城上架了一款互联网可移动空调,机身仅有小米空气净化器一般大小,底部安装了万向轮,支持多方位自由移动,拥有三大功能,兼顾去暑除湿能力,产品售价1599元,有需求的用户可以在小米有…

错误: 找不到符号

Error:(31, 29) 错误: 找不到符号 符号: 类 OnLaunchPluginCallback 位置: 类 IreaderPlugApi 明明我都可以ctrl 单击点过去,但是就是运行的时候报错。说错误: 找不到符号。 我试了两遍,把工程clearn, 删除build下面的文件夹,弄了两遍&am…

leetcode910. 最小差值 II(贪心)

给定一个整数数组 A,对于每个整数 A[i],我们可以选择 x -K 或是 x K,并将 x 加到 A[i] 中。 在此过程之后,我们得到一些数组 B。 返回 B 的最大值和 B 的最小值之间可能存在的最小差值。 示例 1: 输入&#xff1…

laravel 检测sql_在Laravel PHP应用程序中轻松进行面部检测

laravel 检测sqlby Darren Chowles达伦乔尔斯(Darren Chowles) 在Laravel PHP应用程序中轻松进行面部检测 (Easy facial detection in your Laravel PHP application) 使用Google Cloud Vision API检测图像中的人脸 (Detect faces in images using the Google Cloud Vision AP…

mysql学习笔记-insert扩展

1、创建表 -利用已有表,创建表 这样创建的缺点-- 主键会丢失 -- 创建表,表结构与数据与t_emptest 一致 CREATE TABLE t_emptest1 AS SELECT * FROM t_emptest ;-- 创建空表,表结构与t_emptest 一致 CREATE TABLE t_emptest1 AS SELECT * FRO…

linux 调用外部变量,sed当中使用变量替换以及执行外部命令

转自:http://blog.csdn.net/linwhwylb/article/details/7184748在使用sed对日志或者其它文本进行parse的过程当中,有时候我们需要引用外部变量的值,或者获取一个shell命令执行的结果,以便达到更加可观的输出结果。这里介绍如何做到…

golang 结构体断言_Golang中的reflect原理

反射(reflect)是在计算机程序运行时,访问,检查,修改它自身的一种能力,是元编程的一种形式。在Java等语言中都很好地支持了反射。Golang也实现了反射,主要核心位于reflect包,官方文档…

「hadoop」cdh5.12离线安装(未完成)

cdh 5.12.1 安装 目前还未成功,仅供个人记录。【下载必备工具】当前系统为win7_x641、vmware虚拟机12.52、ubuntu16.04服务器版本3、windows下的ssh工具,采用git bash4、jdk安装包jdk-8u144-linux-x64.tar.gz5、mysql java驱动包 mysql-connector-java-5…

转载 JDK + Android-SDK + Python + MonkeyRunner 的安装

转载来自: 小海豚的博客 http://blog.sina.com.cn/u/1295334083 我只是搬运工。。。 JDK Android-SDK Python MonkeyRunner 的安装 1. Android-SDK介绍2. 安装 JDK, Android-SDK(包含MonkeyRunner) , Python 3. 设置环境变量4. 验证是否安装成功1. …

跟随器反馈回路电阻_如何将短反馈回路设置为单独编码器

跟随器反馈回路电阻I’ve spent the last couple years as a solo freelance developer. Comparing this experience to previously working in companies, I’ve noticed that those of us who work alone can have fewer iterative opportunities for improvement than devel…