在Ubuntu下创建hadoop组和hadoop用户

一、在Ubuntu下创建hadoop组和hadoop用户

    增加hadoop用户组,同时在该组里增加hadoop用户后续在涉及到hadoop操作时,我们使用用户

 

1、创建hadoop用户组

 

        

 

 

 

    2、创建hadoop用户

    

    sudo adduser -ingroup hadoop hadoop

    回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码输入回车即可。

    如果不输入密码,回车后会重新提示输入密码,即密码不能为空。

    最后确认信息是否正确,如果没问题,输入 Y,回车即可。

    

 

 

 

 

 

 

 

 

 

 

 

 

    3、为hadoop用户添加权限

 

     输入:sudo gedit /etc/sudoers

     回车,打开sudoers文件

     给hadoop用户赋予和root用户同样的权限

 

 

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

二、用新增加的hadoop用户登录Ubuntu系统

 

三、安装ssh

sudo apt-get install openssh-server

 

 

 

 

 

 

 

 

 

 

 

 

安装完成后,启动服务

sudo /etc/init.d/ssh start

 

查看服务是否正确启动:ps -e | grep ssh

 

 

 

 

 

 

设置免密码登录,生成私钥和公钥

ssh-keygen -t rsa -P ""

 

 

 

 

 

 

 

 

 

 

 

 

 

此时会在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。

下面我们将公钥追加到authorized_keys中,它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

 

 

登录ssh

ssh localhost

 

 

 

 

 

 

 

 

 

 

      

退出

exit

 

四、安装Java环境

sudo apt-get install openjdk-7-jdk

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

查看安装结果,输入命令:java -version,结果如下表示安装成功。

 

 

 

 

五、安装hadoop2.4.0

    1、官网下载http://mirror.bit.edu.cn/apache/hadoop/common/

 

    2、安装

 

        解压

        sudo tar xzf hadoop-2.4.0.tar.gz        

        假如我们要把hadoop安装到/usr/local下

        拷贝到/usr/local/下,文件夹为hadoop

        sudo mv hadoop-2.4.0 /usr/local/hadoop        

        

 

赋予用户对该文件夹的读写权限

        sudo chmod 774 /usr/local/hadoop

    

 

3、配置

      

        1)配置~/.bashrc

        

配置该文件前需要知道Java的安装路径,用来设置JAVA_HOME环境变量,可以使用下面命令行查看安装路径

        update-alternatives - -config java

        执行结果如下:

        

    

 

 

 

完整的路径为

    /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

    我们只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

    配置.bashrc文件

    sudo gedit ~/.bashrc

    

    该命令会打开该文件的编辑窗口,在文件末尾追加下面内容,然后保存,关闭编辑窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

 

 

最终结果如下图:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

执行下面命,使添加的环境变量生效:

        source ~/.bashrc

2)编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh

 

        执行下面命令打开该文件的编辑窗口

        sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME变量,修改此变量如下

        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64    

        修改后的hadoop-env.sh文件如下所示

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

六、WordCount测试

 

单机模式安装完成,下面通过执行hadoop自带实例WordCount验证是否安装成功

    /usr/local/hadoop路径下创建input文件夹    

mkdir input

 

    拷贝README.txt到input    

cp README.txt input

    执行WordCount

    bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

    

 

 

执行结果:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

执行 cat output/*,查看字符统计结果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 常见问题:

问题: 50070 hadoop 打不开 50075可以打开

解决: hadoop namenode -format

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/388102.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

day06 hashlib模块

1.hashlib模块 import hashlib# password123456# print( password.encode()) #加密前先转成二进制# mhashlib.md5(password.encode())# print(dir(m)) #查询m的所有方法## print(m.hexdigest()) #使用hexdigest()方法加密,md5加密之后是不可逆,不可以解…

vs azure web_在Azure中迁移和自动化Chrome Web爬网程序的指南。

vs azure webWebscraping as a required skill for many data-science related jobs is becoming increasingly desirable as more companies slowly migrate their processes to the cloud.随着越来越多的公司将其流程缓慢迁移到云中,将Web爬网作为许多与数据科学相…

hadoop eclipse windows

首先说一下本人的环境: Windows7 64位系统 Spring Tool Suite Version: 3.4.0.RELEASE Hadoop2.6.0 一.简介 Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse上调试代码,我们要把写好的java代码的MapReduce打包成jar然后在Linux上运…

同步函数死锁现象

多线程:一个进程中有多个线程可以同时执行任务 多线程的好处: 1、解决一个进程中可以同时执行多个任务的问题。 2、提高了资源利用率 多线程的弊端: 1、增加了CPU的负担 2、降低了一个进程中线程的执行概率 3、出现了线程安全问题 4、会引发死…

netstat 在windows下和Linux下查看网络连接和端口占用

假设忽然起个服务,告诉我8080端口被占用了,OK,我要去看一下是什么服务正在占用着,能不能杀 先假设我是在Windows下: 第一列: Proto 协议 第二列: 本地地址【ip端口】 第三列:远程地址…

selenium 解析网页_用Selenium进行网页搜刮

selenium 解析网页网页抓取系列 (WEB SCRAPING SERIES) 总览 (Overview) Selenium is a portable framework for testing web applications. It is open-source software released under the Apache License 2.0 that runs on Windows, Linux and macOS. Despite serving its m…

表的设计与优化

单表设计与优化 1)设计规范化表,消除数据冗余(以使用正确字段类型最明显): 数据库范式是确保数据库结构合理,满足各种查询需要、避免数据库操作异常的数据库设计方式。满足范式要求的表,称为规范…

代理ARP协议(Proxy ARP)

代理ARP(Proxy-arp)的原理就是当出现跨网段的ARP请求时,路由器将自己的MAC返回给发送ARP广播请求发送者,实现MAC地址代理(善意的欺骗),最终使得主机能够通信。 图中R1和R3处于不同的局域网&…

hive 导入hdfs数据_将数据加载或导入运行在基于HDFS的数据湖之上的Hive表中的另一种方法。

hive 导入hdfs数据Preceding pen down the article, might want to stretch out appreciation to all the wellbeing teams beginning from cleaning/sterile group to Nurses, Doctors and other who are consistently battling to spare the mankind from continuous Covid-1…

Java性能优化

一、避免在循环条件中使用复杂表达式 在不做编译优化的情况下,在循环中,循环条件会被反复计算,如果不使用复杂表达式,而使循环条件值不变的话,程序将会运行的更快。 例子: import java.util.vector; class …

对Faster R-CNN的理解(1)

目标检测是一种基于目标几何和统计特征的图像分割,最新的进展一般是通过R-CNN(基于区域的卷积神经网络)来实现的,其中最重要的方法之一是Faster R-CNN。 1. 总体结构 Faster R-CNN的基本结构如下图所示,其基础是深度全…

大数据业务学习笔记_学习业务成为一名出色的数据科学家

大数据业务学习笔记意见 (Opinion) A lot of aspiring Data Scientists think what they need to become a Data Scientist is :许多有抱负的数据科学家认为,成为一名数据科学家需要具备以下条件: Coding 编码 Statistic 统计 Math 数学 Machine Learni…

postman 请求参数为数组及JsonObject

2019独角兽企业重金招聘Python工程师标准>>> 1. (1)数组的请求方式(post) https://blog.csdn.net/qq_21205435/article/details/81909184 (2)数组的请求方式(get) http://localhost:port/list?ages10,20,30 后端接收方式: PostMa…

领扣(LeetCode)对称二叉树 个人题解

给定一个二叉树,检查它是否是镜像对称的。 例如,二叉树 [1,2,2,3,4,4,3] 是对称的。 1/ \2 2/ \ / \ 3 4 4 3但是下面这个 [1,2,2,null,3,null,3] 则不是镜像对称的: 1/ \2 2\ \3 3说明: 如果你可以运用递归和迭代两种方法解决这个问题&#…

python 开发api_使用FastAPI和Python快速开发高性能API

python 开发apiIf you have read some of my previous Python articles, you know I’m a Flask fan. It is my go-to for building APIs in Python. However, recently I started to hear a lot about a new API framework for Python called FastAPI. After building some AP…

Purley平台Linpak测试,从踏坑开始一步步优化

Purley平台Linpak测试,从踏坑开始一步步优化 #记2017年11月第一次踏坑事件 测试平台配置: 6nodes CPU: Intel Gold 6132 2.6GHz 14C RAM: 8G *12 2666MHz NET: Infiband FDR OS: centos7.2 mpi: Intel-mpi hpl: xhpl.intel 开始踏第一坑 现象&#xff1a…

基于easyui开发Web版Activiti流程定制器详解(一)——目录结构

题外话(可略过): 前一段时间(要是没记错的话应该是3个月以前)发布了一个更新版本,很多人说没有文档看着比较困难,所以打算拿点时间出来详细给大家讲解一下,…

HDOJ 2037:今年暑假不AC_大二写

AC代码&#xff1a; #include <iostream> #include <cstdio> #include <algorithm> #define Max 105 using namespace std;struct TimeList {int start;int end; }timelist[Max]; bool compare(TimeList a, TimeList b) {if(a.end b.end)return a.start &l…

基于easyui开发Web版Activiti流程定制器详解(二)——文件列表

&#xfeff;&#xfeff;上一篇我们介绍了目录结构&#xff0c;这篇给大家整理一个文件列表以及详细说明&#xff0c;方便大家查找文件。 由于设计器文件主要保存在wf/designer和js/designer目录下&#xff0c;所以主要针对这两个目录进行详细说明。 wf/designer目录文件详解…

杭电oj2047-2049、2051-2053、2056、2058

2047 阿牛的EOF牛肉串 1 #include<stdio.h>2 3 int main(){4 int n,i;5 _int64 s[51];6 while(~scanf("%d",&n)){7 s[1]3;s[2]8;8 for(i3;i<n;i){9 s[i] s[i-1]*2 s[i-2]*2; 10 } 11 print…