hadoop2.8配置_Hadoop2.8.2安装与配置(单机)

解压并移动到/software目录:

tar -zxvf hadoop-2.8.2.tar.gz

mv hadoop-2.8.2 /software/hadoop

在/etc/profile文件添加:

export HADOOP_HOME=/software/hadoop

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

保存并且更新/etc/profile文件:source /etc/profile。

编辑hadoop-env.sh文件:vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh,在最后加上:

export JAVA_HOME=/software/jdk

修改Configuration文件:vim $HADOOP_HOME/etc/hadoop/core-site.xml

fs.default.name

hdfs://localhost:9000

修改hdfs-site.xml:vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

dfs.replication

1

修改mapred-site.xml:

cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

mapreduce.framework.name

yarn

修改yarn-site.xml:vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

初始化hadoop:

hdfs namenode –format

启动

$HADOOP_HOME/sbin/start-all.sh

输入jps查看是否成功:

检查WebUI,浏览器打开端口:http://localhost:8088

这里是用宿主机访问虚拟机,所以ip是虚拟机的ip。

停止

$HADOOP_HOME/sbin/stop-all.sh

安装完成。

但是在启动时候有一个警告,提示hadoop不能加载本地库:

解决方法:

在/etc/profile中添加:

HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

保存并更新文件:source /etc/profile

并且在hadoop-env.sh添加: vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export HADOOP_HOME=/software/hadoop

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/505715.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

编译php时的configure,PHP编译configure时常见错误

PHP的安装虽然有时候很简单,可是如果应用一多,我们安装起来就很头痛了!出错最多的就是安装PHP扩展的时候了。其实不管是你是Apache类的应用还是Nginx类的,PHP的安装都不是很简单,虽然网上有很多configure参数&#xff…

matlab热度图确定色标_C++实现类似Matlab的colormap Jet(灰度图生成彩色热度图)

Matlab使用colormap Jet 可以将灰度图像生成彩色的热度图,灰度值越高,色彩偏向暖色调。相反亦然。// ColorMap.h#ifndef COLORMAP_H#define COLORMAP_Hclass colormap{public:static void GroundColorMix(BYTE* color, double x, double min, double max…

php 监听 扫描枪,jquery监听扫码枪获得值

客户一直说 扫码枪要一直获得焦点才能用,用户体验差 ,想做一个 在这个页面 有没有焦点都要获得到值,想了一下 只有用监听的方式了// 写一个监听扫描枪 事件的方法var code ‘‘;var lastTime 0;// 清空临时变量function clearCode() {code …

arcgis标注牵引线_解析ArcGis的标注(三)——标注的放置 与 转注记修改

该“标注”系列博文的标注引擎使用“标准标注引擎(standard label engine)”,这个概念如不知道,可不理会,ArcGis默认标注引擎就是它。写着写着发现ArcGis标注的破事儿好多啊,要想写得自己能看懂着实得费把力气,好想弃坑…

php 上传文件简单实例,php文件上传的简单实例

复制代码 代码如下:if ((($_FILES["file"]["type"] "image/gif")|| ($_FILES["file"]["type"] "image/jpeg")|| ($_FILES["file"]["type"] "image/pjpeg"))&& ($_FILES…

python操作redis集群_python 连接管理作redis集群

python的redis库是不支持集群操作的,推荐库:redis-py-cluster。安装pip3 install redis-py-cluster连接redis集群#!/usr/bin/env python# coding: utf-8from rediscluster import StrictRedisClusterclass RedisCluster(object): # 连接redis集群def __i…

如何将分表汇总到总表_如何把多个Excel表格合并到一起,分表变,总表也自动更新?...

【例】如下图所示,要求把人事部、财务部和销售部3个分表合并到总表中,分表增加或删除人员,总表也会自动更新操作步骤:1、数据-自其他来源-来自MicrosoftQuery。它就是我们今天神秘的主角。2、选取数据源为ExcelFiles*格式&#xf…

dingo php,dingo 配置

Dingo包的大多数配置都预先设置好了,这样你就可以尽快的进入开发模式了,我们也可以参照config/api.php中的env()函数中的内容在.env文件中去设置。当然也可以使用AppServiceProvider中的boot进行设置(这个怎么设置???)…

qt 将int型数据显示在文本框_Qt编写Online judge爬虫

一、前提刚开始接触C/Qt是需要一个项目练练手,当时听说过OJ并且网络不好,就想着把数据获取下来随时使用。后来代码写多了之后听说Python写爬虫更方便,可惜坑已经跳下去了,就一条路走到黑了。这是我代码之路的第一个完整实现完整功…

vim函数跳转 php,求助!! vim-gvim中如何让其显示函数及其参数!!

求助!! vim-gvim中如何让其显示函数及其参数!!(2012-06-05 02:25:34)标签:如何杂谈求助!!vim/gvim中如何让其显示函数及其参数!!用了一段时间的vim,发现在自动补全中发现…

php添加填空,PHP之preg_replace_callback(),将填空题的[[]]替换成______

preg_replace_callback 函数执行一个正则表达式搜索并且使用一个回调进行替换。语法图1这个函数的行为除了可以指定一个 callback 替代 replacement 进行替换字符串的计算,其他方面等同于 preg_replace()。参数说明:$pattern: 要搜索的模式,可…

怎么用php写软件老吴p,11.32 php扩展模块装安

php动态扩展模块添加因为业务需要或者编译php的时候少安装了一个模块,我们现在需要新添加一个模块,那怎么做呢?查看模块/usr/local/php/bin/php -m第一步:去php的安装目录中/ext/目录下查看有没有 你需要安装的扩展模块的包比如&a…

javweb音乐网站_基于javaweb音乐网站设计与实现

基于javaweb音乐网站设计与实现 本科毕业论文(设计)题目:基于JSP的音乐网站的设计与实现姓 名: 学 号: 专 业: 院 系: 指导老师: 职称学位: 讲师/硕士 完成时间: 2015年 …

oracle数据库连接检查,检查Oracle数据库的最大连接

下面是编程之家 jb51.cc 通过网络收集整理的代码片段。编程之家小编现在分享给大家,也给大家做个参考。[[email protected] sql]# more check_connect_oracle.sh#!/bin/bash#functions: connect oracle server test#author:Tony Wang#modify_date: 2015-06-03.mkdir…

python爬虫进程和线程_python爬虫番外篇(一)进程,线程的初步了解-阿里云开发者社区...

整理这番外篇的原因是希望能够让爬虫的朋友更加理解这块内容,因为爬虫爬取数据可能很简单,但是如何高效持久的爬,利用进程,线程,以及异步IO,其实很多人和我一样,故整理此系列番外篇一、进程程序并不能单独和…

ol xyz 加载天地图_OpenLayers加载天地图方法——WMTS和XYZ

1、ol.layer.Tile及数据源类结构openlayers中,图层(layer)不可缺少的组成部分是数据源(source),天地图是切片的数据服务,对应的图层是ol.layer.Tile,下图是其数据源对应的类结构图,红色部分是重点内容。从图可以看到&a…

linux用户没有创建文件的权限设置密码,Linux学习第五章用户身份与文件权限

一、用户身份与能力Linux系统中一共有三种用户第一种:管理员 root UID 0第二种:系统用户 不需要登录系统 负责单一服务的运行 UID 0-1000第三种:普通用户 日常登录系统操作的用户 UID 1000--uid1000(zhang) gid1000(zhang) groups…

java类验证和装载顺序_Java类加载机制实现流程及原理详解

前言我们知道,Java项目编译后会生成许许多多的class文件,class文件保存着类的描述信息。虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验、转化解析和初始化,最终形成可以被虚拟机直接使用的Java类型,这就…

Linux中more命令的使用,Linux中more命令使用详解教程

1、使用权限:所有者 什么是所有者权限?2、使用方式more [参数选项] [文件]参数:num 从第num行开始显示;-num 定义屏幕大小,为num行;/pattern 从pattern 前两行开始显示;-c 从顶部清屏然后显示;-…

k8s 查看ip地址属于哪个pod_一个简单的例子理解Kubernetes的三种IP地址类型

很多Kubernetes的初学者对Kubernetes里面三种不同的IP地址和工作机制理解得不是很清楚。本文我们通过一个最简单的例子来学习。用如下命令行创建一个基于nginx的deployment:kubectl run nginx --imagenginx:maxline用kubectl get deploy查看成功生成的名为nginx的de…