搭建hadoop开发环境--基于xp+cygwin

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1.安装cygwin

 参考博文:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4%A8/blog/item/8832551c7598551f314e15c2.html  

       Q1.实际安装中在第9步 打开cygwin进行配置,首先输入:ssh-host-config.回车。会让你输入yes/no输入no。回车。见到Have fun!就说明成功了”有些不同

Administrator@03ad6b3ba2f34fe ~
$ ssh-host-config*** Info: Generating /etc/ssh_host_key
*** Info: Generating /etc/ssh_host_rsa_key
*** Info: Generating /etc/ssh_host_dsa_key
*** Info: Generating /etc/ssh_host_ecdsa_key
*** Info: Creating default /etc/ssh_config file
*** Info: Creating default /etc/sshd_config file
*** Info: Privilege separation is set to yes by default since OpenSSH 3.3.
*** Info: However, this requires a non-privileged account called 'sshd'.
*** Info: For more info on privilege separation read /usr/share/doc/openssh/README.privsep.
*** Query: Should privilege separation be used? (yes/no) no
*** Info: Updating /etc/sshd_config file
*** Info: Added ssh to C:\WINDOWS\system32\driversc\services*** Query: Do you want to install sshd as a service?
*** Query: (Say "no" if it is already installed as a service) (yes/no) yes
*** Query: Enter the value of CYGWIN for the daemon: []              --直接敲回车*** Info: The sshd service has been installed under the LocalSystem
*** Info: account (also known as SYSTEM). To start the service now, call
*** Info: `net start sshd' or `cygrunsrv -S sshd'.  Otherwise, it
*** Info: will start automatically after the next reboot.*** Info: Host configuration finished. Have fun!

      Q2. 第一次安装中电脑死机,当时执行到创建图标的步骤,已经可以运行了,但是还是想重装一遍。于是找卸载办法,有人说用setup那个文件,把选中的都uninstall一下,我信了然后就悲剧了,卸不干净。然后找完美卸载的办法,尝试了一个"删除所有cygwin的文件夹,然后清理注册表中有cygwin的项" 这次OK了。千万别用setup去卸载!!

2.安装jdk和eclipse,这部分没有遇到问题,毕业java程序也写了1年多了

3.hadoop配置

      参考博文:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4%A8/blog/item/a0ebb1db953a772033fa1c9a.html

       Q1.顺着博主的第四步./hadoop jar ./../hadoop-0.20.2-examples.jar wordcount testin testout的时候开始报错

INFO input.FileInputFormat: Total input paths to process : 2
INFO mapred.JobClient: Running job: job_201202131412_0007
INFO mapred.JobClient:  map 0% reduce 0%
INFO mapred.JobClient: Task Id : attempt_201202131412_0007_m_0             00003_0, Status : FAILED
java.io.FileNotFoundException: File D:/hadoop/temp/taskTracker/jobcache/job_2012             02131412_0007/attempt_201202131412_0007_m_000003_0/work/tmp does not exist.at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSys             tem.java:361)at

没错,博文下留言的人就是俺。这个错误怎么看都是找不到文件,上网找到了一个解决办法,就是在mapred-site.xml文件中修改

<property><name>mapred.child.tmp</name><value>/hadoop/tmp</value>


后来的操作就一直OK了。

4.常用的命令
ssh localhost  登录
cd /cygdriver/d/hadoop-0.20.2 进入目录
ls  查看当前目录下的所有文件
在/cygdrive/d/hadoop-0.20.2/bin目录下
./start-all.sh    启动
./hadoop namenode -format 格式化一个新的HDFS
./start-all.sh  同时启动HDFS和MAP/Reduce
./hadoop dfs -mkdir testin 创建目录testin
./hadoop dfs -put /test/*.jav0a testin 把test目录下的java文件全部复制到testin中
./hadoop dfs -ls testin 查看testin中的所有文件
./hadoop dfs -rmr testout  删除testout文件夹
./hadoop jar ./../hadoop-0.20.2-examples.jar wordcount testin testout
./hadoop dfs -cat testout/part-r-00000 查看testout文件夹下的part-r-00000文件

================================

遗留的问题

1. 好多人的博客中都写到hadoop0.20.2版本会遇到很多问题,“在windows用cygwin配置hadoop环境的时候一定要选择0.19.2的版本”。这个我暂时没遇到,另外提供0.19.2的下载链接,需要的自己下载:http://archive.apache.org/dist/hadoop/core/hadoop-0.19.2/  我也上传到了csdn  或者可以留个邮箱我发给你

2. 在cygwin上跑起来没问题的wordCount,在eclipse下跑着总有问题,和最初遇到那个问题一样,找不到文件。这个还需要进一步解决

注.参考的文档:http://wildrain.iteye.com/blog/1164608

 

---低头拉车,抬头看路

 

 

转载于:https://my.oschina.net/wangjiankui/blog/40629

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/404463.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

random---伪随机数生成器

python3.5 作用&#xff1a;实现了多种类型的伪随机数生成器 random模块基于Mersenne Twister 算法提供了一个快速伪随机数生成器。原先开发这个生成器是为了向蒙特卡洛模拟生成输入&#xff0c;Mersenne Twister算法会生成有一个大周期的近均匀分布的数&#xff0c;以适用于各…

[react] 写一个react的高阶组件并说明你对高阶组件的理解

[react] 写一个react的高阶组件并说明你对高阶组件的理解 定义高阶组件 import React, { Component } from react;const simpleHoc WrappedComponent > { console.log(simpleHoc); return class extends Component { render() { return <WrappedComponent {...this.…

新浪微博iOS版SDK“宝玉XP”框架学习笔记

本文为论坛会员3h2om分享&#xff0c;对新浪微博iOS版SDK-“宝玉XP”框架进行研究所写的学习笔记&#xff0c;非常详细和精彩。 本人刚入学iOS开发&#xff0c;在学习的过程中&#xff0c;对新浪微博iOS版SDK-“宝玉XP”框架进行了学习&#xff08;下载地址&#xff1a;https:/…

[react] 描述下在react中无状态组件和有状态组件的区别是什么?

[react] 描述下在react中无状态组件和有状态组件的区别是什么&#xff1f; 1&#xff0c;无状态组件主要用来定义模板&#xff0c;接收来自父组件props传递过来的数据&#xff0c;使用{props.xxx}的表达式把props塞到模板里面。无状态组件应该保持模板的纯粹性&#xff0c;以便…

Lync Server 2010所需媒体网络流量带宽详解和计算

如果在组织内部部署Lync Server 2010&#xff0c;那么最大的优势就是解决了组织内部的即时通讯需求&#xff0c;为什么这么说&#xff1f;因为纵观现在微软所推行的商业智能应用平台&#xff0c;可以非常直观的了解到实际上整个微软商业平台就是由Lync Server、Exchange Server…

Linux进程状态解析之R、S、D、T、Z

From: http://bbs.hx95.com/read-htm-tid-208094-fpage-2.html R (TASK_RUNNING)&#xff0c;可执行状态。 只有在该状态的进程才可能在CPU上运行。同一时刻可能有多个进程处于可执行状态&#xff0c;这些进程的task_struct结构&#xff08;进程控制块&#xff09;被放入对…

[react] react父子组件如何通信?

[react] react父子组件如何通信&#xff1f; props 个人简介 我是歌谣&#xff0c;欢迎和大家一起交流前后端知识。放弃很容易&#xff0c; 但坚持一定很酷。欢迎大家一起讨论 主目录 与歌谣一起通关前端面试题

PAT 1100

1100. Mars Numbers (20) 时间限制400 ms内存限制65536 kB代码长度限制16000 B判题程序Standard作者CHEN, YuePeople on Mars count their numbers with base 13: Zero on Earth is called "tret" on Mars.The numbers 1 to 12 on Earch is called "jan, feb, m…

安装linux的准备

首先&#xff0c;在安装linux系统之前应首先做到规划。因为&#xff0c;一个好的服务器&#xff0c;工作台&#xff0c;甚至是个人PC都必须要做到规划。因为这样可以做到以最少的花费实现更高的服务要求。这个很好理解&#xff0c;比如你做邮件服务器就必须要选择一个大的硬盘预…

printf如何输出64位整数

From: http://blog.csdn.net/zzqhost/article/details/6064886 关于printf函数输出64位数的问题&#xff0c;其实在window下和linux下是不一样的&#xff1a; linux下是 printf("%lld/n",a); printf("%llu/n",a); windows下是 printf("%I64d/n"…

[react] 在react中你是怎么进行状态管理的?

[react] 在react中你是怎么进行状态管理的&#xff1f; 使用React原生的ContextuseContext(可选的加上useReducer)使用redux react-redux redux-thunk使用mobx mobx-react 个人简介 我是歌谣&#xff0c;欢迎和大家一起交流前后端知识。放弃很容易&#xff0c; 但坚持一定…

iOS UI-常用控件

1 #import "ViewController.h"2 3 interface ViewController ()<UITextFieldDelegate>4 5 // 标题标签6 property (strong, nonatomic) UILabel *titleLablel;7 // 分段控制器8 property (strong,nonatomic) UISegmentedControl *segment;9 // 开关标签10 prop…

天龙八部***核心代码

天龙八部***核心代码 信息来源&#xff1a;邪恶八进制信息安全团队&#xff08;www.eviloctal.com&#xff09; 文章作者&#xff1a;认真的雪 我也来凑凑热闹..... 发一个网游***核心代码...无聊的时候写的.. 截取了用户名&#xff0c;密码&#xff0c;等级&#xff0c;仓库密…

Linux常用错误码--errno-base.h

经常会需要用到错误码&#xff0c;但是它具体的值 是什么呢&#xff0c;往往不太清楚&#xff0c;所以在使用的时候非常不舒服&#xff0c;下面把linux平台下常用的错误码列了下。 我是Fedora12系统&#xff0c;找到的定义文件是&#xff1a;/usr/include/asm-generic/errno-b…

[react] react组件的state和props两者有什么区别?

[react] react组件的state和props两者有什么区别&#xff1f; State 是一种数据结构&#xff0c;用于组件挂载时所需数据的默认值。State 可能会随着时间的推移而发生突变&#xff0c;但多数时候是作为用户事件行为的结果。 Props(properties 的简写)则是组件的配置。props 由…

[react] react与angular、vue有什么区别?

[react] react与angular、vue有什么区别&#xff1f; Angular以前有接触过&#xff0c;我的感觉是&#xff0c;这不像React和Vue一样是构架补充库&#xff08;比如需要另外的全家桶来配合使用&#xff09;&#xff0c;它的功能非常完整&#xff0c;更像是一个框架&#xff0c;…

Linux互斥锁的使用代码实现

From: http://blog.csdn.net/leo115/article/details/8037869 [cpp] view plaincopy#include <stdio.h> #include <pthread.h> #include <sched.h> #include <unistd.h> //对临界区的保护问题 void *fun1(void *arg); void *fun2(void *ar…

南京Uber优步司机奖励政策(12月28日到1月3日)

滴快车单单2.5倍&#xff0c;注册地址&#xff1a;http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单&#xff1a;http://www.cnblogs.com/mfryf/p/4612609.html 优步奖励低/不挣钱/怎么办?看这里&#xff1a;http://www.cnblogs.com/mfry…

[react] 说说你对声明式编程的理解?

[react] 说说你对声明式编程的理解&#xff1f; 声明式编程 区别于命令式编程,它的特点就是我告诉计算机做什么,但是没有告诉你怎么做. 个人简介 我是歌谣&#xff0c;欢迎和大家一起交流前后端知识。放弃很容易&#xff0c; 但坚持一定很酷。欢迎大家一起讨论 主目录 与歌…

有谁用过sendinput摸拟一个鼠标击键?

我想用&#xff0c;但定义了MOUSEINPUT和INPUT结构&#xff0c;编译是时出现这个错误&#xff1a; E:\My document\VCprograms\13\13.cpp(152) : error C2065: MOUSEINPUT : undeclared identifier E:\My document\VCprograms\13\13.cpp(152) : error C2065: INPUT : undeclare…