java 工程新建ivy文件_Hadoop学习之路(八)在eclispe上搭建Hadoop开发环境

一、添加插件

将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中

d37e4607eecbc2c11c6a8f884da39b55.png

二、在Windows上安装Hadoop2.7.5

版本最好与Linux集群中的hadoop版本保持一致

1、将hadoop-2.7.5-centos-6.7.tar.gz解压到Windows上的C盘software目录中

784136af51082633c14907cddee033dc.png

2、配置hadoop的环境变量

HADOOP_HOME=C:\software\hadoop-2.7.5

Path=C:\software\hadoop-2.7.5\bin

25bfa25535978dbcbc67c22f708679ff.png

f788a402f07c19d1496ffd1f8fe4bbed.png

3、修改Hadoop安装目录C:\software\hadoop-2.7.5\etc\hadoop中hadoop-env.cmd

24f6c40dd41cd1660d83a1a912036e28.png

4、查看Hadoop版本

c4c0251154697b9b30e39570f7348fb2.png

5、添加Windows支持文件

因为安装的Hadoop编译的版本是CentOS6.7的版本,在Windows上运行需要添加文件

1)winutils.exe 放在windows平台中你安装的hadoop的bin目录下

2)  hadoop.dll 放在windows操作系统的 c:/windows/system32目录下

fe6ec07c983ff3c80c1d245536f2d3cb.png

5e2b2761ce19c0ba13975adbc9eceb04.png

6、重新启动eclipse

三、eclipse中的配置

1、重新启动eclipse,打开windows->Preferences的Hadoop Map/Reduce中设置安装目录

506d61c5674914ee80ec380f62ddb18b.png

2、打开Windows->Open Perspective中的Map/Reduce,在此perspective下进行hadoop程序开发

847d5f4e4c1339dbf9a5a884238455fb.png

3、打开Windows->Show View中的Map/Reduce Locations,如下图右键选择New Hadoop location…新建hadoop连接。

718ec66d8490a548015f568492afc5ed.png

4、配置相关信息

c9da372985308e994c10214a4812dc2f.png

5、配置成功之后再右侧显示如下

73a6998dea9f21fafb8779e77f458a0c.png

四、创建HDFS项目

1、创建一个java project

49c1c87cd3a27b9f6440322c5c53f75c.png

2、添加jar包这里使用第二种

有三种方式可以往项目中添加jar依赖:

1)直接创建一个lib文件夹,然后放入对应的依赖包,最后add build path

优点:移植方便

缺点:项目臃肿

2)在eclipse中创建user libarary, 然后引入

优点:解决了不同项目中的相同jar的重复依赖问题, 不是直接放入,是引入的方式

缺点:移植不方便

3)最后直接使用maven管理jar依赖

完美解决方案:使用maven 我们在项目中只需要编写好:pom.xml文件即可

目前只是操作HDFS,所以只需要引入common和HDFS相关的jar包即可。

c286697ae938ee6f0d812670e6b32105.png

7e87cd8492663c7190fadac05af0258d.png

54061441e57b22640ea65dc7d2f0b243.png

1ee3c41bef2c4fea7b2d6d3b83b7dd60.png

82355e95b424d4b89f39ebcabe47db46.png

d4a66e3550be536a6d1518a572fe2c21.png

a03ded505d1505fed494b3a21fc87876.png

6cb2e7a0c128a4434a6d136ee8dcdc66.png

Hadoop的common、hdfs、MapReduce、yarn的相关jar包的位置在安装目录的C:\software\hadoop-2.7.5\share\hadoop文件夹中,各自文件夹下的jar包是核心jar包,lib下的jar包是核心jar包的依赖jar包,都需要引入

86a37d5c343b7e792040ff5028d3a144.png

98f4ea18042f56bcd79e375519ed920e.png

hdfs的jar包用相同的方法引入

9411a9d58413bf50bcf5e1d7e4641624.png

这样项目就成功引入了common和hdfs相关的jar包

08a042c57ef028e4f2e5916c0b19d431.png

3、创建测试类

55a204aa4ad25cc5063c82cd0477ec10062.jpg

784d12d4e5c8e76bd63df3348c1aa196160.jpg

packagecn.study.hdfs;importjava.net.URI;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;public classTestHdfsDemo1 {public static void main(String[] args) throwsException {

Configuration conf= newConfiguration();

FileSystem fs= FileSystem.get(new URI("hdfs://hadoop1:9000"),conf,"hadoop");//System.out.println(fs instanceof DistributedFileSystem);//true

fs.copyFromLocalFile(new Path("D:/abc.txt"), new Path("/a/"));

fs.close();

}

}

View Code

测试之前

d8ac43025a6cbc92e711c4c3c41a71f5.png

测试之后

0b721ceb991f857eb45286cb190b4af4.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/337854.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

c语言中fclose函数的使用你会吗

点击上方蓝字关注我&#xff0c;了解更多咨询1、C语言fclose函数用于关闭使用fopen成功打开的文件。2、fopen函数和fclose函数总是成对出现。如果文件成功打开fopen函数&#xff0c;请使用fclose函数关闭文件。实例#include <stdio.h> #include <stdlib.h>int main…

Java反序列化json内存溢出_fastJson与一起堆内存溢出'血案'

现象QA同学反映登录不上服务器排查问题1–日志级别查看log,发现玩家登录的时候抛出了一个java.lang.OutOfMemoryError大概代码是向Redis序列化一个PlayerMirror镜像数据,但是在JSON.toJSONString的时候出现了错误.比较清晰&#xff0c;即序列化的时候expandCapacity,内存不足。…

c语言中预处理器是什么

点击上方蓝字关注我&#xff0c;了解更多咨询1、C语言有预处理器&#xff0c;Java中没有这个概念&#xff0c;其实只是文本替换工具。2、C的预处理器&#xff0c;即CPP&#xff0c;将在实际编译器中完成处理&#xff0c;所有预处理命令将从#开始。实例#include <stdio.h>…

c语言strcat_s函数如何使用

点击上方蓝字关注我&#xff0c;了解更多咨询1、strcat_s函数将strSource指向的字符串添加到其它字符串结尾。因此需要确保strDestination有足够的内存空间来容纳strSource和strDestination两个字符串&#xff0c;否则会导致溢出错误。2、strDestination末端的\0将被覆盖。strS…

c语言strcat_s函数的原理

点击上方蓝字关注我&#xff0c;了解更多咨询1、dst 内存空间大小目标字符串长度原始字符串场地‘\0’。2、使用sizeof函数获取内存空间大小&#xff0c;strlen函数获取字符串长度。即获取内存空间大小和查字符串长度。实例#include "stdafx.h" #include<stdlib.h…

理解C语言指针概念只需几分钟

点击上方蓝字关注我&#xff0c;了解更多咨询当我们声明一个变量或常量时&#xff0c;计算机系统会为这个变量或常量分配存储单元&#xff0c;变量的数据存储到被分配的存储单元内&#xff0c;对变量的赋值和取值操作都是针对存储单元的操作。C编译器是如何通过变量找到与其对应…

php做一个网页的源代码,用HTML5做一个个人网站此文仅展示个人主页界面。内附源代码下载地址...

下载说明&#xff1a; 1.再好的作品都不如将来要做的作品。在每一次的设计当中都能有所收获&#xff0c;才是设计师在web开发中最得益的。 2.本站所有作品均是杨青个人设计。如果发现模板有错&#xff0c;请尽情谅解。 3.如果遇到什么问htmlcss编写的个人主页&#xff0c;适合初…

C语言中经典的程序设计结构:顺序、条件、循环

点击上方蓝字关注我&#xff0c;了解更多咨询无论使用何种编程语言&#xff0c;都含有程序设计的三大经典结构。即&#xff1a;顺序结构、条件结构和循环结构&#xff0c;C语言也是如此。综述顺序结构&#xff0c;就是一条大路走到底&#xff0c;没有岔路口&#xff0c;一步步从…

c语言中abort函数的使用

点击上方蓝字关注我&#xff0c;了解更多咨询1、abort函数的作用是异常终止一个进程&#xff0c;意味着abort后面的代码将不再执行。2、当调用abort函数时&#xff0c;会导致程序异常终止&#xff0c;而不会进行一些常规的清除工作。实例#include <stdio.h> #include <…

c语言中如何防止数组下标越界

点击上方蓝字关注我&#xff0c;了解更多咨询1、若数组长度和下标访问值出现错误&#xff0c;则会导致数组下标越界。数组下标从0开始&#xff0c;访问值为-1。2、在使用循环遍历数组元素时&#xff0c;注意防范off-by-one的错误。对于作为函数参数传入的数组下标&#xff0c;要…

java oauth2.0_教程:如何实现Java OAuth 2.0以使用GitHub和Google登录

java oauth2.0将Google和GitHub OAuth登录添加到Java应用程序的指南 我们添加到Takipi的最新功能之一是3rd party登录。 如果您像我一样懒惰&#xff0c;那么我想您也希望跳过填写表单和输入新密码的操作 。 只要有权限&#xff0c;许多人都希望使用第三方登录&#xff0c;只要…

c语言中数组访问越界如何理解

点击上方蓝字关注我&#xff0c;了解更多咨询1、可以通过数组下标直接访问数组中的元素。2、如果一个数组被定义为n个元素&#xff0c;那么访问n个元素是合法的。如果访问n个元素以外&#xff0c;则是非法的&#xff0c;称为访问越界。实例int a[5] {0}; //等价 int a[5] {0,…

c语言中函数是怎么理解?

点击上方蓝字关注我&#xff0c;了解更多咨询1、C语言中的函数是一个可以重复使用的代码&#xff0c;用于独立完成某个功能。2、它可以接收用户传输的参数&#xff0c;也可以不接收&#xff0c;将代码段封装成函数的过程称为函数定义。如果有返回值&#xff0c;使用return语句返…

c语言中函数的声明和定义

点击上方蓝字关注我&#xff0c;了解更多咨询1、函数声明&#xff0c;无需实现该函数的功能。函数声明只是一个空壳&#xff0c;不会有特定的函数实现。2、函数定义&#xff0c;必须实现该函数的功能&#xff0c;要实现函数的实现。#include<stdio.h>实例//使用函数前&am…

c语言中常规函数和指针函数区别

点击上方蓝字关注我&#xff0c;了解更多咨询1、在函数名前面多了一个*号&#xff0c;而这个函数就是一个指针函数。2、其返回值是一个int类型的指针&#xff0c;是一个地址。实例#include<stdio.h>int* fun1(int* x) //传入指针 {int* tmp x; //指针tmp指向xret…

jvm崩溃的原因_JVM崩溃时:如何调查最严重错误的根本原因

jvm崩溃的原因当应用程序崩溃时&#xff0c;您可以学到什么&#xff1f; 我认为&#xff0c;“后见之明是20 /”是最喜欢的短语之一托马斯罗梅尔 &#xff0c;工程ZeroTurnaround的副总裁。 好吧&#xff0c;我实际上不确定在他的短语中占什么位置&#xff0c;但是我已经听过他…

jboss项目导入idea_JBoss BPM Suite快速指南–将外部数据模型导入BPM项目

jboss项目导入idea您正在从事一个大项目&#xff0c;在企业中开发规则&#xff0c;事件和流程以满足关键业务需求。 部分要求指出&#xff0c;某个业务部门将提供您的数据模型供您利用。 不会在JBoss BPM Suite数据建模器中设计此数据模型&#xff0c;但是在从业务中心仪表板…

mysql协议重传,MySQL · 源码分析 · 网络通信模块浅析

MySQL 网络通信浅析MySQL的网络通信协议主要包含以下几个层次&#xff0c;从最上层的MySQL数据包协议层到最底层的socket传输&#xff1a;| THD| Protocol| NET| VIO| SOCKET本文主要扫一下相关的代码&#xff0c;以下分析基于MySQL5.7。创建会话在MySQL5.7中对会话协议层的代码…

C语言代码优化11种实用方法

点击蓝字关注我1、选择合适的算法和数据结构选择一种合适的数据结构很重要&#xff0c;如果在一堆随机存放的数中使用了大量的插入和删除指令&#xff0c;那使用链表要快得多。数组与指针语句具有十分密切的关系&#xff0c;一般来说&#xff0c;指针比较灵活简洁&#xff0c;而…

spring boot注释_使用Spring Boot和注释支持配置Spring JMS应用程序

spring boot注释1.简介 在以前的文章中&#xff0c;我们学习了如何使用Spring JMS配置项目。 如果查看有关使用Spring JMS进行消息传递的文章介绍 &#xff0c;您会注意到它是使用XML配置的。 本文将利用Spring 4.1版本中引入的改进 &#xff0c;并仅使用Java config配置JMS项目…