Hadoop的FileSystem.copyToLocalFile两个参数 空指针异常

转载自 Hadoop的FileSystem.copyToLocalFile两个参数 空指针异常

在网上一搜,直接改成fileSystem.copyToLocalFile(false,xx,xx,true)即可。

Exception in thread "main" java.lang.NullPointerExceptionat java.lang.ProcessBuilder.start(Unknown Source)at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)at org.apache.hadoop.util.Shell.run(Shell.java:455)at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)at org.apache.hadoop.util.Shell.execCommand(Shell.java:791)at org.apache.hadoop.util.Shell.execCommand(Shell.java:774)at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:646)at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:472)at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:460)at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:426)at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:906)at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:887)at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:784)at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:365)at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:338)at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:289)at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1968)at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1937)at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1913)at com.beifeng.TestCopy.myCopyToLocal(TestCopy.java:44)at com.beifeng.TestCopy.main(TestCopy.java:15)
//fs.copyToLocalFile(new Path("/hadoop/put/111.txt"), new Path("e:/txt/copyFormHDFS.txt"));
fs.copyToLocalFile(false, new Path("/hadoop/put/111.txt"), new Path("e:/txt/copyFormHDFS.txt"),true);

但是基本上就这一句,也不说为啥,还是自己查API吧:

public void copyToLocalFile(boolean delSrc,Path src,Path dst,boolean useRawLocalFileSystem)throws IOExceptionThe src file is under this filesystem, and the dst is on the local disk. Copy it from the remote filesystem to the local dst name. 
delSrc indicates if the src will be removed or not. 
useRawLocalFileSystem indicates whether to use RawLocalFileSystem as the local file system or not. 
RawLocalFileSystem is non checksumming, So, It will not create any crc files at local.Parameters:
delSrc - whether to delete the src
src - path
dst - path
useRawLocalFileSystem - whether to use RawLocalFileSystem as local file system or not.Throws:
IOException - for any IO error

src文件位于此文件系统下,dst位于本地磁盘上。将其从远程文件系统复制到本地dst名称。delSrc指示src是否会被删除。useRawLocalFileSystem指示是否使用RawLocalFileSystem作为本地文件系统。RawLocalFileSystem不是校验和,所以它不会在本地创建任何crc文件。

delSrc : 是否删除src
useRawLocalFileSystem:是否使用RawLocalFileSystem作为本地文件系统。
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/323037.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开源纯C#工控网关+组态软件(五)从网关到人机界面

一、 引子 之前都在讲网关,不少网友关注如何实现界面。想了解下位机变量变化,是怎样一步步触发人机界面动画的。 这个步步触发,实质上是变量组(Group)的批量数据变化(DataChange)事件&#xf…

【Vue】小案例

Vue挂载的方式 Vue创建组件的方式 Vue自调用函数 Vue Vue Vue Vue动画案例 Vue计数器 Vue路由创建 Vue路由动画展示 Vue李白评论 Vue v-mode绑定在input中&#xff0c;关联data相关的数据 相当于input中的value&#xff0c;但是他能关联多个 <div id"app">&l…

P1315,jzoj3029-观光公交【费用流】

前言 你绝对想不到&#xff0c;我用费用流神仙构图做了一道 的题 正题 评测记录:https://www.luogu.org/recordnew/lists?uid52918&pidP1315 题目大意 有nnn个地方&#xff0c;iii到第i1i1i1的长度为did_idi​。 有mmm个人&#xff0c;从tit_iti​出发&#xff0c;从l…

Spring依赖注入和控制反转

文章目录1、依赖注入1.1、依赖注入和控制反转的概念1.2、依赖注入的实现方式1.3、控制反转的具体实现1.4、依赖注入的具体实现1.5、依赖注入和控制反转总结1、依赖注入 1.1、依赖注入和控制反转的概念 依赖注入(Dependency Injection, 简称DI)与控制反转(IoC)的含义相同&…

Hadoop入门(五)IO操作

一、HadoopIO操作意义 Hadoop自带一套用于I/O的原子性的操作 &#xff08;不会被线程调度机制打断&#xff0c;一直到结束&#xff0c;中间不会有任何context switch&#xff09; 特点 基于保障海量数据集的完整性和压缩性 Hadoop提供了一些用于开发分布式系统的API&#xff…

使用Identity Server 4建立Authorization Server (1)

预备知识: 学习Identity Server 4的预备知识 本文内容基本完全来自于Identity Server 4官方文档: https://identityserver4.readthedocs.io/ 官方文档很详细的. 使用OAuth可以更安全, 这里我们的authorization server和web api 以及网站将分别独立运行. 建立authorization ser…

欢乐纪中某B组赛【2019.1.18】

前言 新年新气象&#xff0c;我们又一度迎来新一年的模拟赛(谁想迎来) 总之&#xff0c;有来到了熟悉的地方——纪中。 成绩 RankRankRank是有算别人的 RankRankRankPersonPersonPersonScoreScoreScoreAAABBBCCCDDD2222017myself2017myself2017myself300300300100100100100100…

Python和SQL Server 2017的力量

Python是SQL Server 2017的新功能。 它主要是为了允许在SQL Server中使用基于Python的机器学习&#xff0c;但是它可以与任何Python库或框架一起使用。为了提供可能的例子&#xff0c;Hitendra展示了如何安全地使用该功能来提供智能应用程序缓存&#xff0c;其中SQL Server可以…

Spring中的Bean配置、属性配置、装配内容详细叙述

文章目录1、Bean的配置1.1、配置方式2、Bean的实例化2.1、构造器实例化2.2、静态工厂方式实例化2.3、实例工厂方式实例化3、Bean的作用域3.1、作用域的种类4、Bean的生命周期5、Bean的装配方式5.1、基于XML的装配5.2、基于Annotation的装配5.3、自动装配1、Bean的配置 1.1、配…

Hadoop入门(六)Mapreduce

一、Mapreduce概述 MapReduce是一个编程模型&#xff0c;用以进行大数据量的计算 二、Hadoop MapReduce &#xff08;1&#xff09;MapReduce是什么 Hadoop MapReduce是一个软件框架&#xff0c;基于该框架能够容易地编写应用程序&#xff0c;这些应用程序能够运行在由上千个…

github详细搜索

in:name vue in:description 爬虫 stars:>1000 language:JavaScript

jzoj2941-贿赂【数学期望,dfs】

正题 题目大意 nnn个人&#xff0c;有投票几率aia_iai​和级别bib_ibi​&#xff0c;kkk个糖&#xff0c;每个可以让一个官员增加0.10.10.1的投票几率。 然后如果有超过一半的人投你&#xff0c;你就可以成功。 不然成功概率就是A/(A∑i∈Sbi)A/(A\sum^{i\in S}b_i)A/(A∑i∈S​…

Ocelot API网关的实现剖析

在微软Tech Summit 2017 大会上和大家分享了一门课程《.NET Core 在腾讯财付通的企业级应用开发实践》&#xff0c;其中重点是基于ASP.NET Core打造可扩展的高性能企业级API网关&#xff0c;以开源的API网关Ocelot为基础结合自己的业务特性&#xff0c;当天课程只有40分钟&…

Hadoop入门(十二)Intellij IDEA远程向hadoop集群提交mapreduce作业

Intellij IDEA远程向hadoop集群提交mapreduce作业&#xff0c;需要依赖到hadoop的库&#xff0c;hadoop集群的配置信息&#xff0c;还有本地项目的jar包。 一、软件环境 &#xff08;1&#xff09;window本地安装hadoop软件 首先将集群上的hadoop环境下载到本地&#xff0c;…

接口测试(备用)

音乐地址 http://k1998.xyz/php/public/index.php/index/music/lists 随机一个段子 https://autumnfish.cn/api/joke/list 随机十条段子(数字10可更改&#xff09; https://autumnfish.cn/api/joke/list?num10

Spring AOP知识点简介

文章目录1、什么是AOP1.1、AOP术语1.2、AOP框架2、动态代理2.1、JDK动态代理2.2、CGLIB动态代理3、基于代理类的AOP实现3.1、Spring的通知类型3.2、ProxyFactoryBean4、AspectJ开发4.1、基于XML的声明式AspectJ4.2、基于注解的声明式AspectJ1、什么是AOP 面向切面编程&#xf…

jzoj2940-生成输入数据【最小生成树,并查集】

正题 题目大意 给一个完全图的唯一一颗最小生成树&#xff0c;求完全图最小边权之和。 解题思路 我们考虑在计算最小生成树的时候&#xff0c;将两个联通块合并时&#xff0c;我们会选择连接这两个联通块的最小的边。 那么我们就可以让每个联通块合并时&#xff0c;让其他边都…

SQL2017 Azure SQL新功能:图形数据库

图形数据库是什么呢&#xff1f;如果从字面理解是进行图形处理的数据库&#xff0c;那么你就错了哈哈。 我们先来解释什么是图形数据库。 图形数据库是NoSQL数据库的一种类型&#xff0c;它应用图形理论存储实体之间的关系信息。最常见的例子&#xff0c;就是社会网络中人与人之…

git创建tag标签

创建标签 添加tag git tag v1.0 查看所有的tag版本 git tag 后可加-m添加注释 这时只能在本地可以看到自己新建Tag&#xff0c;在远程中央仓库中还是看不到在Tags下有如何内容&#xff0c;因为我们还没把它推送到中央仓库上 推送到远端 git push origin v1.0 如果没有和远程没…

idea中XML注释与取消注释快捷键

IntelliJ IDEA和eclipse中编辑Java文件时&#xff0c;注释和取消注释的快捷键都是&#xff1a; "CTRL / " 编辑xml文件时&#xff0c; 注释&#xff1a;CTRL SHIFT / 取消注释&#xff1a;CTRL SHIFT \