Spark RDD分区2G限制

Spark RDD分区2G限制

文章目录

  • Spark RDD分区2G限制
    • 问题现象
    • 解决方法
    • 为什么2G限制
    • 个人思(yu)考(jian)

问题现象

遇到这个问题时,spark日志会报如下的日志

片段1:

15/04/16 14:13:03 WARN scheduler.TaskSetManager: Lost task 19.0 in stage 6.0 (TID 120, 10.215.149.47): java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:828)
at org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:123)
at org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:132)
at org.apache.spark.storage.BlockManager.doGetLocal(BlockManager.scala:517)
at org.apache.spark.storage.BlockManager.getLocal(BlockManager.scala:432)
at org.apache.spark.storage.BlockManager.get(BlockManager.scala:618)
at org.apache.spark.CacheManager.putInBlockManager(CacheManager.scala:146)
at org.apache.spark.CacheManager.getOrCompute(CacheManager.scala:70)

片段2:

15/04/16 14:19:45 INFO scheduler.TaskSetManager: Starting task 20.2 in stage 6.0 (TID 146, 10.196.151.213, PROCESS_LOCAL, 1666 bytes)15/04/16 14:19:45 INFO scheduler.TaskSetManager: Lost task 20.2 in stage 6.0 (TID 146) on executor 10.196.151.213: java.lang.IllegalArgumentException (Size exceeds Integer.MAX_VALUE) [duplicate 1]15/04/16 14:19:45 INFO scheduler.TaskSetManager: Starting task 20.3 in stage 6.0 (TID 147, 10.196.151.213, PROCESS_LOCAL, 1666 bytes)15/04/16 14:19:45 INFO scheduler.TaskSetManager: Lost task 20.3 in stage 6.0 (TID 147) on executor 10.196.151.213: java.lang.IllegalArgumentException (Size exceeds Integer.MAX_VALUE) [duplicate 2]15/04/16 14:19:45 ERROR scheduler.TaskSetManager: Task 20 in stage 6.0 failed 4 times; aborting job15/04/16 14:19:45 INFO cluster.YarnClusterScheduler: Cancelling stage 615/04/16 14:19:45 INFO cluster.YarnClusterScheduler: Stage 6 was cancelled15/04/16 14:19:45 INFO scheduler.DAGScheduler: Job 6 failed: collectAsMap at DecisionTree.scala:653, took 239.760845 s15/04/16 14:19:45 ERROR yarn.ApplicationMaster: User class threw exception: Job aborted due to stage failure: Task 20 in stage 6.0 failed 4 times, most recent failure: Lost task 20.3 in stage 6.0 (TID 147, 10.196.151.213): java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUEat sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:828)

异常就是某个partition的数据量超过了Integer.MAX_VALUE(2147483647 = 2GB)

解决方法

手动设置RDD的分区数量。当前使用的Spark默认RDD分区是18个,后来手动设置为1000个,上面这个问题就迎刃而解了。可以在RDD加载后,使用RDD.repartition(numPart:Int)函数重新设置分区数量。

为什么2G限制

目前spark社区对这个限制有很多讨(tu)论(cao),spark官方团队已经注意到了这个问题,但是直到1.2版本,这个问题还是没有解决。因为牵涉到整个RDD的实现框架,所以改进成本相当大!

下面是一些相关的资料,有兴趣的读者可以进一步的阅读:

  • 2GB limit in spark for blocks
  • create LargeByteBuffer abstraction for eliminating 2GB limit on blocks
  • Why does Spark RDD partition has 2GB limit for HDFS
  • 抛异常的java代码:FileChannelImpl.java

个人思(yu)考(jian)

这个限制有一定合理性。因为RDD中partition的操作是并发执行的,如果partition量过少,导致并发数过少,会限制计算效率。所以,基于这个限制,spark应用程序开发者会主动扩大partition数量,也就是加大并发量,最终提高计算性能。

转载自:https://www.cnblogs.com/bourneli/p/4456109.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/509511.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

hdu3790最短路径问题(迪杰斯特拉算法+详解+代码)

最短路径问题 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) Total Submission(s): 32544 Accepted Submission(s): 9565Problem Description给你n个点,m条无向边,每条边都有长度d和花费p,给你起…

T型知识结构

传统的知识结构,即仅有某一专业知识的结构。这是惟一的知识结构,或称线性结构。这种知识结构已远远不能适应形势对管理者的要求。新型的人才知识结构通常可分为三角形、宝塔形、衣架型、T型、H型、X型等。前三个类型一般是指专业技术人才,在某…

priority_queueint,vectorint,greaterint优先队列,按照从小到大

原网址&#xff1a; 优先队列 C优先队列的基本使用方法 在优先队列中&#xff0c;优先级高的元素先出队列。 标准库默认使用元素类型的<操作符来确定它们之间的优先级关系。 优先队列的第一种用法&#xff0c;也是最常用的用法&#xff1a; priority_queue<int>qi;通…

Spark stage如何划分

窄依赖和宽依赖 窄依赖&#xff1a; 指父RDD的每一个分区最多被一个子RDD的分区所用&#xff0c;表现为一个父RDD的分区对应于一个子RDD的分区&#xff0c;和两个父RDD的分区对应于一个子RDD 的分区。图中&#xff0c;map/filter和union属于第一类&#xff0c;对输入进行协同…

引出发射和什么是反射和Class类和Class实例、基本类型的字节码对象

引出发射和什么是反射 问题1: 1.对象有编译类型和运行类型Object obj new java.util.Date();编译类型: Object运行类型: java.util.Date需求:通过obj对象,调用java.util.Date类中的toLocaleString方法.obj.toLocaleString(); 此时编译报错, 编译时,会检查该编译类型中是…

GCC常用命令详解

GCC(GNU Compiler Collection)是Linux下最常用的C语言编译器&#xff0c;是GNU项目中符合ANSI C标准的编译系统,能够编译用C、C和Object C等语言编写的程序。同时它可以通过不同的前端模块来支持各种语言&#xff0c;如Java、Fortran、Pascal、Modula-3和Ada等。穿插一个玩笑&a…

判断给定森林中有多少棵树特别版

题目描述 众人皆知&#xff0c;在编程领域中&#xff0c;C是一门非常重要的语言&#xff0c;不仅仅因为其强大的功能&#xff0c;还因为它是很多其他面向对象语言的祖先和典范。不过这世上几乎没什么东 西是完美的&#xff0c;C也不例外&#xff0c;多继承结构在带来强大功能的…

Spark使用HanLP分词

Spark使用HanLP分词 将HanLP的data(包含词典和模型)放到hdfs上&#xff0c;然后在项目配置文件hanlp.properties中配置root的路径&#xff0c;比如&#xff1a;roothdfs://localhost:9000/tmp/ 实现com.hankcs.hanlp.corpus.io.IIOAdapter接口 public static class Hadoop…

获取类中的构造器

需求:通过反射来获取某一个类的构造器: 1):获取该类的字节码对象. 2):从该字节码对象中去找需要获取的构造器. ------------------------------------------------------------------------ Class类获取构造器方法: Constructor类:表示类中构造器的类型,Constructor的实例…

SparkStreaming Kafka 自动保存offset到zookeeper

SparkStreaming Kafka 自动保存offset到zookeeper 场景 spark使用的是1.6&#xff0c;SparkStreaming1.6时候使用的kafka jar包为0.8的&#xff0c;消费时候不记录消费到的信息&#xff0c;导致重复消费&#xff0c;故手动保存到zookeeper&#xff0c;SparkStreaming2.1.1时使…

数据结构实验之查找一:二叉排序树

题目描述 对应给定的一个序列可以唯一确定一棵二叉排序树。然而&#xff0c;一棵给定的二叉排序树却可以由多种不同的序列得到。例如分别按照序列{3,1,4}和{3,4,1}插入初始为空的二叉排序树&#xff0c;都得到一样的结果。你的任务书对于输入的各种序列&#xff0c;判断它们是否…

GCC常用参数详解

简介 gcc and g现在是gnu中最主要和最流行的c & c编译器 .gcc/g在执行编译工作的时候&#xff0c;总共需要以下几步: 1.预处理,生成.i的文件[预处理器cpp] 2.将预处理后的文件不转换成汇编语言,生成文件.s[编译器egcs] 3.有汇编变为目标代码(机器代码)生成.o的文件[汇编器a…

使用反射调用构造器创建对象

构造器最大的作用:创建对象. 为什么使用反射创建对象,为什么不直接来new呢? 在框架中,提供给我们的都是字符串. ----------------------------------------------------------- 使用反射创建对象: 步骤: 1);找到构造器所在类的字节码对象. 2):获取构造器对象. 3):使用反射…

数据结构实验之查找三:树的种类统计

题目描述 随着卫星成像技术的应用&#xff0c;自然资源研究机构可以识别每一个棵树的种类。请编写程序帮助研究人员统计每种树的数量&#xff0c;计算每种树占总数的百分比。 输入 输入一组测试数据。数据的第1行给出一个正整数N (n < 100000)&#xff0c;N表示树的数量&…

java中如何使用反射调用方法以及获得类中的属性

使用反射获取类中的方法: 1):获取方法所在类的字节码对象. 2):获取方法. ------------------------------------------------------------------------ Class类中常用方法: publicMethod[] getMethods():获取包括自身和继承过来的所有的public方法 publicMethod[] getDeclaredM…

Maxwell读取MySQL数据

文章目录Maxwell 概述1.1 Maxwell 定义1.2 Maxwell工作原理1.2.1 MySQL主从复制过程1.2.2 Maxwell的工作原理1.2.3 **MySQL** **的** binlog1.3 Maxwell和Canal的对比Maxwell使用2.1 Maxwell安装2.1.1 安装地址2.1.2 安装部署2.1.3 MySQL环境准备2.1.4 初始化Maxwell元数据库2.…

数据结构实验之查找二:平衡二叉树

题目描述 根据给定的输入序列建立一棵平衡二叉树&#xff0c;求出建立的平衡二叉树的树根。 输入 输入一组测试数据。数据的第1行给出一个正整数N(n < 20)&#xff0c;N表示输入序列的元素个数&#xff1b;第2行给出N个正整数&#xff0c;按数据给定顺序建立平衡二叉树。 输…

Linux-(C/C++)动态链接库生成以及使用(libxxx.so)

Linux中so文件为共享库&#xff0c;与windows下dll类似&#xff0c;不过实现要简单。 so可以供多个进程使用&#xff0c;不同进程调用同一个so文件&#xff0c;所使用so文件不同。 so文件源程序不需要main函数&#xff0c;有也不会被执行。 下面通过一个简单例子&#xff0c;来…

数据结构实验图论一:基于邻接矩阵的广度优先搜索遍历

题目描述 给定一个无向连通图&#xff0c;顶点编号从0到n-1&#xff0c;用广度优先搜索(BFS)遍历&#xff0c;输出从某个顶点出发的遍历序列。(同一个结点的同层邻接点&#xff0c;节点编号小的优先遍历&#xff09;输入 输入第一行为整数n&#xff08;0< n <100&#xf…

IO对象流(序列化和反序列化)

序列化和反序列化概念&#xff1a; 序列化: 把堆内存中的java对象数据&#xff0c;通过某种方式把对象存储到磁盘文件中或者传递给其他网络的节点&#xff08;在网络上传输&#xff09; 反序列化: 把磁盘文件中的对象数据或者网络节点上的对象数据&#xff0c;恢复成java对象的…