Spark stage如何划分

窄依赖和宽依赖

窄依赖:

指父RDD的每一个分区最多被一个子RDD的分区所用,表现为一个父RDD的分区对应于一个子RDD的分区,和两个父RDD的分区对应于一个子RDD 的分区。图中,map/filter和union属于第一类,对输入进行协同划分(co-partitioned)的join属于第二类。

宽依赖:

指子RDD的分区依赖于父RDD的所有分区,这是因为shuffle类操作,如图中的groupByKey和未经协同划分的join。

在这里插入图片描述

Stage

一个Job会被拆分为多组Task,每组任务被称为一个Stage就像Map Stage, Reduce Stage。Stage的划分在RDD的论文中有详细的介绍,简单的说是以shuffle和result这两种类型来划分。在Spark中有两类task,一类是shuffleMapTask,一类是resultTask,第一类task的输出是shuffle所需数据,第二类task的输出是result,stage的划分也以此为依据,shuffle之前的所有变换是一个stage,shuffle之后的操作是另一个stage。比如 rdd.parallize(1 to 10).foreach(println) 这个操作没有shuffle,直接就输出了,那么只有它的task是resultTask,stage也只有一个;如果是rdd.map(x => (x, 1)).reduceByKey(_ + _).foreach(println), 这个job因为有reduce,所以有一个shuffle过程,那么reduceByKey之前的是一个stage,执行shuffleMapTask,输出shuffle所需的数据,reduceByKey到最后是一个stage,直接就输出结果了。如果job中有多次shuffle,那么每个shuffle之前都是一个stage.
会根据RDD之间的依赖关系将DAG图划分为不同的阶段,对于窄依赖,由于partition依赖关系的确定性,partition的转换处理就可以在同一个线程里完成,窄依赖就被spark划分到同一个stage中,而对于宽依赖,只能等父RDD shuffle处理完成后,下一个stage才能开始接下来的计算。之所以称之为ShuffleMapTask是因为它需要将自己的计算结果通过shuffle到下一个stage中

在这里插入图片描述

Stage划分思路

因此spark划分stage的整体思路是:从后往前推,遇到宽依赖就断开,划分为一个stage;遇到窄依赖就将这个RDD加入该stage中。因此在图2中RDD C,RDD D,RDD E,RDDF被构建在一个stage中,RDD A被构建在一个单独的Stage中,而RDD B和RDD G又被构建在同一个stage中。
  在spark中,Task的类型分为2种:ShuffleMapTask和ResultTask;简单来说,DAG的最后一个阶段会为每个结果的partition生成一个ResultTask,即每个Stage里面的Task的数量是由该Stage中最后一个RDD的Partition的数量所决定的!而其余所有阶段都会生成ShuffleMapTask;之所以称之为ShuffleMapTask是因为它需要将自己的计算结果通过shuffle到下一个stage中;也就是说图2中的stage1和stage2相当于mapreduce中的Mapper,而ResultTask所代表的stage3就相当于mapreduce中的reducer。

总结

map,filtre为窄依赖,
groupbykey为款依赖
遇到一个宽依赖就分一个stage

原文链接:https://blog.csdn.net/a1043498776/article/details/54889922

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/509507.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

引出发射和什么是反射和Class类和Class实例、基本类型的字节码对象

引出发射和什么是反射 问题1: 1.对象有编译类型和运行类型Object obj new java.util.Date();编译类型: Object运行类型: java.util.Date需求:通过obj对象,调用java.util.Date类中的toLocaleString方法.obj.toLocaleString(); 此时编译报错, 编译时,会检查该编译类型中是…

GCC常用命令详解

GCC(GNU Compiler Collection)是Linux下最常用的C语言编译器,是GNU项目中符合ANSI C标准的编译系统,能够编译用C、C和Object C等语言编写的程序。同时它可以通过不同的前端模块来支持各种语言,如Java、Fortran、Pascal、Modula-3和Ada等。穿插一个玩笑&a…

判断给定森林中有多少棵树特别版

题目描述 众人皆知,在编程领域中,C是一门非常重要的语言,不仅仅因为其强大的功能,还因为它是很多其他面向对象语言的祖先和典范。不过这世上几乎没什么东 西是完美的,C也不例外,多继承结构在带来强大功能的…

Spark使用HanLP分词

Spark使用HanLP分词 将HanLP的data(包含词典和模型)放到hdfs上,然后在项目配置文件hanlp.properties中配置root的路径,比如:roothdfs://localhost:9000/tmp/ 实现com.hankcs.hanlp.corpus.io.IIOAdapter接口 public static class Hadoop…

获取类中的构造器

需求:通过反射来获取某一个类的构造器: 1):获取该类的字节码对象. 2):从该字节码对象中去找需要获取的构造器. ------------------------------------------------------------------------ Class类获取构造器方法: Constructor类:表示类中构造器的类型,Constructor的实例…

SparkStreaming Kafka 自动保存offset到zookeeper

SparkStreaming Kafka 自动保存offset到zookeeper 场景 spark使用的是1.6,SparkStreaming1.6时候使用的kafka jar包为0.8的,消费时候不记录消费到的信息,导致重复消费,故手动保存到zookeeper,SparkStreaming2.1.1时使…

数据结构实验之查找一:二叉排序树

题目描述 对应给定的一个序列可以唯一确定一棵二叉排序树。然而,一棵给定的二叉排序树却可以由多种不同的序列得到。例如分别按照序列{3,1,4}和{3,4,1}插入初始为空的二叉排序树,都得到一样的结果。你的任务书对于输入的各种序列,判断它们是否…

GCC常用参数详解

简介 gcc and g现在是gnu中最主要和最流行的c & c编译器 .gcc/g在执行编译工作的时候,总共需要以下几步: 1.预处理,生成.i的文件[预处理器cpp] 2.将预处理后的文件不转换成汇编语言,生成文件.s[编译器egcs] 3.有汇编变为目标代码(机器代码)生成.o的文件[汇编器a…

使用反射调用构造器创建对象

构造器最大的作用:创建对象. 为什么使用反射创建对象,为什么不直接来new呢? 在框架中,提供给我们的都是字符串. ----------------------------------------------------------- 使用反射创建对象: 步骤: 1);找到构造器所在类的字节码对象. 2):获取构造器对象. 3):使用反射…

数据结构实验之查找三:树的种类统计

题目描述 随着卫星成像技术的应用&#xff0c;自然资源研究机构可以识别每一个棵树的种类。请编写程序帮助研究人员统计每种树的数量&#xff0c;计算每种树占总数的百分比。 输入 输入一组测试数据。数据的第1行给出一个正整数N (n < 100000)&#xff0c;N表示树的数量&…

java中如何使用反射调用方法以及获得类中的属性

使用反射获取类中的方法: 1):获取方法所在类的字节码对象. 2):获取方法. ------------------------------------------------------------------------ Class类中常用方法: publicMethod[] getMethods():获取包括自身和继承过来的所有的public方法 publicMethod[] getDeclaredM…

Maxwell读取MySQL数据

文章目录Maxwell 概述1.1 Maxwell 定义1.2 Maxwell工作原理1.2.1 MySQL主从复制过程1.2.2 Maxwell的工作原理1.2.3 **MySQL** **的** binlog1.3 Maxwell和Canal的对比Maxwell使用2.1 Maxwell安装2.1.1 安装地址2.1.2 安装部署2.1.3 MySQL环境准备2.1.4 初始化Maxwell元数据库2.…

数据结构实验之查找二:平衡二叉树

题目描述 根据给定的输入序列建立一棵平衡二叉树&#xff0c;求出建立的平衡二叉树的树根。 输入 输入一组测试数据。数据的第1行给出一个正整数N(n < 20)&#xff0c;N表示输入序列的元素个数&#xff1b;第2行给出N个正整数&#xff0c;按数据给定顺序建立平衡二叉树。 输…

Linux-(C/C++)动态链接库生成以及使用(libxxx.so)

Linux中so文件为共享库&#xff0c;与windows下dll类似&#xff0c;不过实现要简单。 so可以供多个进程使用&#xff0c;不同进程调用同一个so文件&#xff0c;所使用so文件不同。 so文件源程序不需要main函数&#xff0c;有也不会被执行。 下面通过一个简单例子&#xff0c;来…

数据结构实验图论一:基于邻接矩阵的广度优先搜索遍历

题目描述 给定一个无向连通图&#xff0c;顶点编号从0到n-1&#xff0c;用广度优先搜索(BFS)遍历&#xff0c;输出从某个顶点出发的遍历序列。(同一个结点的同层邻接点&#xff0c;节点编号小的优先遍历&#xff09;输入 输入第一行为整数n&#xff08;0< n <100&#xf…

IO对象流(序列化和反序列化)

序列化和反序列化概念&#xff1a; 序列化: 把堆内存中的java对象数据&#xff0c;通过某种方式把对象存储到磁盘文件中或者传递给其他网络的节点&#xff08;在网络上传输&#xff09; 反序列化: 把磁盘文件中的对象数据或者网络节点上的对象数据&#xff0c;恢复成java对象的…

我是怎么招聘程序员的

http://coolshell.cn/articles/1870.html

数据结构实验之图论二:基于邻接表的广度优先搜索遍历

题目描述 给定一个无向连通图&#xff0c;顶点编号从0到n-1&#xff0c;用广度优先搜索(BFS)遍历&#xff0c;输出从某个顶点出发的遍历序列。(同一个结点的同层邻接点&#xff0c;节点编号小的优先遍历&#xff09;输入 输入第一行为整数n&#xff08;0< n <100&#xf…

IO之打印流

打印流,打印数据的,打印流只能是输出流: PrintStream: 字节打印流 PrintWriter: 字符打印流 -对于PrintWriter来说,当启用字段刷新之后, 调用println或者printf或者format方法,便会立马刷新操作. 如果没有开启自动刷新,则需要手动刷新或者当缓冲区满的时候,再自动刷新. 使…

数据结构实验之查找四:二分查找

题目描述 在一个给定的无重复元素的递增序列里&#xff0c;查找与给定关键字相同的元素&#xff0c;若存在则输出找到的位置,不存在输出-1。 输入 一组输入数据&#xff0c;输入数据第一行首先输入两个正整数n ( n < 10^6 )和m ( m < 10^4 )&#xff0c;n是数组中数据元…