spark 每次提交一个作业,都会划分成不同的stage,除了最后一个stage(shuffle map task),前边的stage属于一种类型(result task)。
spark中的job,内部是由具体task构成,由于spark的调度模式根据宽依赖的模式划分成不同的stage,而我们从spark获取结果,是从最后一个stage中获取的。
stage内部有不同的任务,任务被提交到集群的计算节点,计算节点计算逻辑的时候,在excutor中
线程池中的线程中运行,线程会调用具体的run方法执行。
最后一个stage task类型为result类型,之前的所有的类型都为shuffle map task类型。
RDD objects:建DAG图,
DAGschedule:根据DAG图,将任务划分为不同的stage即task
TaskScheduler:cluster 获取task,并分配给worker和重试失败的任务。(shuffle map task和result task)
shuffle map task会将stage划分为不同的buckets。buckets决定这并行度。
worker:执行具体的task,两种taks都包含runtask 方法,方法中执行的iterator,iterator中包含cache判断。(可以在源码中查看到)