当包含在application master中的spark-driver启动后，会与资源调度平台交互获取其他执行器资源，并通过反向注册通知对应的node节点启动执行容器。此外，还会根据程序的执行规划生成两个非常重要的东西，一个是根据spark任务执行计划生成n个ADG有向无环图，另一个是根据有向无环图生成对应的task set，也可以统称为stage，ADG和taskset由于宽窄依赖以及程序的复杂度从而导致本就是一对多的关系

在执行器启动并接收了taskset后，就意味着任务开始了跑数阶段，每一个taskset可以视为一个弹性数据集，简称rdd集合，不同的taskset之间以中间文件的方式传递数据，在这个过程中往往需要注意数据key的倾斜情况、task的多少导致的文件数是否合理、写入和写出的效率等，对任务的优化也生效于这些环节

不同的key分布、数据集的分区策略和中间文件生成策略会对shuffer的性能造成直接的影响，但并不是所有的teskset之间数据传递时都会发生shuffer，也有单纯的一对一数据交换。而是否发生shuffer取决于当前taskset数据血缘的宽窄与否，或者是你对rdd分区策略是否有干预，通俗的讲就是两个task set传递数据的key是否需要从新排列

应当注意的是，spark的shuffer分为两个阶段，上一个taskset的结束向文件中写数据的阶段叫做shuffer write，下一个taskset的读取叫做shuffer read，而没有发生shffer的taskset在这个流程中叫做inputdata和outputdata，可以在spark的ui上看到相关的消息

从跑数上总体来说，spark-driver内部是依靠了两个调度器，ADG调度器负责生成可用于执行的stage，而stage的调度与监控则由taskset调度器在负责，在所有的stage执行结束后，AM会通过向资源调度框架申请注销自己，来结束任务