Spark内核源码解析八：DAGScheduler原理解析和源码解析

原理图如下

重点DAGScheduler会从触发Action操作的RDD划分stage，然后往前倒退，如果之前依赖的RDD是窄依赖就会放入同一个stage，如果是宽依赖就会就会重新划分一个stage

DAGScheduler

　　runJob

　　　　submitJob

　　　　　　eventProcessLoop.post

　　　　　　　　JobSubmitted

　　　　　　　　handJobSubmitted

　　　　　　　　finalStage = newStage

原文：https://www.cnblogs.com/xiaofeiyang/p/12872758.html