1) 回顾
1.1 Spark通用运行流程概述
在submit任务条件是需要指定executo个数,executor-CUP个数,可以提高并行度。
什么是并行,什么是并发?
并发:假如有多个任务task,并行是在一个cup中,多个task轮流执行,一个cpu中不可能一起执行,但是我们看到的几乎是同时执行
并行:多个cpu一起执行不同任务,任务间叫做并行执行
什么是RPC?
两台不同的机器的进程进行交互,就叫RPC
RPC怎么进行交互的?
图中客户端想要请求B,来执行PIC,但是不能直接请求,客户端只能请求A, NodeA的runPic是接口并没有实现,通过动态代理把接口实现,用socket来网络通信,B接收到A的通信执行runPic,B中runPic是实现类,执行PIC