CUDA流与异步
-
基于流的异步的内核启动和数据传输支持以下类型的粗粒度并发：
1.重叠主机计算和设备计算；
2.重叠主机计算和主机与设备间的数据传输；
3.重叠主机与设备间的数据传输和设备计算；
4.并发设备计算。 -
理解一个CUDA程序，应该从设备和主机两个角度来考虑。从设备的角度来看，操作都被发布到默认的流中，并且按发布顺序取执行。设备不知道其他被执行的主机操作。从主机的角度来看，每个数据传输都是同步的，在等待它们完成时，将强制空闲主机时间。内核启动是异步的，所以无论内核是否完成，主机的应用程序几乎都立即恢复执行。这种内核启动的默认异步行为使它可以直接重叠设备和主机计算。
-
如果要实现重叠主机计算和主机与设备间的数据传输，那么就需要显式地创建CUDA流，来保证这个传输任务不会阻塞主机，而是在CUDA流中异步发布。当执行异步数据传输时，使用
cudaMemcpyAsync，但必须使用固定(或非分页的)主机内存来保证异步执行时的数据一致性。可以使用cudaMallocHost函数或者cudaHostAlloc函数分配固定内存。如果使用pageable页面的话会带来性能下降。 -
如果要重叠主机与设备间的数据传输和设备计算，那么要将这两个任务发布在两个不同的非空流中，同时数据传输还是要满足上面的固定内存。如果要在使用空流，那么其他流要使用
cudaStreamCreateWithFlags来创建非阻塞流。
(2))
