目录
显存和GPU之间的分配
显存和GPU之间的通信
原语是什么，简单举例说明
GPUDirect P2P，NVLink，NCCL的全称及解释
聚合通信和点对点通信
聚合通信（Collective Communication）
点对点通信（Point-to-Point Communication）
为什么使用GPUDirect P2P，NVLink，NCCL
显存和GPU之间的分配
-
动态显存分配：在使用CUDA进行显存分配和管理时，PyTorch采用了动态显存分配策略。这意味着，当在PyTorch中使用CUDA张量时，显存不会一开始就分配完所有可用的GPU内存，而是根据需要动态分配。
-
显存缓存机制（Caching Allocator）：为了优化显存的使用和减少内存碎片，PyTorch使用了一个缓存分配器。该机制通过缓存已释放的显存，以便在后续的张量操作中复用，从而减少显存的频繁分配和释放操作。
-
多GPU显存分配：在使用多个GPU时，PyTorch为每个GPU独立管理显存分配。每个GPU都有自己的显存缓存机制，并且PyTorch可以自动将张量分配到
