accelerate 笔记：进程管理

在使用分布式训练系统时，管理各个进程在 GPU 上的执行时间和顺序非常重要。
一些进程会比其他进程更快完成，有些进程在其他进程未完成之前不应该开始执行

1 每台机器进行一次

@accelerator.on_local_main_process
def do_my_thing():do_thing_once_per_server()

示例: 如果在一个由多台机器组成的集群上运行训练作业，并希望每台机器都独立打印它们的日志信息，可以使用 on_local_main_process()

2 所有机器只进行一次

@accelerator.on_main_process
def do_my_thing():do_thing_once()

示例: 如果在多台机器上运行训练作业，并且只希望最终的模型上传操作在所有进程中执行一次，可以使用 on_main_process()

3 在特定进程上进行

@accelerator.on_process(process_index=0)
def do_my_thing():"Something done on process index 0"do_thing_on_index_zero()@accelerator.on_local_process(local_process_idx=0)
def do_my_thing():"Something done on process index 0 on each server"do_thing_on_index_zero_on_each_server()

这两个的区别是
- on_process()
  - 在整个分布式系统中，根据指定的进程索引执行函数
  - 适用于在特定全局进程上执行的操作，不论该进程在哪台机器上
  - eg：如果希望某个操作只在进程索引为0的进程上执行（不管该进程在哪台机器上），可以使用 on_process()
- on_local_process()
  - 在每台机器上，根据指定的本地进程索引执行函数
  - 适用于在每台机器的特定本地进程上执行的操作
  - 如果希望某个操作在每台机器上的本地进程索引为0的进程上执行，可以使用 on_local_process()