threading实现多线程并发

multiprocessing实现多进程并发

asyncio实现基于协程的异步IO（asyncio）

threading 和 multiprocessing ，多进程和多线程并发的几个关键区别：

1. 全局解释器锁（GIL）：
   • threading：Python 的标准 threading 模块受到全局解释器锁（GIL）的限制。这意味着，即使在多核 CPU 上，Python 的线程也不会真正地并行执行 Python 字节码。GIL 确保了在任何时候只有一个线程可以执行 Python 字节码。这并不意味着线程之间不能并行执行，而是说它们不能并行执行 Python 字节码。例如，I/O 操作（如读写文件或网络请求）通常不会受到 GIL 的影响，因此这些操作可以在等待时让出 GIL，允许其他线程执行。
   • multiprocessing：multiprocessing 模块通过在单独的 Python 解释器中启动多个进程来避免 GIL 的限制。每个进程都有自己的内存空间和 GIL，因此它们可以真正地并行执行 Python 字节码。这意味着 multiprocessing 可以更好地利用多核 CPU。
2. 内存共享：
   • threading：线程共享同一进程的内存空间，因此它们可以轻松地共享数据。但是，这也带来了线程间同步和数据一致性的问题。
   • multiprocessing：进程之间不共享内存空间，因此需要通过进程间通信（IPC）机制（如管道、队列、套接字等）来共享数据。这增加了编程的复杂性，但也提高了数据的安全性和隔离性。
3. 启动和销毁开销：
   • threading：线程的创建和销毁通常比进程更快，因为线程共享进程的内存空间，不需要复制整个进程环境。
   • multiprocessing：进程的创建和销毁通常比线程更慢，因为需要复制整个进程环境（包括内存空间、打开的文件描述符等）。但是，一旦进程被创建，它可以在多个任务之间重用，从而减少额外的开销。
4. 资源限制：
   • threading：由于线程共享同一进程的内存空间，因此它们受到该进程可用内存的限制。此外，由于 GIL 的存在，线程数量过多可能会导致上下文切换开销增加，从而降低性能。
   • multiprocessing：每个进程都有自己的内存空间，因此可以独立地分配和管理资源。但是，这也可能导致系统资源（如 CPU、内存、文件描述符等）更快地耗尽。
5. 适用场景：
   • threading：适用于 I/O 密集型任务，因为 I/O 操作通常不会受到 GIL 的限制。此外，由于线程之间共享内存空间，因此它们也适用于需要频繁共享数据的场景。
   • multiprocessing：适用于 CPU 密集型任务，因为它可以真正地并行执行 Python 字节码。此外，由于进程之间不共享内存空间，因此它也适用于需要高数据隔离性和安全性的场景。

总结：

• threading适用于I/O密集型任务，但受GIL限制，对CPU密集型任务效果不佳。
• multiprocessing适用于CPU密集型任务，能够真正利用多核优势。
• asyncio也适用于I/O密集型任务，且避免了多线程/多进程的复杂性，提供了更简洁的异步编程模型。