由浅入深走进Python异步编程【多进程】（含代码实例讲解 || multiprocessing、异步进程池、进程通信）

写在前面

从底层到第三方库，全面讲解python的异步编程。这节讲述的是python的多线程实现，纯干货，无概念，代码实例讲解。

本系列有6章左右，点击头像或者专栏查看更多内容，陆续更新，欢迎关注。

部分资料来源及参考链接：
https://www.bilibili.com/video/BV1Li4y1j7RY/

multiprocessing（多进程）

现在让我们初步进入多进程，这个就是python的多进程包，是自带的，简单示例:

import multiprocessing#进程包
import timedef start():time.sleep(2)#让程序沉睡 2 秒print(multiprocessing.current_process().name)#打印进程名字print(multiprocessing.current_process().pid)#打印pidprint(multiprocessing.current_process().is_alive())#打印进程是否活着if __name__ == "__main__":print('程序开始')p = multiprocessing.Process(target = start)#只用写函数名  不要加括号p.start()#开始p.join()#堵塞print('程序结束')

此时，并不是一个进程打开多个线程，而是多个进程，所以每次执行有不同的pid。

结果如下：
在这里插入图片描述

进程通信

本身进程是无法通信的，借助别的数据结构，就可以实现进程通信了，一般是栈和队列，就像这样：

from multiprocessing import Process,Queuedef write(q):#放入队列print('加入队列成功：{}'.format(Process.pid))#打印进程pidfor i in range(10):# 0~9print('往队列放入：{}'.format(i))q.put(i)#放入def read(q):#读取队列print('加入队列成功：{}'.format(Process.pid))#打印进程pidwhile True:#一有东西 就马上读取value = q.get()#读取print('获取队列中的东西：{}'.format(value))if __name__ == "__main__":#由于Python的多进程默认无法进行通信   因为是并发执行的#所以要借助别的数据结构 #一般用栈 或者 队列q = Queue()#实例化Queue   队列pw = Process(target = write,args =(q,))#创建写入进程pr = Process(target = read,args = (q,))#创建读取进程pw.start()#启动写入pr.start()#启动读取pw.join()#堵塞读取

python当中实现了栈和队列，非常方便，如果你运行上述代码，你会发现程序没有结束，读取进程它还在反复读取。这其实就和golang中的管道类似。此处可以先做了解。

进程池

可以使用map方法批量提交目标

import multiprocessingdef index_pool(data):res = data * datareturn resif __name__ == "__main__":data =  list(range(100))#100个任务 pool = multiprocessing.Pool(processes = 4)#进程池大小为4pool_out_puts = pool.map(index_pool,data)#一次性提交大量任务# pool_out_puts = pool.apply(index_pool,args=(10,))#一个个提交pool.close()#关闭进程  不再创建进程pool.join()#堵塞进程print('Pool    {}'.format(pool_out_puts))

运行结果：
在这里插入图片描述

你会发现执行速度非常快

为什么进程池这么快呢？

这就是与多线程的区别，每个进程是独立的，不会受到GIL锁的控制，速度非常快

异步进程池

上述的例子中，进程是同步执行的，如何写出异步的效果呢？

from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor,as_completed
import timenumber_list = [1,2,3,4,5,6,7,8,9,10]def add_number(data):#这个函数  只能消耗CPU资源  没啥意义item = count(data)return itemdef count(number):#单纯计算  随便写for i in range(0,5000000):i = i + 1return i * numberif __name__ == "__main__":start_time = time.time()#程序启动时间with ProcessPoolExecutor(max_workers = 5) as t:# max_workers参数为 你要开多少个进程for item in number_list:#提交任务 t.submit(add_number,item)# reqs = [t.submit(add_number,item) for item in number_list]#提交任务 简洁写法# for req in as_completed(reqs):# 转成 可迭代对象#     print(req.result())#打印信息print('程序总耗时：{}'.format(time.time() - start_time))

由于没有GIL锁的限制，执行会非常快。

进程池和异步进程池的区别是什么呢？

在Python中，进程池（Process Pool）和异步进程池（Asyncio Process Pool）是用于并行处理任务的两种不同的机制。

进程池（Process Pool）：
进程池是通过multiprocessing模块提供的一种机制，它允许你创建一组预先初始化的进程，用于执行任务。你可以将任务提交给进程池，进程池会自动分配可用的进程来执行任务。进程池可以通过Pool类来创建。
进程池适用于CPU密集型任务，可以充分利用多核处理器的并行性。它通过创建多个进程来同时执行任务，每个进程都有自己的Python解释器和GIL，因此可以实现真正的并行执行。进程池在处理大量计算密集型任务时通常具有较好的性能。

异步进程池（Asyncio Process Pool）：
异步进程池是通过concurrent.futures和asyncio模块提供的一种机制，它允许在异步环境中并行处理任务。异步进程池是建立在异步编程的基础上，可以在单个线程中同时执行多个任务。
异步进程池适用于IO密集型任务，如网络请求、文件读写等。它利用异步编程的特性，通过在任务之间进行切换来提高效率，避免了线程切换的开销。异步进程池在处理大量IO密集型任务时通常具有较好的性能。