python多进程怎么样_Python执行多进程任务的方法

Python的多进程可以借助from multiprocessing import Pool来实现。

简而言之分为这样几步:

导入包from multiprocessing import Pool

编写任务函数。def 任务函数(参数)

实例化进程池并设置进程数。pool=Pool(欲设置的进程数)

开始布置任务,把多个任务添加进多进程池。pool.apply_async(任务函数,函数对应的参数元组)

关闭进程池的打包。pool.close()

开始执行多进程。pool.join()

具体使用方式详见代码:

import requests

from multiprocessing import Pool

def mission(url,n): #多进程要调用的任务函数,这里我把视频的编号也带上留作打印

print(url,"say hi") #来个标记,打印视频的URL

response=requests.get(url) #请求视频内容

f=open(f"./%03d.ts"%n,"wb") #打开空文件

f.write(response.content) #写入下载内容到空的视频文件中

f.close() #写入结束

print("%03d.ts OK..."%n) #打印告知视频已写入完毕

if __name__ == "__main__":

pool=Pool(10) #设置10个进程

for n in range(1,7): #我有6小段视频等待爬取

url = f"https://fable.vzaar.com/v4/usp/vz7b388613953b4867b8ea4436f03475ea/16997578.ism/16997578-audio_eng=123960-video_eng=511000-{n}.ts"

pool.apply_async(mission,(url,n)) #任务函数、视频、编号打包进多进程池里

pool.close() #打包完毕

pool.join() #开始执行多进程

综上所述。多进程需要这几步:

from multiprocessing import Pool

编写任务函数。这里我们用的是def mission(url,n):

实例化,设置进程数。这里我们用的是pool=Pool(10) #设置10个进程

把多个任务添加进多进程池。这里我们用的是for循环配合pool.apply_async(mission,(url,n))来添加进去,注意apply_async的使用方法是apply_async(任务函数,函数对应的参数元组)。

打包完毕,关闭打包。pool.close()

开始执行多进程。pool.join()

运行结果:

https://fable.vzaar.com/v4/usp/vz7b388613953b4867b8ea4436f03475ea/16997578.ism/16997578-audio_eng=123960-video_eng=511000-1.ts say hi

https://fable.vzaar.com/v4/usp/vz7b388613953b4867b8ea4436f03475ea/16997578.ism/16997578-audio_eng=123960-video_eng=511000-2.ts say hi

https://fable.vzaar.com/v4/usp/vz7b388613953b4867b8ea4436f03475ea/16997578.ism/16997578-audio_eng=123960-video_eng=511000-4.ts say hi

https://fable.vzaar.com/v4/usp/vz7b388613953b4867b8ea4436f03475ea/16997578.ism/16997578-audio_eng=123960-video_eng=511000-3.ts say hi

https://fable.vzaar.com/v4/usp/vz7b388613953b4867b8ea4436f03475ea/16997578.ism/16997578-audio_eng=123960-video_eng=511000-6.ts say hi

https://fable.vzaar.com/v4/usp/vz7b388613953b4867b8ea4436f03475ea/16997578.ism/16997578-audio_eng=123960-video_eng=511000-5.ts say hi

006.ts OK...

004.ts OK...

002.ts OK...

005.ts OK...

003.ts OK...

001.ts OK...

可见,由于下载和写入文件的速度快慢对每个进程的执行时间是有影响的……

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/397151.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JAVA多线程之Synchronize 关键字原理

image众所周知 Synchronize 关键字是解决并发问题常用解决方案,有以下三种使用方式: 同步普通方法,锁的是当前对象。同步静态方法,锁的是当前 Class 对象。同步块,锁的是 {} 中的对象。实现原理:JVM 是通过进入、退出对…

iOS-数据持久化-第三方框架FMDB的使用

FMDB简单介绍 一、简单说明 1.什么是FMDB FMDB是iOS平台的SQLite数据库框架 FMDB以OC的方式封装了SQLite的C语言API 2.FMDB的优点 使用起来更加面向对象,省去了很多麻烦、冗余的C语言代码 对比苹果自带的Core Data框架,更加轻量级和灵活 提供了多线程安全…

电脑word文档打不开怎么办_word怎么转pdf?两个值得学习的高效转换法

word怎么转pdf?两个值得学习的高效转换法word怎么转pdf?pdf格式是我们经常能够使用到的格式,因为pdf格式在传递的过程中能更好地避免文件出现乱码打不开或误触导致文件被修改的情况。那如果想要把word文件转换成pdf格式以避免阅读word时文件被…

sql server常用函数、常用语句

一、常用函数 1.字符串函数 : charindex(:,abc:123) --寻找一个字符在一段字符串中起始的位置 len(zhangsan) --获取一段字符串的长度 left(Ly,君子之耀,2) --从一段字符串左边返回指定长度的字符 right(char_expr,int_expr) --返回字符串右边int_expr个字符 …

python 矩阵乘法 跳过nan_python – Numpy:当一些向量元素等于零时,矩阵向量乘法不会跳过计算吗?...

我最近一直致力于一个项目,其中我的大部分时间花费在密集矩阵A和稀疏向量v上(见here).在我尝试减少计算时,我注意到A.dot(v)的运行时间不受v的零条目数的影响.为了解释为什么我希望在这种情况下改进运行时,让result A.dot.v使得j 1的结果[j] sum_i(A [i,j] * v [j])… v.sha…

[转]Responsive Tables Demo

本文转自:http://elvery.net/demo/responsive-tables/ A quick and dirty look at some techniques for designing responsive table layouts. This was put together in haste (and with the aid of Twitter Bootstrap) for What Do You Know Brisbane hosted by W…

Scala函数式对象-有理数

有理数类的表示 实现规范:支持有理数的加减乘除,并支持有理数的规范表示 1.定义Rational 首先,考虑用户如何使用这个类,我们已经决定使用“Immutable”方式来使用Rational对象,我们需要用户在定义Rational对象时提供分…

2020双十一实时大屏_2020拼多多双十一,拼多多双十一活动

2020拼多多双十一,拼多多双十一活动,2020拼多多双十一,拼多多双十一活动2020拼多多双十一,拼多多双十一活动拼多多双11来了全球狂欢节先领券再购物低价风暴 震撼来袭没有最低 只有更低拼多多优惠券商城拼多多优惠商城,…

dataTables本地刷新数据解决只能初始化一次问题

2019独角兽企业重金招聘Python工程师标准>>> dataTables的表格只能初始化一次,这样如果需要动态改变表格数据的话就需要写多个表格,这样很显然不是一个好的解决方案。 dataTables Api提供了刷新数据解决方案: 这里大概说一下案例&…

安装Ubuntu版本linux过程中没有提示设置root用户密码问题的解决办法

原来ubunto不提倡设置root用户,系统安装成功后,root密码是随机的,那么在这种情况下如何得到root权限呐,具体方法如下: 终端中输入:sudo passwd root 此时重新设置原登录用户的密码。 设置成功后在终端继续输…

linux命令headtail

一、head语法head [-n -k ]... [FILE]...//k是数字默认是显示开头前10行。head /etc/passwd显示开头前5行head -5 /etc/passwdhead -n 5 /etc/passwd(注意和以下的有-的差别)head -n 5 /etc/passwd 除最后k行外,显示剩余所有内容。head -n -5…

用-force –opengl 指令_苹果新系统ios14新功能汇总 轻点背面等小技巧怎么用

在 iOS 14 以及更新系统中,苹果为 iPhone X 以及更新机型带来了“轻点背面”功能,可以让用户轻点手机背面来实现更多操作,并且这项功能还支持“快捷指令”。例如,如果您不希望应用读取剪贴板中私密内容,可以利用“轻点…

PE文件格式(加密与解密3)(一)

本次的了解主要讲解 PE的基本概念、MS-DOS文件头、PE文件头、区块、输入表、输出表等。 这里我将会结合一个简单的小程序来加深我对PE文件结构的了解。 使用学习工具:有StudyPE、LordPE、PEID。 学习PE建议看书。。和自己动手。。。 PE文件: 在WIN上&…

mysql用户_MySQL用户权限管理详解

用户权限管理主要有以下作用:1. 可以限制用户访问哪些库、哪些表2. 可以限制用户对哪些表执行SELECT、CREATE、DELETE、DELETE、ALTER等操作3. 可以限制用户登录的IP或域名4. 可以限制用户自己的权限是否可以授权给别的用户一、用户授权mysql> grant all privile…

对ContentProvider中getType方法的一点理解

在上篇博客中我们介绍了自定义ContentProvider,但是遗漏掉了一个方法,那就是getType,自定义ContentProvider一般用不上getType方法,但我们还是一起来探究下这个方法究竟是干什么的?我们先来看看ContentProvider中对这个…

手把手教Electron+vue的使用

.现如今前端框架数不胜数,尤其是angular、vue吸引一大批前端开发者,在这个高新技术快速崛起的时代,自然少不了各种框架的结合使用。接下来是介绍electronvue的结合使用。 2.Electron是什么?? 对于我来说Electron相当于…

shell循环和分支

循环和分支对代码块的操作是构造组织shell脚本的关键. 循环和分支结构为脚本编程提供了操作代码块的工具.10.1. Loops循环就是重复一些命令的代码块,如果条件不满足就退出循环.for loopsfor arg in [list]这是一个基本的循环结构.它与C的for结构有很大不同.forarg in [list]do …

mysql主从_MySQL主从原理及配置详解

MySQL主从配置及原理,供大家参考,具体内容如下一、环境选择:1.Centos 6.52.MySQL 5.7二、什么是MySQL主从复制MySQL主从复制是其最重要的功能之一。主从复制是指一台服务器充当主数据库服务器,另一台或多台服务器充当从数据库服务…

引导修复 不是活动的_河南省视频数据修复中心

河南省视频数据修复中心 lk6afds河南省视频数据修复中心 文件预览我找到了我要恢复文件,可是,这个文件能能正确恢复呢。没有用的文件不可以删掉吗。我们先来看看盘文件夹都是什么吧。(以下仅限于~系统)一般来说,刚刚安装的电脑系统盘主要包含…

企业日志分析 五大问题需重点注意

资讯 | 安全 | 论坛 | 下载 | 读书 | 程序开发 | 数据库 | 系统 | 网络 | 电子书 | 微信学院 | 站长学院 | 源码 | QQ | 专栏 | 考试 | 系统安全| 网站安全| 企业安全| 网络安全| 工具软件| 杀毒防毒| 加密解密|首页 > 安全 > 企业安全 > 正文企业安全…