python3 sleep 并发_python异步编程之asyncio(百万并发)

74380b24a0e0f38fecc77814105c8c94.gif

点击上方蓝字关注我们

74380b24a0e0f38fecc77814105c8c94.gif目录

[python 异步编程之 asyncio(百万并发)]

  • 一、asyncio

  • 二、aiohttp

前言:python 由于 GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在 IO 密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了 python 性能方面的短板,如最新的微服务框架 japronto,resquests per second 可达百万级。python 还有一个优势是库(第三方库)极为丰富,运用十分方便。asyncio 是python3.4 版本引入到标准库,python2x 没有加这个库,毕竟 python3x 才是未来啊,哈哈!python3.5 又加入了 async/await 特性。在学习 asyncio 之前,我们先来理清楚同步/异步的概念:
  • 同步是指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行。

  • 异步是和同步相对的,异步是指在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理第二个事务去了,通过状态、通知、回调来通知调用者处理结果。

一、asyncio

下面通过举例来对比同步代码和异步代码编写方面的差异,其次看下两者性能上的差距,我们使用 sleep(1) 模拟耗时 1 秒的 io 操作。同步代码:
import time

def hello():
    time.sleep(1)

def run():
    for i in range(5):
        hello()
        print('Hello World:%s' % time.time()) # 任何伟大的代码都是从Hello World 开始的!
if __name__ == '__main__':
出:(间隔约是1s)
Hello World:1527595175.4728756
Hello World:1527595176.473001
Hello World:1527595177.473494
Hello World:1527595178.4739306
Hello World:1527595179.474482
异步代码:
import time
import asyncio

# 定义异步函数
async def hello():
    asyncio.sleep(1)
    print('Hello World:%s' % time.time())

def run():
    for i in range(5):
        loop.run_until_complete(hello())

loop = asyncio.get_event_loop()
if __name__ =='__main__':
    run()
输出:
Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501
async def  用来定义异步函数,其内部有异步操作。每个线程有一个事件循环,主线程调用 asyncio.get_event_loop() 时会创建事件循环,你需要把异步的任务丢给这个循环的 run_until_complete() 方法,事件循环会安排协同程序的执行。二、aiohttp

如果需要并发 http 请求怎么办呢,通常是用 requests,但 requests 是同步的库,如果想异步的话需要引入 aiohttp。这里引入一个类,from aiohttp import ClientSession,首先要建立一个 session 对象,然后用 session 对象去打开网页。session 可以进行多项操作,比如 post, get, put, head 等。基本用法:
async with ClientSession() as session:
    async with session.get(url) as response:
aiohttp 异步实现的例子:
import asyncio
from aiohttp import ClientSession


tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
    async with ClientSession() as session:
        async with session.get(url) as response:
            response = await response.read()
            print(response)

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(hello(url))
先 async def 关键字定义了这是个异步函数,await 关键字加在需要等待的操作前面,response.read() 等待 request 响应,是个耗 IO 操作。然后使用ClientSession 类发起 http 请求。多链接异步访问如果我们需要请求多个 URL 该怎么办呢,同步的做法访问多个 URL 只需要加个  for 循环就可以了。但异步的实现方式并没那么容易,在之前的基础上需要将 hello() 包装在 asyncio 的 Future 对象中,然后将 Future 对象列表作为任务传递给事件循环。
import time
import asyncio
from aiohttp import ClientSession

tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
    async with ClientSession() as session:
        async with session.get(url) as response:
            response = await response.read()
# print(response)
            print('Hello World:%s' % time.time())

def run():
    for i in range(5):
        task = asyncio.ensure_future(hello(url.format(i)))
        tasks.append(task)


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    run()
    loop.run_until_complete(asyncio.wait(tasks))
输出:
Hello World:1527754874.8915546
Hello World:1527754874.899039
Hello World:1527754874.90004
Hello World:1527754874.9095392
Hello World:1527754874.9190395
收集 http 响应好了,上面介绍了访问不同链接的异步实现方式,但是我们只是发出了请求,如果要把响应一一收集到一个列表中,最后保存到本地或者打印出来要怎么实现呢,可通过 asyncio.gather(*tasks) 将响应全部收集起来,具体通过下面实例来演示。
import time
import asyncio
from aiohttp import ClientSession

tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
    async with ClientSession() as session:
        async with session.get(url) as response:
# print(response)
            print('Hello World:%s' % time.time())
            return await response.read()

def run():
    for i in range(5):
        task = asyncio.ensure_future(hello(url.format(i)))
        tasks.append(task)
    result = loop.run_until_complete(asyncio.gather(*tasks))
    print(result)

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    run()
输出:
Hello World:1527765369.0785167
Hello World:1527765369.0845182
Hello World:1527765369.0910277
Hello World:1527765369.0920424
Hello World:1527765369.097017
[b'\r\n\r\n<html>\r\n<head>\r\n......
异常解决假如你的并发达到2000个,程序会报错:ValueError: too many file descriptors in select()。报错的原因字面上看是 Python 调取的 select 对打开的文件有最大数量的限制,这个其实是操作系统的限制,linux 打开文件的最大数默认是1024,windows 默认是509,超过了这个值,程序就开始报错。这里我们有三种方法解决这个问题:1.限制并发数量。(一次不要塞那么多任务,或者限制最大并发数量)2.使用回调的方式。3.修改操作系统打开文件数的最大限制,在系统里有个配置文件可以修改默认值,具体步骤不再说明了。不修改系统默认配置的话,个人推荐限制并发数的方法,设置并发数为500,处理速度更快。
#coding:utf-8
import time,asyncio,aiohttp


url = 'https://www.baidu.com/'
async def hello(url,semaphore):
    async with semaphore:
        async with aiohttp.ClientSession() as session:
            async with session.get(url) as response:
                return await response.read()


async def run():
    semaphore = asyncio.Semaphore(500) # 限制并发量为500
    to_get = [hello(url.format(),semaphore) for _ in range(1000)] #总共1000任务
    await asyncio.wait(to_get)


if __name__ == '__main__':
# now=lambda :time.time()
    loop = asyncio.get_event_loop()
    loop.run_until_complete(run())
    loop.close()

http://dwz.date/bCxr

a3c1b87c87a3b3689087cc12240eeee8.gif团购、优惠、K8S课程详情扫码咨询>>>d2718a502089f51dec57cdcb8d3b9ff3.pnga3c1b87c87a3b3689087cc12240eeee8.gif1f10b4b624d564fb304ee3b1e473e6f4.gif

●整理 kubernetes 各种问题汇总

●Docker 遇到的异常和注意点

●Kubernetes 中的 PV 和 PVC 是啥

●运维精华面试题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/245961.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Spring实战】02 配置多数据源

文章目录 1. 配置数据源信息2. 创建第一个数据源3. 创建第二个数据源4. 创建启动类及查询方法5. 启动服务6. 创建表及做数据7. 查询验证8. 详细代码总结 通过上一节的介绍&#xff0c;我们已经知道了如何使用 Spring 进行数据源的配置以及应用。在一些复杂的应用中&#xff0c;…

java getxxx_java的invoke与getMethod方法用法

和listener一起使用举例&#xff1a;需要在控件中监听某个动作&#xff1a;比如button点击&#xff0c;画面滚动等1.为控件定义一个属性&#xff1a;属性绑定一个方法xxxProperty "onPropertyXxxxFunc”2.首先自定义一个Listener// 在控件构造函数中获得控件属性的值xxxPr…

windows查看usb信息命令_【VPS】Linux VPS查看系统信息命令大全

本文转自老左笔记&#xff0c;自用mark系统# uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # hostname # 查看计算机名 # lspci -tv # 列出所有PCI设备 # lsusb -tv # 列出所有USB设备 # lsmod # 列出加…

c++ 向量的值逆序输出_C++中vector的常用方法

前言在C中&#xff0c;vector是一个商业转载请联系作者获得授权&#xff0c;非商业转载请注明出处。十分有用的容器。它能像容器一样存放各种类型的对象&#xff0c;简单来说&#xff0c;vector是一个能够存放任意类型的动态数组&#xff0c;能够增加和压缩数据。相较链表而言&…

java生成密码_java生成密码生成 | 学步园

一、根据当前日期生成MD5加密密码package com.test;import java.security.MessageDigest;import java.text.SimpleDateFormat;import java.util.Date;public class Md5Test {public void toMD5(String plainText) {try {//生成实现指定摘要原文链接&#xff1a;http://www.cnbl…

python怎么创建一个二维数组_python 创建二维数组的方法

废话不多说&#xff0c;直接上代码&#xff1a;#codingutf-8def two_di_demo1():a[]for i in range(10):a.append([])for j in range(10):a[i].append(0)print(a)def two_di_demo2():a[]for i in range(10):a.append([])for j in range(10):a[i].append(0)print(a)b [[0] * 10…

java导出excel到本地_POI导出Excel----导出到客户端(本地)

contentType"application/vnd.ms-excel;charsetutf-8"pageEncoding"utf-8"%>//导入要用的包import"org.apache.poi.hssf.usermodel.HSSFWorkbook"%>import"java.io.FileOutputStream"%>import"org.apache.poi.hssf.user…

无法初始化sftp协议。主机是sftp服务器吗?_WinSCP v5.15.3 免费的 开源图形化 SFTP 客户端...

WinSCP 是一个 Windows 环境下使用的 SSH 的开源图形化 SFTP 客户端。同时支持 SCP 协议。它的主要功能是在本地与远程计算机间安全地复制文件&#xff0c;并且可以直接编辑文件。主要功能WinSCP 可以执行所有基本的文件操作&#xff0c;例如下载和上传。同时允许为文件和目录重…

java中组合_java中组合模式详解和使用方法

组合模式(Composite Pattern)&#xff0c;又叫部分整体模式&#xff0c;是用于把一组相似的对象当作一个单一的对象。组合模式依据树形结构来组合对象&#xff0c;用来表示部分以及整体层次。这种类型的设计模式属于结构型模式&#xff0c;它创建了对象组的树形结构。这种模式创…

道客巴巴vip账号共享2020_腾讯视频VIP怎么两个手机通用?

理论上来说&#xff0c;腾讯视频VIP可以同时在3个设备上登录&#xff0c;但只能在2个设备上同时播放视频。这也就意味着&#xff0c;腾讯视频VIP可以在两个手机上同时使用。腾讯视频VIP基本可以分为微信区、QQ区&#xff0c;两者并不互通。近期腾讯视频手机端修改了登录规则&am…

python3示例_Python3 实例(七)

原标题&#xff1a;Python3 实例(七)Python 将字符串的时间转换为时间戳给定一个字符串的时间&#xff0c;将其转换为时间戳。实例import timea1 "2019-5-10 23:40:00"# 先转换为时间数组timeArray time.strptime(a1, "%Y-%m-%d %H:%M:%S")# 转换为时间戳…

java基础知识一_Java基础知识(一)

类与对象1.对象&#xff1a;客观存在的一切事物称之为对象类&#xff1a;具有相同属性和方法的对象的集合2.类&#xff1a;属性&#xff0c;方法3.修饰符&#xff1a;  public    protected               默认(不写)           private任何地…

python生成相似句子_4种方法计算句子相似度

Edit Distance计算两个字符串之间&#xff0c;由一个转成另一个所需要的最少编辑次数&#xff0c;次数越多&#xff0c;距离越大&#xff0c;也就越不相关。比如&#xff0c;“xiaoming”和“xiamin”&#xff0c;两者的转换需要两步&#xff1a;去除‘o’去除‘g’所以&#x…

mysql主从配置常见问题_mysql 主从复制配置,以及常见问题解决!

一&#xff1a;我的mysql 5.7.15 &#xff0c;系统是centos6.5主从复制配置步骤&#xff1a;瞅清楚&#xff01;配置不要出错&#xff01;&#xff01;二&#xff1a;遇到的问题Got fatal error 1236 from master when reading data from binary log解决方案&#xff1a;在ma…

pythontcp文件传输_python socket实现文件传输(防粘包)

1.文件传输的要点&#xff1a;采用iterator(迭代器对象)迭代读取&#xff0c;提高读取以及存取效率&#xff1b;通过for line in file_handles逐行conn.send()&#xff1b;2.socket粘包问题:[出现原因]&#xff1a;A.TCP协议为了提高传输效率&#xff0c;发送方往往需要收集定量…

python分析txt文件_python解析文本文件

python解析的文件原始数据&#xff1a;汉皇重色思倾国&#xff0c;御宇多年求不得。杨家有女初长成&#xff0c;养在深闺人未识。天生丽质难自弃&#xff0c;一朝选在君王侧。回眸一笑百媚生&#xff0c;六宫粉黛无颜色。春寒赐浴华清池&#xff0c;温泉水滑洗凝脂。侍儿扶起娇…

python中hist函数参数_用hist参数解释Python,python,解读

python用hist参数解读python 中绘制hist的方法有很多&#xff0c;我经常用的是matplotlib直接用x,y绘制&#xff1b;Dataframe直接.hist绘制&#xff1b;绘制直方图1.bins为80的图形fig plt.figure(figsize(15, 9))for i in range(12):plt.subplot(3,4,i1) # 3行4列 位置是i1的…

java 字符串是对象吗_解析Java中的String对象的数据类型

解析Java中的String对象的数据类型2007-06-06eNet&Ciweek1. 首先String不属于8种基本数据类型&#xff0c;String是一个对象。因为对象的默认值是null&#xff0c;所以String的默认值也是null&#xff1b;但它又是一种特殊的对象&#xff0c;有其它对象没有的一些特性。2. …

7-7 六度空间 (30分)_现役球员中,谁最可能成下一位30000分先生?3大前十巨星没戏...

想要在NBA联盟得到3万分有多难&#xff1f;从联盟成立至今的70多年中&#xff0c;总得分超过3万分的球员一共只有7位&#xff0c;他们分别是贾巴尔、马龙、詹姆斯、科比、乔丹、诺维茨基和张伯伦&#xff0c;剩下的强如大鲨鱼、艾弗森都没能完成这一壮举&#xff0c;那现役球员…

java右键弹出菜单_javascript自定义右键弹出菜单实现方法

本文实例讲述了javascript自定义右键弹出菜单实现方法。分享给大家供大家参考。具体实现方法如下&#xff1a;无标题页var oPopup window.createPopup();function PopMenu(id){var oPopBody oPopup.document.body;oPopBody.style.backgroundColor "buttonface";oP…