python爬虫之aiohttp多任务异步爬虫

python爬虫之aiohttp多任务异步爬虫

爬取的flash服务如下:

from flask import Flask
import timeapp = Flask(__name__)@app.route('/bobo')
def index_bobo():time.sleep(2)return 'Hello bobo'@app.route('/jay')
def index_jay():time.sleep(2)return 'Hello jay'@app.route('/tom')
def index_tom():time.sleep(2)return 'Hello tom'if __name__ == '__main__':app.run(threaded=True)

运行启动flask服务后,多任务爬取代码如下:

#环境安装:pip install aiohttp
#使用该模块中的ClientSession
import requests
import asyncio
import time
import aiohttpstart = time.time()
urls = ['http://127.0.0.1:5000/bobo','http://127.0.0.1:5000/jay','http://127.0.0.1:5000/tom'
]async def get_page(url):async with aiohttp.ClientSession() as session:#get()、post():#headers,params/data,proxy='http://ip:port'async with await session.get(url) as response:#text()返回字符串形式的响应数据#read()返回二进制形式的响应数据#json()返回的就是json对象#注意:获取响应数据操作之前一定要使用await进行手动挂起page_text = await response.text()print(page_text)tasks = []for url in urls:c = get_page(url)task = asyncio.ensure_future(c)tasks.append(task)loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))end = time.time()print('总耗时:',end-start)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/30563.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

省市区下拉选择:3个el-select(附完整代码+json)

目录 直接上做出的效果: 页面代码: 使用click.native: data及引入: 初始化: methods: JSON: 示例结构: 1.code.json 2.pca-code.json 回显: 视频效果: 直接上做出…

安装jfrog container registry(jcr)

1、下载软件 下载地址,本案例下载的是jfrog-artifactory-jcr-7.59.11-linux.tar.gz: https://releases.jfrog.io/artifactory/bintray-artifactory/org/artifactory/jcr/jfrog-artifactory-jcr/ 2、解压下载下来的压缩包 tar zxf jfrog-artifactory-jcr-7.59.11-linux.tar…

开思通智网-快讯20240617:尖端芯片给AI装上“超级引擎”

【开思通智网-快讯20240617】 【新进展】 尖端芯片给AI装上“超级引擎” https://news.sciencenet.cn/htmlnews/2024/6/524611.shtm 国内首个渔业大模型范蠡大模型1.0发布 https://tech.opensnn.com/chip/article/2775682 武汉理工大学研制出水系锌离子电池:安全、…

如果xml在mapper目录下,如何扫描到xml

如果xml在mapper目录下,如何扫描到xml 项目结构 src├── main│ ├── java│ │ └── com│ │ └── bg│ │ ├── Application.java│ │ ├── domain│ │ │ └── User.java│ │ …

【Linux】Xshell和Xftp简介_安装_VMware虚拟机使用

1、简介 Xshell简介 Xshell是一款强大的安全终端模拟软件支持SSH1、SSH2以及Microsoft Windows平台的TELNET协议。该软件通过互联网实现到远程主机的安全连接,并通过其创新性的设计和特色帮助用户在复杂的网络环境中高效工作。Xshell可以在Windows界面下访问远端不…

电脑怎么卸载软件?多个方法合集(2024年新版)

在电脑的日常使用中,我们经常需要安装各种软件来满足不同的需求,但随着时间的推移,可能会出现一些软件不再需要或需要更换的情况。此时,及时从电脑上卸载这些不必要的软件是非常重要的。它不仅可以释放硬盘空间,还可以…

顶级管理者的新视角:管理状态而非时间

在快节奏的商业环境中,时间管理常被看作是提升效率和效果的关键因素。然而,对于顶级管理者来说,仅仅管理时间可能并不足够。一个更深层、更全面的管理方式——管理状态,正在成为新的趋势。在这篇文章中,我们将探讨为什…

微信小程序请求服务器报ERR_CONNECTION_RESET

排查思路 1.域名是否配置或跳过 2.域名是否备案 3.证书是否有效 4.服务器中间件配置证书是否生效 5.服务器中间件转发配置是否生效 6.接口是否正常 本人遇到问题描述,通过浏览器访问本人网站,https,get请求可以通,小程序wx…

mac nvm的使用

nvm(Node Version Manager)是一个用于管理多个Node.js版本的工具,它允许你在全局范围内安装和切换不同版本的Node.js。以下是如何在macOS上使用nvm的基本步骤: 安装 nvm 安装 Homebrew(如果尚未安装)&…

MPLS TE简介

定义 MPLS TE(MPLS Traffic Engineering),即MPLS流量工程。MPLS流量工程通过建立基于一定约束条件的LSP隧道,并将流量引入到这些隧道中进行转发,使网络流量按照指定的路径进行传输,达到流量工程的目的。 …

泰克DPO4104示波器

特色: Inspector智能存储管理 2.串行触发和分析 3.10.4”较大的显示器, 板上USB和CompactFlash端口, 及TekVPI?改善的探头接口, 较强的操作渐 变性 商品名称 :DPO4104数字荧光示波器 商品型号 :泰克DPO4104 商品简介 :1GHz带宽…

细节控-java删除文件

file.delete() vs Files.deleteIfExists(file.toPath()) 区别 在Java中,删除文件有多种方法,其中常见的两种方法是使用 File 类的 delete() 方法和 Files 类的 deleteIfExists() 方法。以下是这两种方法的详细比较和使用说明。 file.delete() 方法签名…

nginx配置解释

Nginx配置文件是Nginx服务器的核心,用于控制其行为和服务功能。下面是对Nginx配置文件和配置项的解释: 1. 主配置文件结构 Nginx的主配置文件通常位于/etc/nginx/nginx.conf或/usr/local/nginx/conf/nginx.conf,它由几个主要部分组成&#…

欧盟CE认证 包过亚马逊 方华快捷办理 价格三位数

什么是CE证书 CE证书是欧洲共同体(European Community)规定的产品合格性认证,全称为“Conformit Europene”,意为“欧洲合格性”。在欧洲经济区内销售的产品,必须符合欧洲的相关法律法规和标准,而获得CE证…

剪画小程序:音频混音攻略:从新手到高手的必备方法!

在我们欣赏他人发布的视频时,常常会留意到除了清晰的人声,还有相得益彰的背景音乐。 这些背景音乐并非录制时同步播放,而是后期添加而成。那究竟怎样给音频添加背景音乐呢? 今天,小编为大家整理了几种实用方法&#xf…

【Docker安装】Ubuntu系统下部署Docker环境

【Docker安装】Ubuntu系统下部署Docker环境 前言一、本次实践介绍1.1 本次实践规划1.2 本次实践简介二、检查本地环境2.1 检查操作系统版本2.2 检查内核版本2.3 更新软件源三、卸载Docker四、部署Docker环境4.1 安装Docker4.2 检查Docker版本4.3 配置Docker镜像加速4.4 启动Doc…

【Unity】实现分屏开发

前言: 最近有个项目二期需要做分屏开发,今天恰好研究一下为后续的项目做个准备。 原理 整体的实现还是蛮简单的,主要是通过camera的一个targetDisplay属性进行设置 可以看到unity支持最多八个分屏 实现 场景搭建 ,这里直接使…

ArrayDeque详解(含动画演示)

目录 ArrayDeque详解1、 ArrayDeque的继承体系2、Queue和Deque接口的区别3、 ArrayDeque的数据结构4、ArrayDeque的构造方法5、 ArrayDeque的addFirst方法6、 ArrayDeque的addLast方法7、 ArrayDeque的如何利用head和tail索引实现环形数组8、 ArrayDeque的doubleCapacity方法&a…

20. mediasoup服务器的布署与使用

Mediasoup Demo部署 架构服务分析 服务端提供3个服务: 1.www服务,浏览器通过访问服务器目录获取客户端代码,通过V8引擎,启动底层WebRTC 2.nodejs提供websocket服务和http服务,用于信令交互 3.Mediasoup C提供的流媒体…

Java中的内存泄漏问题解析与应对

Java中的内存泄漏问题解析与应对 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿! 在Java应用开发中,内存泄漏是一个常见但又十分棘手的问题。它会导…