爬虫工作量由小到大的思维转变---＜第二十五章 Scrapy开始很快,越来越慢(追溯篇)＞

爬虫工作量由小到大的思维转变---＜第二十二章 Scrapy开始很快,越来越慢(诊断篇)＞-CSDN博客

爬虫工作量由小到大的思维转变---＜第二十三章 Scrapy开始很快,越来越慢(医病篇)＞-CSDN博客

前言:

之前提到过,很多scrapy写出来之后,不知不觉就会造成整体scrapy速度越来越慢的情况,且大部分都是内存泄漏问题(前面讲了如何诊断,各人往上看链接); `通药`也就是最普遍,快捷的办法便是调整几个数值(在医病篇里);但是,最根本的原因,还是在scrapy的设计上,出现了大范围堵塞造成的! 那么,现在(诊断)完之后,针对 request和item的堆积问题,进行`根上`的解决以及指正一下scrapy玩家,在设计自己的爬虫时,要规避的一些隐患和高效方法!

正文:

1.requests堆积的问题:

  • 1.设计一个HTML页面装载一个item：
    • 在Scrapy中设计爬虫时，最好将爬取的数据存储为Scrapy的Item对象，然后在解析页面时将数据填充到Item中。(备注:最好一个html,装一个尽量不要回传,哪怕用meta装载到回调函数里,尽快将item丢出去!!!!)
  • 2.在收到响应后的处理：
    •    - 有效响应： 如果收到有效响应，则立即解析出数据，将数据传递给Item，并将Item传递给管道进行后续处理。(先验证是否有数据,要存数据才实例化item(),否则别创建!!!容易造成item的堆积,增加item的量)
    •    - 无效响应或无有效数据：如果响应为空或者没有有效数据，直接返回一个空列表`[]`。这有助于及时从请求队列中移除对应的request，避免请求堆积。(不返回或者返回None,还会进行后续处理,最直接的就是返回一个[],直接把这个请求给他抹掉;也就是释放得干净!!)

案例:

import scrapy
from scrapy.item import Item, Fieldclass MyItem(Item):data = Field()class MySpider(scrapy.Spider):name = 'my_spider'start_urls = ['http://example.com']def parse(self, response):# 1. 设计一个HTML页面装载一个itemmy_item_1 = MyItem()# 假设爬取的第一个数据在HTML页面中的某个CSS选择器下data_1 = response.css('div.data1::text').get()# 2. 在收到响应后的处理if data_1:# 有效响应：解析出数据，将数据传递给Item，并将Item传递给管道进行后续处理my_item_1['data'] = data_1# 先验证是否有数据，要存数据才实例化item()yield my_item_1else:# 无效响应或无有效数据：返回一个空列表`[]`，从请求队列中移除对应的request，避免请求堆积yield []# 或者直接把请求给抹掉，释放得干净# return# 重复上述过程，设计第二个HTML页面装载另一个itemmy_item_2 = MyItem()data_2 = response.css('div.data2::text').get()if data_2:my_item_2['data'] = data_2yield my_item_2else:yield []# 在这里可以继续处理其他逻辑，或者进行下一步请求# ...

创建了两个 MyItem 对象，分别为 my_item_1 和 my_item_2，通过不同的 CSS 选择器提取数据，然后通过 yield 分别返回这两个 MyItem;

我们刚刚已经把item进行了分化,他可能已经从最开始的1个item,变成了X个;(这样能解决你的request问题,但是会加大你的item问题)

2.item堆积的问题:

在Scrapy中，pipelines是串行处理的。当我们直接将一个包含全部数据的Item传递给pipelines时，整个流程从处理Item数据到存储数据都在为这一个Item服务。为了提高效率，我们可以采用一种巧妙的方式，通过处理多个分化的小Item，从而`间接`实现了并行处理的效果。

为了实现这个思路，我们可以将分化的X个Item，通过(X+1)个pipelines分别进行存储到不同的数据库。这里的(X+1)中的1代表一个专门用于接收Item并快速分发到不同管道的特殊管道。这个设计的目的是减小每个存储管道的负担，降低串行处理的风险，提高整体性能。

举个例子：

  1. 假设有一个Item，存了5条数据，将它直接丢给一个管道，整个流程需要0.5秒。

  2. 如果有5个Item（也是存了5条数据），分别将它们丢给一个专门的“分管的管道A”，那么这个管道最多只需要花费0.05秒便能处理完一条Item的简单分管任务！对于5个Item，总时间为0.25秒。已知每条数据存入数据库的速度是0.1秒（合并了上面的0.5秒，分析+存储），整个流程的时间就是0.25+0.1=0.35秒完成全部5个Item。

同样的存入5条数据，第二种方式是不是更小而轻便地完成了？而且节省了0.15秒的时间。如果是1000个这样的数据存储，我们就节省了150秒；1W个就是25分钟，10W个就是4个多小时！

案例:
import pymongo
import pymysql
from itemadapter import ItemAdapterclass DistributePipeline:def process_item(self, item, spider):# 在这里可以根据实际情况将Item分发到不同的存储管道# 这里简单示例将Item直接返回，实际可根据需要分发到多个不同的管道return itemclass DatabaseAPipeline:def __init__(self, database_uri, collection_name):self.database_uri = database_uriself.collection_name = collection_nameself.client = Noneself.db = None@classmethoddef from_crawler(cls, crawler):settings = crawler.settingsdatabase_uri = settings.get('DATABASE_A_URI')collection_name = settings.get('COLLECTION_NAME_A')return cls(database_uri, collection_name)def open_spider(self, spider):self.client = pymongo.MongoClient(self.database_uri)self.db = self.client.get_database()def close_spider(self, spider):self.client.close()def process_item(self, item, spider):adapter = ItemAdapter(item)data_to_store = adapter.asdict()# 在这里可以根据实际情况将数据存储到不同的数据库self.db[self.collection_name].insert_one(data_to_store)return itemclass DatabaseBPipeline:def __init__(self, database_host, database_user, database_password, database_name):self.database_host = database_hostself.database_user = database_userself.database_password = database_passwordself.database_name = database_nameself.connection = Noneself.cursor = None@classmethoddef from_crawler(cls, crawler):settings = crawler.settingsdatabase_host = settings.get('DATABASE_B_HOST')database_user = settings.get('DATABASE_B_USER')database_password = settings.get('DATABASE_B_PASSWORD')database_name = settings.get('DATABASE_B_NAME')return cls(database_host, database_user, database_password, database_name)def open_spider(self, spider):self.connection = pymysql.connect(host=self.database_host,user=self.database_user,password=self.database_password,database=self.database_name,charset='utf8mb4',cursorclass=pymysql.cursors.DictCursor)self.cursor = self.connection.cursor()def close_spider(self, spider):self.connection.close()def process_item(self, item, spider):adapter = ItemAdapter(item)data_to_store = adapter.asdict()# 在这里可以根据实际情况将数据存储到不同的数据库表sql = "INSERT INTO table_b (field1, field2) VALUES (%s, %s)"self.cursor.execute(sql, (data_to_store['field1'], data_to_store['field2']))self.connection.commit()return item

一个DistributePipeline用于接收Item并快速分发到不同管道，还有两个数据库存储的管道：DatabaseAPipeline和DatabaseBPipeline。根据实际情况调整数据库连接的配置和字段映射!

这种方式的优势在于解决了存储的高并发问题，特别是通过合理使用连接池可以进一步提高数据库操作的效率。

需要注意的是，作为爬虫的主要任务是存储，因此我们可以专注于优化存储的高并发处理(模块化分流)。后续的清洗和分析工作可以通过脚本进行，确保整个爬虫系统高效运行才是王道!!!

总结:

scrapy,就是尽量把每个环节拆开,拆得尽量轻~ 然后,能用并行解决的,坚决不要串行!! 串行绕不过去的,也要想办法把他拆成接近并行!!! 最重要一点,用完就丢(释放!!!!----->关于item释放,我前面文章有Dropitem的说明!)   

最后,你们可以通过今天看到的;对你们的scrapy代码进行重新拆分~ 然后,再用telnet工具检查一下!!

------有收益的,请点赞告诉我!

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/418150.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

也许你需要点实用的-Web前端笔试题

也许你需要点实用的-Web前端笔试题

之前发的一篇博客里没有附上答案，现在有空整理了下发出来，希望能帮助到正在找工作的你，还是那句话：技术只有自己真正理解了才是自己的东西，共勉。 Web前端笔试题 Htmlcss 1.对WEB标准以及w3c的理解与认识。 标签闭合&a…
阅读更多...
前端学习（2080）：计算属性和methods得对比

前端学习（2080）：计算属性和methods得对比

阅读更多...
深度学习的介绍

深度学习的介绍

阅读更多...
HTML5的touch事件

HTML5的touch事件

HTML5中新添加了很多事件，但是由于他们的兼容问题不是很理想，应用实战性不是太强，所以在这里基本省略，咱们只分享应用广泛兼容不错的事件，日后随着兼容情况提升以后再陆续添加分享。今天为大家介绍的事件主要是触摸事件…
阅读更多...
前端学习（2081）：三种方案对比es5没有闭包

前端学习（2081）：三种方案对比es5没有闭包

阅读更多...
神经网络的介绍

神经网络的介绍

对于线性的定义：满足可加性和齐次性。
阅读更多...
iOS 集成银联支付

iOS 集成银联支付

转自：http://www.jianshu.com/p/92d615f78509 当初集成支付宝的时候 觉得见了这么丑的代码 加上这么难找的下载地址 在配上几乎为零的文档 寒哥就要吐血了下午去集成银联 才知道 血吐的早了 下载地址 https://open.unionpay.com/upload/download/Development_kit854…
阅读更多...
前端学习（2082）：const得使用和注意点

前端学习（2082）：const得使用和注意点

阅读更多...
pytorch入门使用

pytorch入门使用

1、创建张量： 2、张量的方法和属性： (1) t1.item()只能用于张量中只有一个数据的情况下获取张量内的值 （2）numpy() 将tensor转换为numpy数组 t2 torch.tensor([[[1, 2]]]) print(t2) print(t2.numpy()) 输出结果：…
阅读更多...
.net core学习

.net core学习

http://www.cnblogs.com/artech/ http://www.blogs8.cn/posts/AA0E630 http://pan.baidu.com/s/1bo4fJ47 http://www.cnblogs.com/dotNETCoreSG/p/aspnetcore-1-getting_started.html转载于:https://www.cnblogs.com/jiangjing/p/5804542.html
阅读更多...
Tomcat中组件的生命周期管理(三)

Tomcat中组件的生命周期管理(三)

本文主要目的是自定义举例分析Catalina内部生命周期管理的运作方式以及拿内部具体源码来具体分析 假设我们有一台电脑由主机(我们用cpu表示）和显示器构成，那么我们要运用上篇文章学到的内容，来管理整个电脑的启动和关闭，先看我们对…
阅读更多...
Python rang()函数

Python rang()函数

返回类型为迭代器 r range(11) print(r) 若输出r中的值，需要调用list(r) print(list(r)) 输出： 方法二: #二： r1 range(1,10) print(list(r1)) 方法三： #三： r2 range(1,10,2) print(list(r2)) 判断某一个数是…
阅读更多...
Python 中的 while循环 和 for... in ...循环

Python 中的 while循环 和 for... in ...循环

for item in Python:print(item, end) print()for item in range(10):print(item, end)# 当不需要自定义变量时候，可以用”_“代替 for _ in range(5) :print(hello world)# 计算累加和 sum 0 for i in range(1,101) :if i%20 :sum i print(sum) While: a 0 while…
阅读更多...
css笔记——css 实现自定义按钮

css笔记——css 实现自定义按钮

css实现自定义按钮的样式实际上很早就有了，只是会用的人不是很多，里面涉及到了最基础的css写法，在火狐中按钮还是会显示出来，这时需要将i标签的背景设置为白色，同时z-index设置比input高一些，这样才可以把按…
阅读更多...
Hibernate中主键生成策略

Hibernate中主键生成策略

主键生成策略 increment identity sequence native uuid assigned 1) increment 由hibernate完成 主键递增， 原理：select max(id) , insert时max(id)1 ，完成主键递增 优点：跨数据库 缺点：多线程并发访问问题&#xff0…
阅读更多...
Python四大金刚之一：列表

Python四大金刚之一：列表

前言 列表中可以存储多个数据类型不同的对象 一个对象的内存空间： 因此一个列表的内存空间为: a 10 lst [hello , a , a ,world] print(lst) print(type(lst)) print(id(lst))print(lst[0] type: , type(lst[0])) 一、列表的创建： 内存示意图: #创建…
阅读更多...
前端学习（2087）：v-on得修饰符使用案例

前端学习（2087）：v-on得修饰符使用案例

阅读更多...
牛客网未通过代码---

牛客网未通过代码---

请实现一个算法，在不使用额外数据结构和储存空间的情况下，翻转一个给定的字符串(可以使用单个过程变量)。 给定一个string iniString，请返回一个string，为翻转后的字符串。保证字符串的长度小于等于5000。 string reverse(string …
阅读更多...
Python四大金刚之二：字典

Python四大金刚之二：字典

引言 列表、字典：可变序列，可以执行增删改排序等 字典：无序的 一、字典的创建 #使用{}创建 scores {张三:100 ,李四:98 ,王麻子:72} print(scores) print(type(scores))#使用内置函数dict() student dict(name jack , age 16) print(st…
阅读更多...
Java 加密 base64 encode

Java 加密 base64 encode

版权声明：本文为博主原创文章，未经博主允许不得转载。 【前言】 计算机中的数据都是二进制的，不管是字符串还是文件，而加密后的也是二进制的， 而我们要看到的往往是字符串，本文就介绍了将byte[]转为各种进制…
阅读更多...
最新文章

Copyright @ 2022~2023