一套价值十万的微信公众号采集解决方案

 

From:http://www.blog2019.net/post/138

 

原文地址

 

相关阅读:

一套价值十万的微信公众号采集解决方案(免费送)

数据采集采集架构中各模块详细分析

基于大数据平台的互联网数据采集平台基本架构

教你一种1分钟下载1万个网页的方法,你学吗?

uvloop:一个比gevent还要快两倍的 Python 异步网络框架

数据采集中,如何建立一套行之有效的监控体系?

3人团队,如何管理10万采集网站?(最全、最细解读)

爬虫系列之基于XPosed框架的微信公众号采集

 

 

 

 整体概述

 

1.1  编写目的

本文主要用于描述微信采集过程中,各流程节点的解决方案。详细介绍了采集架构、手机号购买注意事项、微信注册注意事项、微信号养号注意事项、公众号采集方式,以及采集过程中遇到的问题等。

 

1.2  整体架构

微信数据采集主要分为四个阶段:

  • 一、采集准备阶段:手机、手机号、XPosed插件、手机支架、HUB集线器、智能插座等;
  • 二、公众号处理阶段:公众号收集、公众号添加、公众号管理等;
  • 三、文章采集阶段:文章链接URL获取、解析、正文分布式采集等;
  • 四、数据存储阶段:文章URL数据、文章正文数据等。

大致框架如下图1-1所示:

 

 

 资源准备

 

微信采集主要需要手机和手机号,但由于需要大批量采集,手机的统一管理尤为重要。所以,同时需要手机支架、HUB集线器及智能插座等辅助设备,同时需要一个6.5~7.8平方米的空间。下面是对各个设备的配置等作以详细的说明。

 

2.1  手机购买

由于使用XPosed插件进行采集,所以对手机本身本身硬件要求较高,为了保证采集正常,手机不出现卡死、假死等现象,需要手机内存最低2G,操作系统版本要求为 Android 5.X及以上版本。同时,为了降低充电的次数,减少电池损耗,尽量选择待机长的机型。综合以上几个因素,手机每台费用在400-600元之间。

注意事项:

最好购买有“永不锁屏”设置的手机,因为在锁屏状态下无法接收到微信公众号自动推送的信息。

 

2.2  号码购买

手机号购买注意事项:

  • 1. 一定要用4G网络,最好用电信号的。
  • 2. 注册手机号不能连号,相邻手机号码之差的绝对值至少大于2000,可相同号段号码不同时间注册降低封号风险。
  • 3. 号码需要不同号段(号码前3位和前7位随机获取),比如:不能全是153的号码,需要153、152、154的都有,前7位举例:1531002***、1531003***,不能全是1531001***的号码
  • 4. 手机号码,不要选 170、 171、149这个些虚拟号段,选传统号段 130、137这些,手机号码最好不要挨着,如果挨着,也没关系。
  • 5. 不要在市面上去买什么免实名卡,0 月租卡,大部分是骗子或者无法长期使用。 
  • 6. 建议买实名电话卡,一个身份证在一家电信业者可办理5卡。

注意事项:

也可以直接购买流量卡。但是如果微信异常或封号,解封没有手机号就比较麻烦了。

 

2.3  手机支架

由于微信采集需要使用大量的手机,且手机需要长时间处于非锁屏状态,需要长时间充电散热封号处理等。所以,手机的统一管理就显得尤为重要。如下图2-1所示(费用782元左右),需要特定的支架,用于安放手机,方便手机的管理、充电、微信号异常(封号)处理等。

 

2.4  HUB集线器

由于整体采集使用的手机较多,每个手机通过独立的插座转接头的方式进行充电、USB链接等比较麻烦,不易于管理。所以,需要使用HUB集线器进行统一管理,如下图2-2、2-3所示,目前,市场上20个USB口的HUB大概在250-400元;30至32个USB口的HUB在400~550元

 

2.5  智能插座

由于采集使用的手机较低端,硬件质量较差,电池使用时间过长或者长期充电,容易导致手机电池鼓包,存在较大的安全隐患。所以,使用智能插座可以在每周的固定时间,统一给手机充电N小时,然后自动断电,依次循环往复。如下图2-3所示。其中智能插座的费用大概在:50~150元之间。

 

2.6  人员需求

需要一名运维人员(可为实习生)专门负责采集监控、手机监控、微信号监控、微信号解封等。

 

 

公众号采集

 

3.1 监测范围

根据目前了解到的市面上微信采集情况,一个比较完善微信采集平台,每天需要处理的大概任务量如下所示:

  • ① 每天活跃的公众号数:45-50万/天
  • ② 每天的文章总量:90-110万篇/天
  • ③ 每天的点赞阅读数:30万次/天
  • ④ 每天的评论总数:30万条/天
  • ⑤ 每天新增公众号总数:5000个/天

每个微信号最多只能关注1000个公众号。所以,需要450~500个微信号。微信一般的封号概率在20%左右,为了保证采集的稳定性,需要多出100个左右的微信号作为备用

 

 

3.2 采集方式

 

3.2.1 目前情况

目前微信采集主要有以下三种方式:

  • (一)通过微信PC版采集,在电脑正常登陆微信PC版后,通过模拟鼠标键盘操作的方式来进行采集。该方式硬件投入较大
  • (二)通过微信网页版采集,直接调用程序扫码登录微信网页版,登录后,微信关注的微信公众号,有新的信息推送到微信时,程序会自动获取推送信息。该方式下微信连接容易中断,无法保证采集的稳定性
  • (三)直接通过VirtualXposed监控微信。这种方式是程序直接装在手机上,自动拦截推送的信息。通过分析拦截的数据包,解析出有用的数据。该方式成本相对较低,且稳定性较好

经过各方面比对,最终选取第三种方式,也就是直接通过VirtualXposed监控微信APP发出和接收的所有请求数据包,对其进行解析,分析出符合要求的文章链接。

 

3.2.2 备用方案

由于使用VirtualXposed拦截微信推送信息的方式,会对微信客户端进行篡

改,腾讯有可能升级技术,导致VirtualXposed插件无法再使用。或者,腾讯能通过技术准确的检测手机是否安装了VirtualXposed插件,从而大量封号,导致采集无法稳定进行。目前了解到的可行的备用方案有以下几种方式:

(一)使用3.2.1中的第二种方式。该种方式需要微信号在2017年10月份以前注册,否则无法登陆网页版;

(二)使用 AnyProxy 抓包的方式。该种方式对技术要求较高,目前尚未进行详细的测试。

 

 

3.3 采集流程

微信采集整体流程如下图3-1所示:

其中主要分为三部分:

  • 1) 公众号的收集与添加;
  • 2) 文章URL获取与解析;
  • 3) 正文分布式采集;

 

3.3.1 公众号收集与添加

公众号收集可以通过以下步骤进行处理:

  • 1) 遍历ES中八友历史数据,解析文章正文中存在的公众号信息,并保存数据;
  • 2) 根据项目关键词,通过搜狗微信公众号搜索,进行搜索解析并保存入库;
  • 3) 特殊需求的公众号由各个项目自行提供;

 微信公众号添加详见4.3节。

 

3.3.2 文章URL获取与解析

微信文章 URL 处理流程如下图3-2所示:

 

3.3.3 正文采集

文章正文处理流程如下图3-3所示:

 

 

3.4 数据存储

 

微信采集过程中的数据存储主要分为三块,一是微信号和公众号的存储;二是公众号文章列表的存储;三是文章正文信息的存储。各个模块的存储详见下述介绍。

 

3.4.1 微信号存储

字段名称

类型

长度

为空

备注

id

int

11

NO

 主键id

webchat_mobile_code

int

11

NO

手机号

webchat_mobile_user

String

20

NO

手机号所属人

webchat_mobile

int

1

NO3

运营商;1:联通;2:移动;3:电信

webchat_mobile_purchase

String

10

YES

购买日期;yyyy-MM-dd

webchat_code

String

100

NO

微信号

webchat_nk

String

100

NO

昵称

webchat_passw

String

50

YES

微信密码

wechat_attiones

int

4

NO

关注公众号数量

webchat_mark

String

255

YES

说明

3.4.2 公众号存储

字段名称

类型

长度

为空

备注

id

int

11

NO

 

wechat_name

varchar

50

NO

微信号名称

wechat_code

varchar

60

NO

微信号

wechat_index_url

varchar

200

YES

个人首页链接

webchat_biz

varchar

50

NO

biz用户唯一标识

webchat_id

int

11

YES

微信账号表ID

3.4.3 文章URL存储

在每个微信关注的公众号推送文章后,通过手机中安装的VirtualXposed插件,获取接收到的数据包,然后把数据包+手机号,一同发送到Redis接口,接口对数据包进行解析,把文章URL数据存放到Redis集群中。

根据八友微信接口每日的数据量分析,微信全量采集时需要处理的比较活跃的公众号40~50万个,每天文章量80~120万左右。为了便于管理,计划在Redis集群中,每天生成一个hash类型的缓存表,表名格式为:WeChat_yyyyMMdd,其中数据格式为key=URL,value=当前添加时间。如下图3-4所示

 

3.4.4 采集历史记录存储

微信文章通过分布式方式进行,每个采集脚本请求Redis接口服务,获取一定量的文章URL,然后采集正文,推送到kafka中。同时,请求过的URL信息,Redis接口会把信息从WeChat_yyyyMMdd缓存中删除,并保存到采集历史缓存中。hash类型的缓存表表名格式为:WeChat_History_yyyyMMdd,如下图3-2所示。其中key=URL,value=请求时的当前系统时间。如下图3-5所示

 

 

3.5 采集监控

 

整个采集流程中需要监控的节点主要为:XPosed插件;Redis接口服务接收和解析、入库;正文采集(源码获取、解析,kafka推送)。具体处理如下:

 

3.5.1 XPosed监控

主要分为两部分,一是XPosed插件自身的监控,防止长时间运行导致死机等;二是XPosed数据包发送。

  • XPosed插件:自身缺陷机长时间运行,导致的死机等现象,目前尚未找到好的处理方式,只能通过重启插件或手机;
  • XPosed数据包:数据包异常主要体现在调用Redis集群接口服务时,需要在接口服务异常的情况下,把获取到的数据推送到数据库或写到文件里,当接口服务正常时重新发送。

 

3.5.2 Redis接口服务监控

主要监控XPosed数据包解析和保存另两个步骤,在出现异常时把数据写到本地文件,待正常时重新进行二次处理。

 

3.5.3 正文采集监控

正文采集监控点主要包括:已采集URL记录、正文源码下载、正文解析,以及信息推送kafka等四部分。

  • ① 已采集URL记录在历史信息表中,保留一个月,用于对采集异常的追溯;
  • ② 正文源码下载:记录请求状态码;
  • ③ 正文解析:记录解析状态;0:成功;1:失败;
  • ④ 信息推送:推送异常数据保存在本地文件,待服务正常时进行二次推送。如果一条信息推送三次均未成功,则表示推送失败,同时删除内容。

同时,需要监控服务器IP被封的情况;

 

3.5.4 新增公众号监控

目前有些网站有公众号的搜索功能,前期可以使用项目相关的关键词在这些网站上进行搜索,获取部分新注册的公众号。搜索平台如下表3-1:

网站名称

链接

备注

搜狗微信公众号搜索

http://weixin.sogou.com/weixin?type=1&query=%E9%93%B6%E8%A1%8C&ie=utf8&s_from=input&_sug_=y&_sug_type_=

 

推信网微信公众号推荐

http://www.tuixinwang.cn/so.aspx?wd=%e9%87%91%e8%9e%8d&t=weixin&p=16

 

聚微信

https://www.juweixin.com/weixin/index/0/1?a=1&per_page=1540

 

表 3-1

 

 

 采集运维管理

微信公众号数据的采集运维工作,主要体现在微信号的注册、养号、解封等工作上,至于微信文章的采集,基于现有的服务器,使用分布式可以较容易的进行处理。在微信号前期注册和养号期间,计划分配到数据管理中心各人员,作为一个KPI加分指标。由各人员在家中或者上下班路上,进行微信号注册、养号(发朋友圈、点赞、聊天)等。

 

4.1  微信注册

由于微信号的监管逐步加强,新注册的微信号被封的概率较大,所以微信号在注册时需要追寻一定的规则,具体注意事项如下:

  • ① 注册请用官微,不要用那些多开软件注册
  • ② 使用4G网络,千万不要用wifi,不要开GPS。同一个Wifi或GPS多个微信号注册,相当容易被封号的。
  • ③ 每个手机必须提前存3-5个手机号进去,注册成功的时候,可以直接加上微信好友
  • ④ 选择不同位置注册,可使用不同出行方式(公交、地铁、步行),每次注册的距离大于1.5km,每次注册间隔时间大于10分钟,最好分开时间段注册,尽量一批号不要是同一天,最好是分散到 3-5 天注册完成。
  • ⑤ 注册时如果5分钟之内收不到验证码,先暂停该号码注册,不要频繁发送验证码
  • ⑥ 随意关注几个公众号(搜索微信安全中心、京东、爱奇艺搞笑等公众账号)
  • ⑦ 注册后一定先自己任意使用微信,之后注册其他号完成后也要使用一下之前注册的微信
  • ⑧ 注册之后不能将手机关闭
  • ⑨ 新微信号注册,密码不要一样。建议采用:相同字符+手机号的形式,也比较容易记。
  • ⑩ 个人资料的地区一定不要填写,因为一点开就开始获取位置了,这个记录宁可不让微信知道。个人资料不要一次性全部填完,每天填一点,分批填写,可以增加活跃的权重。
  • ⑪  设置头像,注意,头像图片必须每张都不一样,如果一定需要设置同样的头像,请通过制图软件修改图片的大小,亮度等,另存成不同的图片,这样对于微信系统来说,可以绕过一定的检测。
  • ⑫ 名字最好多个号都不一样 。

注意事项:

现在有专门卖微信号,买回来以后就可以使用,不过为了安全起见,还是建议登录一周,期间发一些朋友圈,或加一些微信,每天随便聊几句,这样可以降低异常概率

 

4.3  公众号添加

由于每个微信号每天最多只能关注40-50个公众号,同时为了保证微信号的稳定性(不被封号),需要公众号的添加分布在不同时间、不同地点。可以所有采集相关人员参与,同时根据实际情况做出相应的奖罚。

具体实施步骤如下:

  • (1) 根据手机编号,把每一部手机分配到人;
  • (2) 根据时间节点,合理安排每人每日需要处理的微信号(每天5台 /人)
  • (3) 通过自动脚本,给每个人当天负责的每个微信号上,通过聊天的方式,给每个微信号发送需要关注的40~50个公众号文章;
  • (4) 相关人员在办公室(尽量少)、上下班或者家中,添加微信接收到的文章的公众号为关注;

按上述方式,每天可以添加公众号:2400~3000个5(台/人·天)*40~50(公众号)*12(总人数)】。40~50万个公众号最快需要123个工作日,

可以通过奖惩的方式,鼓励相关人员进行处理,加快进度。具体如下:

  • ① 每周每人需正常关注1200个,每多关注1000个奖励200元。
  • ② 如果未达到正常关注数量,当月考核降一级。

 

 

4.4   微信号解封

 

4.4.1 导致封号的情况

  • ① 平时微信会封禁的账户类型(诈骗,色情营销,吸粉账号等)。
  • ② 添加好友过于频繁,尤其是新号,必封!
  • ③ 微信信息发布中出现累计超过10次的敏感词语,包含:支付宝、银行、银行卡、汇款、打款、打钱、帐号、帐户、转帐、网银、多少钱、怎么卖、价格”会被封号,或提醒账号有风险(解决方案:信息发布中,不要包含有和钱有关的字语)
  • ④ 微信发送的内容被好友举报。 一般是2-5人的举报就会封号。
  • ⑤ 频繁更换账号登陆,或是同一个账号频繁在不同的手机上登陆。
  • ⑥ 传播色情,暴利,反动,辱骂、QQ号码、手机号码、广告类网址等信息,被发现就会封号
  • ⑦ 手机上安装了 Xposed 、Magisk 框架(激活或者未激活)的用户
  • ⑧ 一部分只 ROOT 手机的用户(存疑)和使用越狱后 iOS 的用户。
  • ⑨ 使用手机自带/第三方的微信分身功能同时使用多个微信账户。
  • ⑩ 少部分什么都没装无辜躺枪的 Play 商店版微信用户。
  • ⑪ 在多开上注册的微信账号。
  • ⑫ 在聊天过程中频繁使用一些敏感词汇(如:转账、付款、色情等词)。

 

4.4.2 微信号解封

  • ① 永久封号的,可以注销手机号重新申请;
  • ② 临时封号,使用微信的自助解封功能进行处理;

 

4.5  采集部署管理

由于微信采集需要大批量的手机作为支撑。为了保证采集的稳定性,以及手机的安全性(主要为手机电池),手机的统一管理极为重要。主要通过以下步骤来方便实现统一管理:

 

4.5.1 手机支架管理

购买统一手机支架:要求手机支架稳定、利于手机散热、充电、拿取等;如下图4-1

同时对手机支架进行编号:

  • ① 对每个手机支架进行编号;
  • ② 对每个支架的每层进行编号;
  • ③ 对每层每个手机位进行编号;

 

4.5.2 手机管理

主要是对手机进行编号,分为以下几步:

  • ① 把购买的手机号添加到信源系统的微信号管理功能下;
  • ② 手机编号规则:手机支架编号+每层编号+手机位编号+信源系统中手机号ID,作为每个手机的编号;

对手机支架和手机进行编号以后,在每个支架、支架每层、每个手机位上贴上相应的标签;然后,根据规则生成手机编号,贴于手机背部。最终效果类似下图4-2

 

4.5.3 手机群控管理

手机群系统,内部是套软件,外部是一台电脑和多个手机,逻辑是模拟手机的人工操作,使用手机自己的流量,不容易被封号。方便养号、解封等操作,群控软件效果如下图4-3、4-4所示:

 

手机群控软件(Total Control)报价如下:

项目

官方价格

多设备控制 (10)

¥260/年

多设备控制 (20)

¥540/年

多设备控制 (30)

¥800/年

多设备控制 (50) (40)

¥1400/年 (¥1600/年)

多设备控制 (70) (60)

¥2800/年 (¥3200/年)

多设备控制 (100)

¥4460/年 (¥5000/年)

Total Control有以下主要特点:

  • ① 无需手机root;
  • ② 只适用于Android 4.0以上;
  • ③ 可将手机自定义分组,分组控制/执行各种任务;
  • ④ 消息集中管理;

 

4.6  运维工具开发

 

4.6.1  自动聊天工具

主要用于在公众号添加阶段,给每个手机发送待关注的公众号文章,方便相关人员进行公众号的关注;

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/495451.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2018 年全球人工智能与机器人峰会将在深圳举办

来源:雷锋网摘要:第三届 CCF-GAIR —— 2018 年全球人工智能与机器人峰会,深圳,2018 年 6 月 29 日至 7 月 1 日。2018 年,AI 学术界与工业界的核心议题已演变为“基础理论技术创新”和“行业解决方案落地”&#xff0…

Grafana 使用教程 --- 开源的度量分析与可视化套件

原文链接:https://blog.csdn.net/bbwangj/article/details/81109615 Linux下使用GrafanaInfluxDBMongoDB实现爬虫可视化动态监控【附代码及详细教程】 https://www.jianshu.com/p/9de223e05a5e Grafana是一个开源的度量分析与可视化套件。经常被用作基础设施的时间…

美国重夺超算“头把交椅”,专家建议中国加快E级超算研制

“顶点”超算 橡树岭国家实验室网站图来源:科技日报摘要:美国能源部下属橡树岭国家实验室6月8日正式宣布,已研发出被命名为“顶点”的超级计算机。美国能源部下属橡树岭国家实验室6月8日正式宣布,已研发出被命名为“顶点”的超级计…

安卓逆向_9 --- log 插桩、Toast 弹窗、smali代码编写和植入 ( 好搜小说 )

From:https://www.bilibili.com/video/BV1UE411A7rW?p36 如果仅仅用 Smali 来分析代码,效果其实不如用 dex2jar 和 jd-gui 更直观,毕竟看反编译的 java 代码要更容易一些。 但 Smali 强大之处就是可以随心所欲的进行插桩操作。何为插桩&…

智能哲学:“学习机器”与“机器学习” ——解读图灵思想中的人工智能

周剑铭,自由学者。研究方向为中西文化比较研究,智能哲学,算法、不确定性和不确定性问题(NP)理论。柳渝,法国儒勒凡尔纳公立综合大学计算机(Dpartement Informatique, UFR des Sciences, Universit de Picardie Jules V…

安卓逆向_10 --- Log 日志的插入和分析、toast方法、栈跟踪

From:https://blog.csdn.net/weixin_42680210/article/details/90384358 在安卓逆向中,常常用到 栈跟踪、toast方法、Log日志的插入 等,以便于我们更好的分析代码,下面就演示下这三个方法的使用及简单的分析。。。 1. 插入 Log 信…

事实--思维导图笔记

事实--思维导图笔记 https://www.processon.com/view/5d330846e4b058ef96ae5529?fromnew1#map 完整版

未来20年内,无人驾驶将颠覆这33大行业

来源:智车科技在未来的20年里,无人驾驶汽车将在美国广泛使用,这几乎是必然的。包括谷歌、苹果和梅赛德斯-奔驰在内的二十多家大型企业都在努力打造自己的无人驾驶汽车品牌。特斯拉的Model S已经推出了一种可以在高速公路上形式的无人驾驶车型…

安卓逆向_11 --- methodprofiling(方法分析)【在 smali 代码中打印信息 --- 协议分析常用】

From【修改 smali 代码打印信息】:https://www.bilibili.com/video/BV1UE411A7rW?p38 【Android】开发优化之 --- 调优工具:TrackView、Method Profiling:https://blog.csdn.net/fcly2013/article/details/38080333 TrackView、Method Prof…

Getting Started with Google Guava--思维导图笔记

Getting Started with Google Guava--思维导图笔记 分享地址:https://www.processon.com/view/link/5d413527e4b020861117eb7b

德国科学院院士:传统企业寻求变革,向智能制造靠近

来源:亿欧摘要:中新人工智能高峰论坛上,德国科学院院士汉斯乌思克尔特详细介绍了AI在工业上的概念和具体运用案例。他把“AI工业”原理分为三层,由内到外分别是:生产层、运行层和数据结合层。经由这三层,智…

安卓逆向_12 --- jeb工具的使用 ( 动态调试 smali 代码 【 普通调试 和 debug调试 】)

From:https://www.52pojie.cn/forum.php?modviewthread&tid742250 jeb 动态调试 smali 代码:https://www.bilibili.com/video/BV1UE411A7rW?p39 使用 JEB 调试 Android App:https://www.jianshu.com/p/a1a7cf687cd2 了解 JEB 和 IDA 使…

Hamcrest总结--思维导图

来源:https://blog.csdn.net/neven7/article/details/42489723 思维导图:https://www.processon.com/view/link/5da81f53e4b09df55016b55d

机器学习应用的未来是什么?微型化

作者 | Pete Warden编译 | 专知翻译 | Yongxi, Huaiwen数据科学家,Jetpac 公司CTO Pete Warden发表了一篇博文,详细阐述了微型化是机器学习应用的一条出路,并且相信机器学习可以在微小的、低功耗的芯片上运行,利用深度学习可以做到…

Python 爬虫 性能 相关( asyncio 模块 --- 高性能爬虫 )

From:https://www.cnblogs.com/bravexz/p/7741633.html 爬虫应用 asyncio 模块 ( 高性能爬虫 ):https://www.cnblogs.com/morgana/p/8495555.html python异步编程之asyncio(百万并发):https://www.cnblogs.com/shenh…

“反机器学习”:人工智能突破的关键是“遗忘”

来源:36Kr摘要:人工智能越来越频繁地出现在人们的生活中,而其技术上的重大进步仍然不曾明朗。本文作者Natalie Fratto在“Machine Un-Learning: Why Forgetting Might Be the Key to AI”一文中讲述了实现人工智能战略性遗忘的三个方法。让我…

打造一个宇宙 星系模拟产生对宇宙进化惊人见解

图片来源:TNG COLLABORATION来源:中国科学报摘要:研究人员不断发展宇宙模型,并借此发现新的宇宙理论。美国加州理工学院理论物理学家Philip Hopkins喜欢跟他的同事恶作剧。作为模拟星系形成的专家,Hopkins有时会在演讲…

Scrapy 性能

参考:https://blog.csdn.net/s150503/article/details/72571680 CONCURRENT_REQUESTS 与 DOWNLOAD_DELAY Scrapy 中 CONCURRENT_REQUESTS 与 DOWNLOAD_DELAY 的联系,先建立一个项目来找CONCURRENT_REQUESTS与DOWNLOAD_DELAY的联系 以豆瓣电影top250 为例…

5G 发展报告:以四项技术为基础,广泛应用还需十年

来源:36Kr摘要:近年来,在5G领域的竞争非常激烈。但5G的部署与应用到底是一个什么样的过程?人们到底需要多久才能普遍用上5G技术?日前,CB Insights发表了一篇报告,在对无线技术的背景进行研究的基…

33个优秀的 jQuery 图片展示插件分享

这篇文章收集了33个优秀的 jQuery 图片插件分享给大家。jQuery 是一个非常优秀的 JavaScript 框架,使用简单灵活,同时还有许多成熟的插件可供选择,其中最令人印象深刻的应用之一就是对图片的处理,它可以让帮助你在你的项目中加入一…