php curl 模拟多线程,php利用curl 多线程 模拟 并发的详解

php利用curl 多线程 模拟 并发的详解

发布于 2014-12-07 10:17:25 | 265 次阅读 | 评论: 0 | 来源: 网友投递

PHP开源脚本语言PHP(外文名: Hypertext Preprocessor,中文名:“超文本预处理器”)是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点,入门门槛较低,易于学习,使用广泛,主要适用于Web开发领域。PHP的文件后缀名为php。

本文为大家讲解的是php利用curl 多线程 模拟 并发的详解,感兴趣的同学参考下。

首先,先了解下 php中的curl多线程函数:

# curl_multi_add_handle

# curl_multi_close

# curl_multi_exec

# curl_multi_getcontent

# curl_multi_info_read

# curl_multi_init

# curl_multi_remove_handle

# curl_multi_select

一般来说,想到要用这些函数时,目的显然应该是要同时请求多个url,而不是一个一个依次请求,否则不如自己循环去调curl_exec好了。

步骤总结如下:

第一步:调用curl_multi_init

第二步:循环调用curl_multi_add_handle

这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。

第三步:持续调用curl_multi_exec

第四步:根据需要循环调用curl_multi_getcontent获取结果

第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close

第六步:调用curl_multi_close

这里有一个网上找的简单例子,其作者称为dirty的例子,(稍后我会说明为何dirty):

/*

Here's a quick and dirty example for curl-multi from PHP, tested on PHP 5.0.0RC1 CLI / FreeBSD 5.2.1

*/

$connomains = array(

"http://www.cnn.com/",

"http://www.canada.com/",

"http://www.yahoo.com/"

);

$mh = curl_multi_init();

foreach ($connomains as $i => $url) {

$conn[$i]=curl_init($url);

curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);

curl_multi_add_handle ($mh,$conn[$i]);

}

do { $n=curl_multi_exec($mh,$active); } while ($active);

foreach ($connomains as $i => $url) {

$res[$i]=curl_multi_getcontent($conn[$i]);

curl_close($conn[$i]);

}

print_r($res);

整个使用过程差不多就是这样,但是,这个简单代码有个致命弱点,就是在do循环的那段,在整个url请求期间是个死循环,它会轻易导致CPU占用100%。

现在我们来改进它,这里要用到一个几乎没有任何文档的函数curl_multi_select了,虽然C的curl库对select有说明,但是,php里的接口和用法确与C中有不同。

把上面do的那段改成下面这样:

do {

$mrc = curl_multi_exec($mh,$active);

} while ($mrc == CURLM_CALL_MULTI_PERFORM);

while ($active and $mrc == CURLM_OK) {

if (curl_multi_select($mh) != -1) {

do {

$mrc = curl_multi_exec($mh, $active);

} while ($mrc == CURLM_CALL_MULTI_PERFORM);

}

}

因为$active要等全部url数据接受完毕才变成false,所以这里用到了curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,暂时没有数据就进入select阶段,新数据一来就可以被唤醒继续执行。这里的好处就是CPU的无谓消耗没有了。

另外:还有一些细节的地方可能有时候要遇到:

控制每一个请求的超时时间,在curl_multi_add_handle之前通过curl_setopt去做:

curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

判断是否超时了或者其他错误,在curl_multi_getcontent之前用:curl_error($conn[$i]);

这里我只是简单使用上述的dirty的例子(足够用了,并未发现cpu使用100%的情况)。

对“看点”(kandian.com)某一接口模拟并发,功能是向 memcache中读数据并写入数据。因为保密关系,相关数据及结果就不贴出了。

模拟了3次,第一次10线程同时请求1000次,第二次,100线程同时请求1000次,第三次,1000线程同时请求100次(已经相当费劲了,不敢在设置超过1000的多线程)。

看来curl多线程模拟并发还是有一定局限的。

另外还怀疑,可能会因为多线程延迟带来结果的大误差,对比数据发现。在初始化和set所用时间出入不大,差别处在get方法,因此可简单排除这点~~~

相关阅读:

php利用curl 多线程 模拟 并发的详解

PHP Curl多线程原理实例详解

PHP CURL 多线程操作代码实例

PHP实现多线程异步请求的3种方法

php fsockopen中多线程问题的解决办法

PHP+shell实现多线程的方法

如何解决PHP无法实现多线程的问题

PHP安装threads多线程扩展基础教程

php利用curl抓取远程页面内容的示例代码

PHP CURL登录邮箱获取邮箱地址的详解

PHP 异步执行方法,模拟多线程的示例

PHP使用curl实现多线程采集的例子

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/537899.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

新版DAEMON Tools Lite打不开 bin 文件解决方法

DAEMON Tools Lite 支持打开 *.cue 解决方法很简单:将*.bin 重命名为 *.cue 就可以打开

Linux集群架构(LVS DR模式搭建、keepalived + LVS)

为什么80%的码农都做不了架构师?>>> LVS DR模式搭建 准备工作:三台机器 分发器,也叫调度器(简写为dir):192.168.248.128 rs1 :192.168.248.129 rs2 : 192.168.248.130 vip : 192.16…

java手机状态栏圆形图标,android实现状态栏添加图标的函数实例

本文实例讲述了android实现状态栏添加图标的函数。分享给大家供大家参考。具体如下:private void showNotification() {// 创建一个NotificationManager的引用NotificationManager notificationManager (NotificationManager)AutoFile.this.getSystemService(andro…

Windows下SVN回滚到旧版本(TortoiseSVN)

原文地址:https://www.cnblogs.com/tommy-huang/p/4729634.html ---------------------------------------- 当发现新提交的代码有问题,然后想将某个旧的版本作为最新的版本时,可以使用回滚, 操作步骤如下: 1. 签出…

看懂架构设计中的服务隔离

前言 我们在做系统架构设计的时候,经常离不开的一个话题就是进行服务的隔离设计。 那什么是「服务隔离」呢? 顾名思义,它是指将系统按照一定的原则划分为若干个服务模块,各个模块之间相对独立,无强依赖。当有故障发生时…

2018最新苹果APP上架App Store流程(超详细)

内容很丰富,点击查看博文 https://blog.csdn.net/xxw888/article/details/73618837/

[五] JavaIO之InputStream OutputStream简介 方法列表说明

InputStream 和 OutputStream 对于字节流的输入和输出 是作为协议的存在 所以有必要了解下这两个类提供出来的基本约定 这两个类是抽象类,而且基本上没什么实现,都是依赖于子类具体的去实现 但是他是对于其子类 协议纲领一般的存在 了解清楚每一个方法含义,对于后续具体的子类将…

Mysql yum 安装后,一些重要的文件路径

默认配置文件路径: 配置文件:/etc/my.cnf 日志文件:/var/log//var/log/mysqld.log 服务启动脚本:/usr/lib/systemd/system/mysqld.service socket文件:/var/run/mysqld/mysqld.pid #(a)数据库目录 /var/lib/mysql…

mysql双机热备 配置文件,MYSQL 双机热备配置手册()

[原创] MYSQL 双机热备配置手册[原创]http://www.chinaunix.net 作者:squall1 发表于:2007-07-23 19:01:43【发表评论】【查看原文】【存储备份之家讨论区】【关闭】作者:CU-squall发表于:2005年4月18日 8:21 可以不经作者同意自由传播&…

[转]资本经营董事长班告诉你:不只企业有商业模式,个人商业价值更重要

本文转自:http://blog.sina.com.cn/s/blog_181b5b47e0102xz4v.html 东方财智-资本经营董事长班>>> 经营者如何轻松驾驭金融工具为企业发展加速、升级互联网工具实现品牌营销裂变、利用管理工具优化公司内部结构,把握前沿视角,实现快…

CentOS 7添加开机启动服务脚本

原文路径:https://blog.csdn.net/wang123459/article/details/79063703 --------------------------------------------------------- 一、添加开机自启服务 在CentOS 7中添加开机自启服务非常方便,只需要两条命令(以Jenkins为例): system…

php 彩票系统,hsyl12141511 一套完整的PHP版彩票系统 - 下载 - 搜珍网

文件名大小更新时间BOEKJ02017-12-14BOEKJ\.idea02017-12-13BOEKJ\.idea\BOEKJ.iml2812017-04-28BOEKJ\.idea\modules.xml2622017-04-28BOEKJ\.idea\workspace.xml100272017-04-28BOEKJ\String-ext.js10402015-05-30BOEKJ\TianHeng.exe230402015-05-05BOEKJ\config.js309232017…

CPR认证-建材CE认证-305/2011/EU

建材CPR认证 - Regulation (EU) No 305/2011  2011年3月,欧盟颁布了新建筑产品法规RETULATION (EU) No 305/2011 – CPR,并通告了新法规于2013年7月进入强制执行,取代了老CPD指令89/106/EEC。  新的建材CPR认证也是…

python支持复数类型以下什么说法是错误的,【Python】专项练习题(1)

1.python代码如下:foo [1,2]foo1 foofoo.append(3)A.foo 值为[1,2]B.foo 值为[1,2,3]C.foo1 值为[1,2]D.foo1 值为[1,2,3]答案:B D链接:https://www.nowcoder.com/profile/153165401/myFollowings/detail/20055659来源:牛客网2.下列程序打印…

ios10不能定位 window.navigator.geolocation.getCurrentPosition(定位第一节)

原文连接: https://blog.csdn.net/michael_ouyang/article/details/54137709 --------------------------------------------------------- 问题分析: 目前由于许多苹果用户都升级到了iOS系统,苹果的iOS 10已经正式对外推送,…

php网站无法显示,php – 在UTF-8网站上无法正确显示的字符

我已经完成了我能想到的一切,但是在这个网页上没有正确显示特殊字符.例如,在数据库中它是:但在网站上它是:Nouveaux R�alistes这是我检查过的一切……数据库设置为UTF-8:该页面是用NetBeans编写的,文档编码设置为UTF-8&#xff1a…

ios如何获取gps坐标(定位第二节)

原文连接: https://blog.csdn.net/michael_ouyang/article/details/54378338 -------------------------------------------------------------------- 在上一篇文章,解决ios 10不能定位的问题,把navigator.geolocation.getCurrentPosition…

java并发编程——线程池的工作原理与源码解读

2019独角兽企业重金招聘Python工程师标准>>> 线程池的简单介绍 基于多核CPU的发展,使得多线程开发日趋流行。然而线程的创建和销毁,都涉及到系统调用,比较消耗系统资源,所以就引入了线程池技术,避免频繁的线…

php pcre回溯攻击,php preg_match pcre回溯绕过

原理需要知识:正则NFA回溯原理,php的pcre.backtrack_limit设置。正则NFA回溯原理正则表达式是一个可以被"有限状态自动机"接受的语言类。"有限状态自动机",拥有有限数量的状态,每个状态可以迁移到零个或多个状态,输入字串决定执行哪个状态的迁移…