php从网页获得数据,php根据URL获得网页内容

php 中根据url来获得网页内容非常的方便,可以通过系统内置函数file_get_contents(),传入url,即可返回网页的内容,比如获得百度首页的内容代码为:

$html = file_get_contents('http://www.baidu.com/');

echo $html;

就可以显示出百度首页的内容,但是,这个函数不是万能的,因为有些服务器会禁用掉这个函数,或者说这个函数因为没有传给服务器某些必要的参数,而被服务器拒绝响应,举个例子:

$html = file_get_contents('http://www.163.com/');

echo $html;

这个代码就不能得到网易的首页完全的代码,会返回如下的页面,这时我们就需要想其他的办法了。

0818b9ca8b590ca3270a3433284dd417.png

0818b9ca8b590ca3270a3433284dd417.png

这里我们引入php的cURL 库,可以简单和有效地去抓网页。你只需要运行一个脚本,然后分析一下你所抓取的网页,然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,那怕就是简单的获取网页内容,cURL 是一个功能强大的PHP库。使用它首先你得在php的配置文件中开启它,开启的时候,在windows中可能需要一些 dll,这里就不相信介绍了,查看是否开启了curl,可以调用phpinfo();来查看,如果开启了,会在“Loaded Extensions”中显示。

下面给出使用curl获取网页代码的简单例子:

$ch = curl_init();

$timeout = 10; // set to zero for no timeout

curl_setopt ($ch, CURLOPT_URL,'http://www.163.com/');

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36');

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);

$html = curl_exec($ch);

echo $html;

通过这段代码就可以输出网易首页的内容了,这里标记红颜色的代码是关键,因为他模拟了浏览器的agent,这样服务器就会以为它是浏览器去访问的,所以给他返回正确的html.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/542506.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2020知道python语言应用答案_2020知到Python语言应用答案章节期末答案

组合管理理论最早由哈维马科维兹于1962年系统的提出,他开创了对投资进行整体管理的先 公司型基金和契约型基金的区别,下列不包括()。 A.资金的性质B.基金的营运依据C.基 我国(&#…

如何在Bootstrap中使用Jumbotron和页面标头类?

Introduction 介绍 In the previous article, we have learned how Responsive column, Nesting Columns and offset Columns work and how to use them? I hope now, you all are comfortable with the grid system; what is it, how to use it and how we can use it for c…

python中的数字类型格式与运算,python数字数据类型

python数字数据类型1. 数字在我们很小的时候,父母便开始教我们数数,从1数到10,聪明的孩子可以数的更多。python支持3中数值类型整型(int),通常称之为整型或整数,这个概念与我们小学时学过的整数是相同的,py…

getprocaddress得到为0_基于ZU+系列MPSoC芯片的USB3.0/2.0接口硬件设计

本文主要介绍Zynq UltraScale MPSoC系列芯片的USB3.0/2.0接口硬件设计。ZU系列MPSoC要实现USB3.0/2.0的全部功能,需要同时使用MIO和GTR。因为GTR接口中的USB接口只支持USB3.0,对USB2.0的支持需要通过MIO接口外接USB PHY实现。ZU系列MPSoC包括两个USB接口…

如何设置单词第一个字母大写_大写一行中每个单词的第一个和最后一个字母

如何设置单词第一个字母大写Problem statement: 问题陈述: Given an input line, capitalize first and last letter of each word in the given line. Its provided that the input line is in lowercase. 给定输入行, 将给定行中每个单词的第一个和最…

php如何编造简历,在简历里编造内容需要注意哪些问题?

在个人简历里编造内容可得有一定依据才行,总得为自己后期做个准备工作是不是?你编造的东西不只是给企业看一看而已,企业还会对这些内容作出进一步的判断,并且可能就其对你进行提问,如果你答不出来而曝光自己是在欺骗企…

Java LinkedList公共对象pollLast()方法(带示例)

LinkedList公共对象pollLast()方法 (LinkedList public Object pollLast() method) This method is available in package java.util.LinkedList.pollLast(). 软件包java.util.LinkedList.pollLast()中提供了此方法。 This method is used to retrieves the last or ending ele…

python编写学生成绩排序_Python实现按学生年龄排序的实际问题详解

前言 本文主要给大家了关于利用Python按学生年龄排序的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 问题:定义一个Class:包含姓名name、性别gender、年龄age,需要按…

前方危险-让很多“高逼格”高管深刻反思的文章

在很多的时候,现实会让我们每个人迷惑,周边的人和事可以让人极度的膨胀,你可以想吃了迷药一样,分不清是现实还是虚幻。很久以前,在公司的一次会议上,某主管告诉我们说,“他一个同事,…

oracle实例的概念组成,oracle体系结构的两个基本概念:数据库和实例

您可能感兴趣的话题:oracle核心提示:要了解oracle体系结构必须先了解两个基本的概念: 数据库和实例.要了解oracle体系结构必须先了解两个基本的概念: 数据库和实例.一: 数据库数据库(database)是一个数据集合.无论数据库是采用关系结构还是面向对象结构,…

c#二维数据最大最小值_C#| 打印类型,各种数据类型的最大值和最小值

c#二维数据最大最小值In the below example – we are printing types, min value, max value of various data types in C#, like integer data types, floating point data types, Boolean data type, Reference types, Nullable types. 在下面的示例中-我们正在打印C&#x…

自定义taglib引入失败_小程序拼团总失败?看看微信官方和开发者们怎么说

阅读时间:6m最懂小程序生态商业的自媒体可怕... 刚过国庆,南方还在短袖短裙,北方竟然都下雪了!什么叫一天之内感受四季?晓程序观察(yinghoo-tech)的小伙伴们算是深刻体验了,穿着短袖上飞机,抵达…

微信公众平台开发5:翻译功能

思路分析首先对用户发送过来的消息进行判断,判断消息里是否含有“翻译”关键字,如果有,则提取翻译内容,然后调用网络上开放的翻译API 进行翻译。我们用有道翻译API:http://fanyi.youdao.com/openapi?pathdata-mode记下…

Linux之基础I/O

目录 一、C语言中的文件操作 二、系统文件操作I/O 三、文件描述符fd 1、文件描述符的引入 2、对fd的理解 3、文件描述符的分配规则 四、重定向 1、重定向的原理 2、重定向的系统调用dup2 五、Linux下一切皆文件 一、C语言中的文件操作 1、打开和关闭 在C语言的文…

moore和mealy_Mealy机和Moore机的比较研究 目录

moore和mealyFinite automata may also have outputs corresponding to each input symbol. Such finite automata are known as finite automata with the output. 有限自动机还可以具有与每个输入符号相对应的输出。 这种有限自动机称为输出的有限自动机。 There are two fi…

oracle sys连接不上,oracle – 为什么我不能在SYS拥有的对象上创建触发器?

在尝试创建名为ghazal_current_bef_upd_row的触发器时&#xff1a;create trigger ghazal_current_bef_upd_rowbefore update on ghazal_currentfor each rowwhen (new.Rating < old.Rating)begininsert into ghazal_current_audit(GhazalName,Old_Rating,New_Rating)values…

大一python编程题_请教python编程问题(作业就剩这几道题了)

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼1. def cleanword(word):(用Python写出程序&#xff0c;使程序可以通过下面的doctest)""">>> cleanword(what?)what>>> cleanword("now!")now>>> cleanword(?"word!,$…

Linux笔记1-5 --用户

## 1 ## 用户理解用户就是系统使用者的身份在系统中用户存储为若干窜字符若干个系统配置文件用户信息涉及到的系统配置文件&#xff1a;/etc/passwd ###用户信息用户&#xff1a;密码&#xff1a;uid&#xff1a;gid&#xff1a;说明&#xff1a;家目录&#xff1a;用户使用…

python运维开发培训_运维架构师-Python 自动化运维开发-014

运维架构师-Python 自动化运维开发-014九、标准数据类型1、为什么编程语言中要有类型类型有以下几个重要角色&#xff1a;对机器而言&#xff0c;类型描述了内存中的电荷是怎么解释的。对编译器或者解释器而言&#xff0c;类型可以协助确保上面那些电荷、字节在程序的运行中始终…

JavaScript | 演示函数中按值调用的示例

Here, we are designing a function named change() that has an argument and we are trying to change the value of the passed argument inside the function, but it will not effect to the main/actual argument that is passed as the argument while calling. 在这里&…