Python爬虫技术系列-03/4flask结合requests测试静态页面和动态页面抓取

python构建web服务

flask内容参考:Flask框架入门教程（非常详细）

flask安装与运行测试

安装flask

pip install flask

创建一个webapp.py文件，内容如下

from flask import Flask# 用当前脚本名称实例化Flask对象，方便flask从该脚本文件中获取需要的内容
app = Flask(__name__)#程序实例需要知道每个url请求所对应的运行代码是谁。
#所以程序中必须要创建一个url请求地址到python运行函数的一个映射。
#处理url和视图函数之间的关系的程序就是"路由"，在Flask中，路由是通过@app.route装饰器(以@开头)来表示的
@app.route("/")
#url映射的函数，要传参则在上述route（路由）中添加参数申明
def index():return "Hello World!"# 直属的第一个作为视图函数被绑定，第二个就是普通函数
# 路由与视图函数需要一一对应
# def not():
#     return "Not Hello World!"# 启动一个本地开发服务器，激活该网页
app.run()

运行代码

 python webapp.py

终端输出如下:

& D:/ProgramData/Anaconda3/envs/py10/python.exe d:/zjdemo/webapp.py* Serving Flask app 'webapp'* Debug mode: off
WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.* Running on http://127.0.0.1:5000
Press CTRL+C to quit
127.0.0.1 - - [20/Nov/2023 08:20:47] "GET / HTTP/1.1" 200 -     
127.0.0.1 - - [20/Nov/2023 08:20:47] "GET /favicon.ico HTTP/1.1" 404 -

在浏览器输入

http://127.0.0.1:5000

返回如下
在这里插入图片描述

flask返回复杂的html字符串

创建webapp_html_str.py文件，代码如下：

from flask import Flask# 用当前脚本名称实例化Flask对象，方便flask从该脚本文件中获取需要的内容
app = Flask(__name__)html_str="""
<!DOCTYPE html>
<html lang="en"><head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title>
</head>
<body><table id="g570b4" border="1"><tr id="g419fe"><th id="g16b02">th标头</th><th id="gaae0b">th标头</th><th id="gd78bc" class=" u5899e">地址</th></tr><tr id="g5af9b"><td id="g920bb">td表格单元</td><td id="g9de93" class=" uab6e6">td表格单元</td><td id="gea8dc">上海浦东虹桥某某小区某某地点</td></tr><tr id="cf47d6" class=" u0cbcd "><td id="c913e3" class=" ud690a ">td表格单元</td><td id="c452e0" class=" uab6e6 ">td表格单元</td><td id="c917b3" class=" u7eb06 ">td表格单元</td></tr><tr id="cba81f" class=" u0cbcd "><td id="c3dae7" class=" ud690a ">td表格单元</td><td id="c7d0f9" class=" uab6e6 ">td表格单元</td><td id="c9fe10" class=" u7eb06 ">td表格单元</td></tr></table><style>.u5899e {width: 162px;}</style>
</body></html>"""#程序实例需要知道每个url请求所对应的运行代码是谁。
#所以程序中必须要创建一个url请求地址到python运行函数的一个映射。
#处理url和视图函数之间的关系的程序就是"路由"，在Flask中，路由是通过@app.route装饰器(以@开头)来表示的
@app.route("/")
#url映射的函数，要传参则在上述route（路由）中添加参数申明
def index():return html_str# 直属的第一个作为视图函数被绑定，第二个就是普通函数
# 路由与视图函数需要一一对应
# def not():
#     return "Not Hello World!"# 启动一个本地开发服务器，激活该网页
app.run()

运行
运行代码

 python webapp.py

在浏览器输入

http://127.0.0.1:5000

返回如下
在这里插入图片描述

flask返回html页面

返回一个静态html页面

在工程目录下，创建一个templates目录，在templates目录创建a.html文件，代码如下:

<!DOCTYPE html>
<html lang="en"><head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title>
</head>
<body><table id="g570b4" border="1"><tr id="g419fe"><th id="g16b02">th标头</th><th id="gaae0b">th标头</th><th id="gd78bc" class=" u5899e">地址</th></tr><tr id="g5af9b"><td id="g920bb">td表格单元</td><td id="g9de93" class=" uab6e6">td表格单元</td><td id="gea8dc">上海浦东虹桥某某小区某某地点</td></tr><tr id="cf47d6" class=" u0cbcd "><td id="c913e3" class=" ud690a ">td表格单元</td><td id="c452e0" class=" uab6e6 ">td表格单元</td><td id="c917b3" class=" u7eb06 ">td表格单元</td></tr><tr id="cba81f" class=" u0cbcd "><td id="c3dae7" class=" ud690a ">td表格单元</td><td id="c7d0f9" class=" uab6e6 ">td表格单元</td><td id="c9fe10" class=" u7eb06 ">td表格单元</td></tr></table><style>.u5899e {width: 162px;}</style>
</body></html>

此时项目结构如下:
在这里插入图片描述

创建webapp_html.py文件，代码如下:

from flask import Flask, render_templateapp = Flask(__name__)# “show”与函数index对应
# 运行index函数返回templates目录下的index.html页面
@app.route("/show")
def index():return render_template("a.html")if __name__ == '__main__':app.run()

运行代码

python webapp_html.py

输出如下:

(py10) PS D:\zjdemo> & D:/ProgramData/Anaconda3/envs/py10/python.exe d:/zjdemo/webapp_html.py* Serving Flask app 'webapp_html'* Debug mode: off
WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.* Running on http://127.0.0.1:5000
Press CTRL+C to quit
127.0.0.1 - - [20/Nov/2023 08:38:23] "GET / HTTP/1.1" 404 -
127.0.0.1 - - [20/Nov/2023 08:38:28] "GET /show HTTP/1.1" 200 -

浏览器输入:

http://127.0.0.1:5000/show

返回如下:
在这里插入图片描述

返回一个动态html页面

在templates目录下创建一个jsdemo.html，代码如下:

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title><style>fieldset,#d1 {padding: 10px;width: 300px;margin: 0 auto;}</style></head>
<body><form id="form1" name="form1" method="post" action=""><fieldset><legend>按时</legend>输入表格的行数:<input type="text" id="row" value="3" placeholder="请输入表格的行数" required autofocus><br>输入表格的列数:<input type="text" id="col" value="5" placeholder="请输入表格的列数" required autofocus><br><input type="button" id="ok" value="产生表格" onclick="createTable()"/></fieldset></form><div id="d1"></div><script type="text/javascript">function createTable(){n=1;var str="<table width='100%' border='1' cellspacing='0' cellpadding='0'><tbody>";var r1=document.getElementById("row").value;var c1=document.getElementById("col").value;for(i=0;i<r1;i++){str=str+"<tr align='center'>";for(j=0;j<c1;j++){str=str+"<td>"+(n++)+"</td>";}str=str+"</tr>";}var d1=document.getElementById("d1");d1.innerHTML=str+"</tbody></table>";}createTable()</script>
</body>
</html>

在webapp_html.py中添加如下代码

@app.route("/jsdemo")
def jsdemo():return render_template("jsdemo.html")

重新启动web服务，运行代码```python
python webapp_html.py

输出如下:

(py10) PS D:\zjdemo> & D:/ProgramData/Anaconda3/envs/py10/python.exe d:/zjdemo/webapp_html.py* Serving Flask app 'webapp_html'* Debug mode: off
WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.* Running on http://127.0.0.1:5000
Press CTRL+C to quit

在浏览器中输入

http://127.0.0.1:5000/jsdemo

返回为:
在这里插入图片描述
在浏览器中输入

http://127.0.0.1:5000/show

返回为:
在这里插入图片描述

通过requests获取静态和动态html页面

创建requestsdemo.py
内容如下:

import requestsurl_one = "http://127.0.0.1:5000/show"
url_two = "http://127.0.0.1:5000/jsdemo"res_one = requests.get(url_one)
print(res_one.content.decode('utf-8'))
print("--------------------------")
res_two = requests.get(url_two)
print(res_two.content.decode('utf-8'))

运行代码，

python .\requestsdemo.py

输出如下

(py10) PS D:\zjdemo> python .\requestsdemo.py
<!DOCTYPE html>
<html lang="en"><head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title>
</head>
<body><table id="g570b4" border="1"><tr id="g419fe"><th id="g16b02">th标头</th><th id="gaae0b">th标头</th><th id="gd78bc" class=" u5899e">地址</th></tr><tr id="g5af9b"><td id="g920bb">td表格单元</td><td id="g9de93" class=" uab6e6">td表格单元</td><td id="gea8dc">上海浦东虹桥某某小区某某地点        </td></tr><tr id="cf47d6" class=" u0cbcd "><td id="c913e3" class=" ud690a ">td表格单元</td><td id="c452e0" class=" uab6e6 ">td表格单元</td><td id="c917b3" class=" u7eb06 ">td表格单元</td></tr><tr id="cba81f" class=" u0cbcd "><td id="c3dae7" class=" ud690a ">td表格单元</td><td id="c7d0f9" class=" uab6e6 ">td表格单元</td><td id="c9fe10" class=" u7eb06 ">td表格单元</td></tr></table><style>.u5899e {width: 162px;}</style>
</body></html>
--------------------------
<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title><style>fieldset,#d1 {padding: 10px;width: 300px;margin: 0 auto;}</style></head>
<body><form id="form1" name="form1" method="post" action="">        <fieldset><legend>按时</legend>输入表格的行数:<input type="text" id="row" value="3" placeholder="请输入表格的行数" required autofocus><br>输入表格的列数:<input type="text" id="col" value="5" placeholder="请输入表格的列数" required autofocus><br><input type="button" id="ok" value="产生表格" onclick="createTable()"/></fieldset></form><div id="d1"></div><script type="text/javascript">function createTable(){n=1;var str="<table width='100%' border='1' cellspacing='0' cellpadding='0'><tbody>";var r1=document.getElementById("row").value;var c1=document.getElementById("col").value;for(i=0;i<r1;i++){str=str+"<tr align='center'>";for(j=0;j<c1;j++){str=str+"<td>"+(n++)+"</td>";}str=str+"</tr>";}var d1=document.getElementById("d1");d1.innerHTML=str+"</tbody></table>";}createTable()</script>
</body>
</html>

可以看见，静态页面的源代码和浏览器渲染后的效果相匹配，但动态页面捕获到的源代码和浏览器渲染后的效果差别较大，无法通过xpath等方法获取数据。

此时工程的完整目录如下:
在这里插入图片描述

备注:html渲染的过程
说说页面渲染的过程
浏览器渲染流程（精讲）

总结

本文主要描述了flask安装与返回静态页面和动态页面的过程，并通过requests库分布爬取静态/动态页面，通过比较可以更清晰的了解页面动态渲染的意义，以及引出selenium库的作用。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/152681.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

OpenHarmony Axios组件使用过程中，Api9不适配问题

OpenHarmony Axios组件使用过程中，Api9不适配问题

大家好&#xff0c;我是【八戒&#xff0c;你又涨价了哎】 以下是我个人在学习OpenHarmony过程中的分享&#xff0c;请大家多多指教 目录 问题描述 解决方法 问题描述 使用axios组件的时候&#xff0c;把应用部署到开发板&#xff0c;提示Api9不适配 解决方法 对这类版本不…
阅读更多...
机器学习模型超参数优化最常用的5个工具包

机器学习模型超参数优化最常用的5个工具包

优化超参数始终是确保模型性能最佳的关键任务。通常&#xff0c;网格搜索、随机搜索和贝叶斯优化等技术是主要使用的方法。 今天分享几个常用于模型超参数优化的 Python 工具包&#xff0c;如下所示&#xff1a; scikit-learn&#xff1a;使用在指定参数值上进行的网格搜索或…
阅读更多...
leetcode每日一题31

leetcode每日一题31

搜索旋转排序数组 那……二分法呗 数组中的数可以相同 比 33. 搜索旋转排序数组 多了一个「有重复元素」&#xff0c;导致无法根据 num > nums[0] 来判断 num 在哪一半&#xff0c;比如 [1,1,1,1,1,2,1,1,1] 旋转数组两头相等&#xff0c;元素 1 可能在左半边可能在右半边 …
阅读更多...
vue2 - SuperMap3D加载基于Nginx服务生成的3DTileset模型切片服务地址

vue2 - SuperMap3D加载基于Nginx服务生成的3DTileset模型切片服务地址

文章目录 🍍开发环境🍉1：nginx发布3Dtileset模型切片服务🍍1.1：准备3DTileset文件🍍1.2：安装nginx服务，配置相关文件1.2.1：下载nginx1.2.2：下载完解压文件如下1.2.3：将3Dtileset模型文件放置 nginx-1.24.0/html/gc 新建文件中如下：1.2.4：配置nginx服务🍉2：…
阅读更多...
基于Docker的安装和配置Canal

基于Docker的安装和配置Canal

基本介绍 Canal介绍&#xff1a;Canal 是用 Java 开发的基于数据库增量日志解析&#xff0c;提供增量数据订阅&消费的中间件&#xff08;数据库同步需要阿里的 Otter 中间件&#xff0c;基于 Canal&#xff09;。 Canal背景&#xff1a;阿里巴巴 B2B 公司&#xff0c;因为…
阅读更多...
AI绘画使用Stable Diffusion（SDXL）绘制三星堆风格的图片

AI绘画使用Stable Diffusion（SDXL）绘制三星堆风格的图片

一、前言 三星堆文化是一种古老的中国文化&#xff0c;它以其精湛的青铜铸造技术闻名&#xff0c;出土文物中最著名的包括青铜面具、青铜人像、金杖、玉器等。这些文物具有独特的艺术风格&#xff0c;显示了高度的工艺水平和复杂的社会结构。 青铜面具的巨大眼睛和突出的颧骨&a…
阅读更多...
【Web】Ctfshow Nodejs刷题记录

【Web】Ctfshow Nodejs刷题记录

目录 ①web334 ②web335 ③web336 ④web337 ⑤web338 ⑥web339 ⑦web340 ⑧web341 ⑨web342-343 ⑩web344 ①web334 进来是一个登录界面 下载附件&#xff0c;简单代码审计 表单传ctfshow 123456即可 ②web335 进来提示 get上传eval参数执行nodejs代码 payload: …
阅读更多...
【力扣面试经典150题】（链表）K 个一组翻转链表

【力扣面试经典150题】（链表）K 个一组翻转链表

题目描述 力扣原文链接 给你链表的头节点 head &#xff0c;每 k 个节点一组进行翻转&#xff0c;请你返回修改后的链表。 k 是一个正整数&#xff0c;它的值小于或等于链表的长度。如果节点总数不是 k 的整数倍&#xff0c;那么请将最后剩余的节点保持原有顺序。 你不能只…
阅读更多...
面试题：设置view点击事件不回调的几种方式和原理

面试题：设置view点击事件不回调的几种方式和原理

如何设置view 点击事件不回调&#xff0c;如何实现&#xff1f;有什么区别&#xff1f; setEnabled(false) 这个方案用于设置view是否可以响应用户的其他交互事件如触摸&#xff0c;轨迹球等。 setClickable(false) 这个方法用于设置view是否可以响应用户的点击事件。 set…
阅读更多...
技术分享 | 如何写好测试用例？

技术分享 | 如何写好测试用例？

对于软件测试工程师来说&#xff0c;设计测试用例和提交缺陷报告是最基本的职业技能。是非常重要的部分。一个好的测试用例能够指示测试人员如何对软件进行测试。在这篇文章中&#xff0c;我们将介绍测试用例设计常用的几种方法&#xff0c;以及如何编写高效的测试用例。 ## 一…
阅读更多...
vue和uni-app的递归组件排坑

vue和uni-app的递归组件排坑

有这样一个数组数据&#xff0c;实际可能有很多级。 tree: [{id: 1,name: 1,children: [{ id: 2, name: 1-1, children: [{id: 7, name: 1-1-1,children: []}]},{ id: 3, name: 1-2 }]},{id: 4,name: 2,children: [{ id: 5, name: 2-1 },{ id: 6, name: 2-2 }]} ]要渲染为下面…
阅读更多...
高教社杯数模竞赛特辑论文篇-2023年C题：基于价格弹性的蔬菜类商品自动定价与补货决策（附获奖论文及Python代码实现）

高教社杯数模竞赛特辑论文篇-2023年C题：基于价格弹性的蔬菜类商品自动定价与补货决策（附获奖论文及Python代码实现）

目录 摘要 一、 问题重述 1 . 1 问题背景 1 . 2 题目信息 1 . 3 待求解问题
阅读更多...
java算法学习索引之二叉树问题

java算法学习索引之二叉树问题

一 分别用递归和非递归方式实现二叉树先序、中序和后序遍历 用递归和非递归方式&#xff0c;分别按照二叉树先序、中序和后序打印所有的节点。我们约定&#xff1a;先序遍历顺序为根、左、右&#xff1b;中序遍历顺序为左、根、右&#xff1b;后序遍历顺序为左、右、根。 递…
阅读更多...
春秋云境靶场CVE-2022-30887漏洞复现(任意文件上传漏洞)

春秋云境靶场CVE-2022-30887漏洞复现(任意文件上传漏洞)

文章目录 前言一、CVE-2022-30887描述和介绍二、CVE-2021-41402漏洞复现1、信息收集2、找可能可以进行任意php代码执行的地方3、漏洞利用找flag 总结 前言 此文章只用于学习和反思巩固渗透测试知识&#xff0c;禁止用于做非法攻击。注意靶场是可以练习的平台&#xff0c;不能随…
阅读更多...
C语言中的指针（上）

C语言中的指针（上）

目录 一、基本概念 1.变量的存储空间 2.定义指针 3.引用与解引用 二、指针的算术运算、类型以及通用指针 1.指针的算数运算 2.指针类型以及通用型指针 三、指向指针的指针&#xff08;pointers to pointers&#xff09; 四、函数传值以及传引用 1.局部变量 2.从存储地…
阅读更多...
IOS输入框聚焦会把内容区域顶起

IOS输入框聚焦会把内容区域顶起

前几天做了一个类似qq布局的h5的聊天界面&#xff0c;输入框固定在最底下。本来初始情况会有默认的两条聊天记录&#xff0c;但是当点击底部的输入框时&#xff0c;输入框聚焦&#xff0c;弹起键盘&#xff0c;然后整个界面就被顶上去了&#xff0c;然后那两条默认的聊天记录也…
阅读更多...
gitlab环境准备

gitlab环境准备

1.准备环境 gitlab只支持linux系统&#xff0c;本人在虚拟机下使用Ubuntu作为操作系统&#xff0c;gitlab镜像要使用和操作系统版本对应的版本&#xff0c;(ubuntu18.04,gitlab-ce_13.2.3-ce.0_amd64 .deb) book100ask:/$ lsb_release -a No LSB modules are available. Dist…
阅读更多...
机器学习二元分类 二元交叉熵 二元分类例子

机器学习二元分类 二元交叉熵 二元分类例子

二元交叉熵损失函数 深度学习中的二元分类损失函数通常采用二元交叉熵&#xff08;Binary Cross-Entropy&#xff09;作为损失函数。 二元交叉熵损失函数的基本公式是&#xff1a; L(y, y_pred) -y * log(y_pred) - (1 - y) * log(1 - y_pred)其中&#xff0c;y是真实标签&…
阅读更多...
【C++11】右值引用使用详解

【C++11】右值引用使用详解

系列文章目录 C11新特性使用详解-持续更新 文章目录 系列文章目录前言一、关联特性1.1 左值/右值 二、使用方法2.1 获得右值引用2.2 对象移动方法2.2.1 移动构造函数/移动赋值运算符2.2.2 标记为noexcept2.2.3 使移动源对象进入是可析构状态 三、使用场景3.1 移动语义3.1 完美…
阅读更多...
中贝通信-603220 三季报分析（20231120）

中贝通信-603220 三季报分析（20231120）

中贝通信-603220 基本情况 公司名称&#xff1a;中贝通信集团股份有限公司 A股简称&#xff1a;中贝通信 成立日期&#xff1a;1999-12-29 上市日期&#xff1a;2018-11-15 所属行业&#xff1a;软件和信息技术服务业 周期性&#xff1a;1 主营业务&#xff1a;通信网络技术服务…
阅读更多...
最新文章

Copyright @ 2022~2023