Python网络爬虫5-实战网页爬取

1.需求背景

在上一篇Python网络爬虫4-实战爬取pdf中,以松下品牌说明书为例说明了网页爬取PDF的分析流程。在实际的应用中,具体代码需要根据不同的网址情况和需求进行更改。
明确要求
此次,想要爬取苏泊尔品牌下的说明书pdf,同时我们希望每个pdf都有相应的型号说明,并将对应关系存储在excel表格中。

网站分析
苏泊尔产品说明书官网链接
这里以智能电炖锅为例
在这里插入图片描述
非常幸运,这个网站的pdf链接直接暴露在开发者模式中,没有进行封装,所以我们可以直接使用BeautifulSoup和requests直接获取data-href属性的<a>标签就可以得到pdf链接。

第二个需求,保存pdf对应的产品型号,我们看到网站每个型号是有对应的文字说明的,所以我们要获取其中的文字。

在这里插入图片描述
如图所示,点击1,然后点击文字,就可以在下方定位出文字。可以看到,文字和链接都在一个bin中,<div class="words">
所以可以先找到所有的class=words的div标签,再定位文字和链接。

第三:电炖锅只有一页,如果多页如何实现,以及如何直接爬取所有类别。
电饭煲为例,观察网站的规律
https://www.supor.com.cn/other/manualgoodscategorysearch?ctype=2443---->第一页
https://www.supor.com.cn/other/manualgoodscategorysearch/2.html?ctype=2443—>第二页
https://www.supor.com.cn/other/manualgoodscategorysearch/17.html?ctype=2443—>第十七页
for循环,页用变量代替

不同类别又该如何统一实现:
也是观察网站规律,不同类别是有对应ctype的。
ctype=2443—>电饭煲
ctype= 2441–>智能电炖锅

(小白一个,这种办法对我来说是最高效的,如果模拟用户点击,获取每一个大类如电饭煲,获取完之后,切换窗口,再去点击第二个大类电炖锅,对我来说更为复杂,出错率也更高,欢迎大家尝试此种方法,可以在评论区告诉我哦~)

2.代码具体实现

首先实现某一页pdf和文本说明的功能,为了存储所有的文字信息,定义一个类或者全局变量

class Subo():def __init__(self):self.res=[]def get_suboer_pdf(self,url,output_dir):# print(url)# # 发送HTTP请求获取页面内容response = requests.get(url)# 如果请求失败,则抛出HTTPError异常response.raise_for_status()# # 使用BeautifulSoup解析HTML内容soup = BeautifulSoup(response.text, 'html.parser')try:# 首先找到某一个类别,包括href和文字信息,class=wordshang_pins = soup.find_all('div', {'class': 'words'})# 对每一个类别进行提取文字和对应的href链接for shang_pin in shang_pins:one_mes = []  # 存储信息# 查找class为"ft16 tits"的div元素的文本内容tits = shang_pin.find('div', {'class': 'ft16 tits'}).get_text(strip=True)# 查找class为"txts ft16"的div元素的文本内容txt = shang_pin.find('div', {'class': 'txts ft16'}).get_text(strip=True)con=tits+txtone_mes.append(con)# pdf在data-href。查找所有带有data-href属性的<a>标签file_link = shang_pin.find('a', attrs={'data-href': True})['data-href']one_mes.append(file_link)filename = con+".pdf"# 将文件保存到本地response = requests.get(file_link, stream=True)response.raise_for_status()with open(os.path.join(output_dir, filename), 'wb') as f:for chunk in response.iter_content(1024):f.write(chunk)print(f'Downloaded: {filename}')one_mes.append(filename)self.res.append(one_mes)except:pass

因为采用了上述说明的方法,所以前期信息准备比较多,需要获取你要爬取的电器类别的网址(ctype)和页数。这里采用字典进行存储,如下形式:


if __name__=="__main__":mapping = {2441: {'name': '智能电炖锅', 'page': 1},2442: {'name': '电压力锅', 'page': 12},2443: {'name': '电饭煲', 'page': 17},}suboer=Subo()out_path = './suboer'save_folder = './suboer.xlsx'for idx in mapping.keys():name = mapping[idx]['name']page = mapping[idx]['page']print('{}-{}-{}'.format(idx, name, page))# 不同类别分别进行存储到不同文件夹output_dir = os.path.join(out_path, name)if not os.path.exists(output_dir):os.makedirs(output_dir)for i in range(1, page+1):# 第一页和之后的格式不一样,这是一页if i==1:url = 'https://www.supor.com.cn/other/manualgoodscategorysearch?ctype={}'.format(idx)one_mes=suboer.get_suboer_pdf(url, output_dir)print("finish page {}".format(i))else:url = 'https://www.supor.com.cn/other/manualgoodscategorysearch/{}.html?ctype={}'.format(i, idx)one_mes=suboer.get_suboer_pdf(url, output_dir)print("finish page {}".format(i))print("--------------------{}结束-------------------------".format(name))data=suboer.resdf = pd.DataFrame(data, columns=['电器类别', '说明书链接', '文件名称'])df.to_excel(save_folder, index=False, sheet_name='匹配结果')print("------------------保存完成------------------")

程序运行结果:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.总结

网站比较友好,直接暴露pdf链接,不需要模拟用户点击。同时也利用网址特点进行爬取,具体情况需要具体分析。学习到了提取更多信息文字,对应存储到excel中。存储链接之后,可以直接利用链接进行下载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/852005.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开源大模型与闭源大模型浅析

引言 技术发展背景 早期语言模型 预训练与微调的范式 开源与闭源模型的兴起 当前的技术前沿 未来发展趋势 开源大模型的特点与优势 技术共享与创新加速 成本效益 社区驱动的发展 透明度和可审计性 促进教育与人才培养 灵活性和自定义 闭源大模型的特点与优势 商…

线性表-链表

前言 内存空间是所有程序的公共资源&#xff0c;在一个复杂的系统运行环境下&#xff0c;空闲的内存空间可能散落在内存各处。我们知道&#xff0c;存储数组的内存空间必须是连续的&#xff0c;而当数组非常大时&#xff0c;内存可能无法提供如此大的连续空间。此时链表的灵活…

【第5章】Vue之API风格

文章目录 前言一、选项式 API&#xff08;Options API&#xff09;1. 代码2. 效果 二、组合式 API&#xff08;Composition API&#xff09;1. 代码2. 效果 三、两者之间的区别总结 前言 Vue.js 提供了两种主要的 API 风格来组织组件的代码&#xff1a;选项式 API&#xff08;…

ios描述文件.mobileprovision 如何查看包含的设备 udid|IPA查看是否包含设备 UDID|轻松签查看证书是否包含自己设备 UDID

前言 之前蒲公英支持上传证书查看证书有效期和包含设备 【干货】IOS苹果P12证书有效性检测 及查看证书是否包含自己的设备 【干货】IOS苹果P12证书有效性检测 及查看证书是否包含自己的设备 - 路灯IT技术博客 - 后厂村路灯 如今蒲公英下架了该功能&#xff0c;已经没有证书检…

新等保2.0防护体系方案

等保2.0防护体系 吉祥学安全知识星球&#x1f517;除了包含技术干货&#xff1a;Java代码审计、web安全、应急响应等&#xff0c;还包含了安全中常见的售前护网案例、售前方案、ppt等&#xff0c;同时也有面向学生的网络安全面试、护网面试等。 最近在写一些咨询相关的材料&…

计算机网络(6) TCP协议

TCP&#xff08;Transmission Control Protocol&#xff0c;传输控制协议&#xff09;是互联网协议套件中一种核心协议。它提供面向连接的、可靠的字节流传输服务&#xff0c;确保数据从一端正确无误地传输到另一端。TCP的主要特点包括&#xff1a; 可靠性&#xff1a;TCP使用…

返回值返回引用返回指针之间的区别

一、返回值 当函数返回一个值时&#xff0c;实际返回的是一个变量的拷贝。 优点&#xff1a; 简单易用&#xff1b;安全&#xff0c;不会导致悬挂指针或悬挂引用&#xff1b; 缺点&#xff1a; 当返回值是一个较大的对象时会产生拷贝开销&#xff0c;影响程序性能&#xf…

PHP聚合通多平台支付平台源码

源码介绍 php聚合通多平台支付平台源码&#xff0c;源码搭建了一下&#xff0c;这个源码不复杂&#xff0c;修改一下数据库账号密码然后导入数据库就可以&#xff0c;和网站恢复备份一样简单&#xff01; 源码截图 源码下载 PHP聚合通多平台支付平台源码

Android 调用系统相册、系统相机拍照

Android 调用系统相册、系统相机拍照工具类 第一步(准备工作)&#xff1a;设置文件共享 1.1、指定 FileProvider 新建FileProvider类&#xff0c;名字随意&#xff0c;继承自FileProvider public class MainFileProvider extends FileProvider { }1.2 、清单中添加FileProv…

【小白专用 已验证24.6.7】C# MySQL数据库访问操作封装类

一、底层库介绍 本文主要介绍数据库访问操作类&#xff0c;包含&#xff1a;SQL插入脚本、SQL查询脚本、数据库表是否存在判断、带参脚本执行、包含事务回滚脚本执行、存储过程脚本等等。 特殊说明 在使用之前&#xff0c;先安装 MySql.Data 插件 二、底层库源码 2.1 程序源…

C++ 24 之 拷贝构造函数

c24拷贝构造函数.cpp #define _CRT_SECURE_NO_WARNINGS #include <iostream> using namespace std;class Person3 { private:int p_age; public:// 构造函数分类&#xff1a;// 按参数分类&#xff1a;1、有参 2、无参// 按类型分类:普通、拷贝&#xff08;复制&…

仲恺ZK——信计专业《软件体系结构》复习总结

前言 以下是我在总结的复习内容&#xff0c;有需要可以参考借鉴一下。我的主页还有另外一篇《2024年考试回忆》&#xff0c;两者结合起来复习&#xff0c;帮助你轻松过考试&#x1f60a;。总的来说&#xff0c;考试不会太难&#xff0c;只要你了解了各类设计模式的含义即可&am…

国家秘密的密级、保密期限和知悉范围变更的,应当及时( )通知知悉范围内的机关、单位或者人员。

国家秘密的密级、保密期限和知悉范围变更的&#xff0c;应当及时&#xff08; &#xff09;通知知悉范围内的机关、单位或者人员。详细答案查看 A. 口头B. 电话 C. 无须D. 书面 &#xff08; &#xff09;保密行政管理部门主管全国的保密工作。&#xff08; &#xff09;级以上…

第2章 Rust初体验5/8:match表达式和模式匹配:更富表达力:猜骰子冷热游戏

讲动人的故事,写懂人的代码 2.5 故事3: 比较答案与点数之和 贾克强:“同学们,我们开始用三种语言来实现故事3吧!” 2.5.1 Rust版故事3 这个故事实在是轻松容易地实现了。赵可菲照着书,一下子就写好了。 @@ -1,4 +1,5 @@use rand::Rng; +use std::cmp::Ordering;use std…

简单工厂模式(大话设计模式)C/C++版本

简单工厂模式 C版本 参考&#xff1a;https://www.cnblogs.com/Galesaur-wcy/p/15926669.html #include <iostream> using namespace std; // 运算类 class Operation { private:double _NumA;double _NumB;public:void SetNumA(){cout << "Enter a double…

【动态规划】| 路径问题之最小路径和 力扣64

&#x1f397;️ 主页&#xff1a;小夜时雨 &#x1f397;️专栏&#xff1a;动态规划 &#x1f397;️如何活着&#xff0c;是我找寻的方向 目录 1. 题目解析2. 代码 1. 题目解析 题目链接: https://leetcode.cn/problems/minimum-path-sum/description/ 这道题目和之前一道…

使用CSS、JavaScript、jQuery三种方式实现手风琴效果

手风琴效果有不少&#xff0c;王者荣耀官网&#xff08;源网址 https://pvp.qq.com/raiders/ &#xff09;有一处周免英雄&#xff0c;使用的就是手风琴效果&#xff0c;如图所示。 我试着用css、js、jQuery三种方式实现了这种效果&#xff0c;最终效果差不多&#xff0c;美中不…

周四 A股震荡走低,行情总结

文章正文 周四&#xff0c;A股全日震荡走低&#xff0c;上证指数收跌0.28%&#xff0c;深成指跌近0.创业板指跌0.09%。猪肉、有色金属、中药、磷化工、煤炭、房地产、白酒行业跌幅靠前。科特估概念股掀起20cm涨停潮&#xff0c;半导体、机器人、消费电子、光伏、虚拟电厂概念股…

Webrtc支持FFMPEG硬解码之解码实现(三)

前言 此系列文章分分为三篇, Webrtc支持FFMPEG硬解码之Intel(一)-CSDN博客 Webrtc支持FFMPEG硬解码之NVIDA(二)-CSDN博客 Webrtc支持FFMPEG硬解码之解码实现(三)-CSDN博客 AMD硬解目前还没找到可用解码器,欢迎留言交流 环境 Windows平台 VS2019 <

问题:以下描写乡村词语的是() #媒体#媒体#知识分享

问题&#xff1a;以下描写乡村词语的是&#xff08;&#xff09; A&#xff0e;高楼林立 B&#xff0e;车水马龙 C&#xff0e;依山傍水 参考答案如图所示