【Python爬虫】网页抓取实例之淘宝商品信息抓取

之前我们已经说过网页抓取的相关内容

上次我们是以亚马逊某网页的产品为例

抓取价格、品牌、型号、样式等

图片

该网页上价格、品牌、型号、样式等

都只有一个

如果网页上的目标内容

根据不同规格有多个

又该怎么提取呢？

▼如下图所示

当机身颜色、套餐、存储容量等

规格不同时

对应价格也不同

那该怎么获取不同属性下的价格呢？

 此时需要用到抓取商品详情信息的API接口item_get、或者item_get_sku。

详细调用步骤如下：

1、获取API调用权限，注册key和密钥。

2、进入API测试页，输入商品id，调用API。如下图：

3、找到响应示例中的sku信息

"skus": {"sku": [{"price": 678,"total_price": 0,"orginal_price": 678,"properties": "1627207:1007902496;5919063:6536025;12304035:1905146457","properties_name": "1627207:1007902496:机身颜色:幻夜黑;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1905146457:存储容量:6+128GB","quantity": 200,"sku_id": "5142540523707"},{"price": 778,"total_price": 0,"orginal_price": 778,"properties": "1627207:1007902496;5919063:6536025;12304035:1963543205","properties_name": "1627207:1007902496:机身颜色:幻夜黑;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1963543205:存储容量:8+128GB","quantity": 200,"sku_id": "5142540523708"},{"price": 868,"total_price": 0,"orginal_price": 868,"properties": "1627207:1007902496;5919063:3266779;12304035:1905146457","properties_name": "1627207:1007902496:机身颜色:幻夜黑;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1905146457:存储容量:6+128GB","quantity": 0,"sku_id": "5141622086982"},{"price": 878,"total_price": 0,"orginal_price": 878,"properties": "1627207:1007902496;5919063:3266779;12304035:1963543205","properties_name": "1627207:1007902496:机身颜色:幻夜黑;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1963543205:存储容量:8+128GB","quantity": 200,"sku_id": "5141622086983"},{"price": 678,"total_price": 0,"orginal_price": 678,"properties": "1627207:2771458827;5919063:6536025;12304035:1905146457","properties_name": "1627207:2771458827:机身颜色:苏音蓝;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1905146457:存储容量:6+128GB","quantity": 200,"sku_id": "5142540523709"},{"price": 778,"total_price": 0,"orginal_price": 778,"properties": "1627207:2771458827;5919063:6536025;12304035:1963543205","properties_name": "1627207:2771458827:机身颜色:苏音蓝;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1963543205:存储容量:8+128GB","quantity": 200,"sku_id": "5142540523710"},{"price": 868,"total_price": 0,"orginal_price": 868,"properties": "1627207:2771458827;5919063:3266779;12304035:1905146457","properties_name": "1627207:2771458827:机身颜色:苏音蓝;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1905146457:存储容量:6+128GB","quantity": 0,"sku_id": "5141622086986"},{"price": 878,"total_price": 0,"orginal_price": 878,"properties": "1627207:2771458827;5919063:3266779;12304035:1963543205","properties_name": "1627207:2771458827:机身颜色:苏音蓝;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1963543205:存储容量:8+128GB","quantity": 200,"sku_id": "5141622086987"},{"price": 678,"total_price": 0,"orginal_price": 678,"properties": "1627207:1198972384;5919063:6536025;12304035:1905146457","properties_name": "1627207:1198972384:机身颜色:蜜语红;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1905146457:存储容量:6+128GB","quantity": 200,"sku_id": "5142540523705"},{"price": 778,"total_price": 0,"orginal_price": 778,"properties": "1627207:1198972384;5919063:6536025;12304035:1963543205","properties_name": "1627207:1198972384:机身颜色:蜜语红;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1963543205:存储容量:8+128GB","quantity": 200,"sku_id": "5142540523706"},{"price": 868,"total_price": 0,"orginal_price": 868,"properties": "1627207:1198972384;5919063:3266779;12304035:1905146457","properties_name": "1627207:1198972384:机身颜色:蜜语红;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1905146457:存储容量:6+128GB","quantity": 0,"sku_id": "5141622086984"},{"price": 878,"total_price": 0,"orginal_price": 878,"properties": "1627207:1198972384;5919063:3266779;12304035:1963543205","properties_name": "1627207:1198972384:机身颜色:蜜语红;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1963543205:存储容量:8+128GB","quantity": 200,"sku_id": "5141622086985"},{"price": 678,"total_price": 0,"orginal_price": 678,"properties": "1627207:5860482491;5919063:6536025;12304035:1905146457","properties_name": "1627207:5860482491:机身颜色:烟雨青蓝;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1905146457:存储容量:6+128GB","quantity": 200,"sku_id": "5142540523711"},{"price": 778,"total_price": 0,"orginal_price": 778,"properties": "1627207:5860482491;5919063:6536025;12304035:1963543205","properties_name": "1627207:5860482491:机身颜色:烟雨青蓝;5919063:6536025:套餐类型:官方标配 华为nova5i;12304035:1963543205:存储容量:8+128GB","quantity": 200,"sku_id": "5142540523712"},{"price": 868,"total_price": 0,"orginal_price": 868,"properties": "1627207:5860482491;5919063:3266779;12304035:1905146457","properties_name": "1627207:5860482491:机身颜色:烟雨青蓝;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1905146457:存储容量:6+128GB","quantity": 0,"sku_id": "5141622086988"},{"price": 878,"total_price": 0,"orginal_price": 878,"properties": "1627207:5860482491;5919063:3266779;12304035:1963543205","properties_name": "1627207:5860482491:机身颜色:烟雨青蓝;5919063:3266779:套餐类型:套餐一 华为nova5por;12304035:1963543205:存储容量:8+128GB","quantity": 200,"sku_id": "5141622086989"}]},

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/138068.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

另辟奚径-Android Studio调用Delphi窗体

另辟奚径-Android Studio调用Delphi窗体

大家都知道Delphi能调用安卓SDK，比如jar、aar等， 但是反过来，能在Android Studio中调用Delphi开发的窗体吗？ 想想不太可能吧， Delphi用的是Pascal，Android Studio用的是Java，这两个怎么能混用…
阅读更多...
layui table合计 totalRow 保留4位小数\ 异步请求数据的表格 新增行之后 如何更新数据

layui table合计 totalRow 保留4位小数\ 异步请求数据的表格 新增行之后 如何更新数据

layui table合计 totalRow 保留4位小数: 例: totalRowMethod:(column: any, dataSource: any[]) > { let total 0; dataSource.forEach((item) > { total total Number(item[column.key]); …
阅读更多...
Flutter——最详细(AppBar)使用教程

Flutter——最详细(AppBar)使用教程

AppBar简介 Material Design 应用栏(标题栏) 使用场景： 顶部标题栏包括一些常用的菜单按钮 属性作用leading左边工具视图automaticallyImplyLeading左边图标的颜色title标题视图actions右边菜单按钮flexibleSpace其高度将与应用栏的整体高度相同bottom左侧底部文本内…
阅读更多...
linux下IO模及其特点及select

linux下IO模及其特点及select

ftp实现 模拟FTP核心原理：客户端连接服务器后，向服务器发送一个文件。文件名可以通过参数指定，服务器端接收客户端传来的文件（文件名随意），如果文件不存在自动创建文件，如果文件存在&#xff0c…
阅读更多...
阿里巴巴将开源720亿参数大模型；开源语言大模型演进史

阿里巴巴将开源720亿参数大模型；开源语言大模型演进史

🦉 AI新闻 🚀 阿里巴巴将开源720亿参数大模型 摘要：在2023世界互联网大会乌镇峰会上，阿里巴巴集团CEO吴泳铭透露，阿里巴巴即将开源720亿参数大模型，这将是国内参数规模最大的开源大模型。目前&#xff0c…
阅读更多...
Linux的基本指令（1）

Linux的基本指令（1）

目录 快速认识的几个指令 pwd指令 mkdir指令 touch指令 cd指令 clear指令 whoami指令 ls指令 ls -l ls -la ls 目录名 ls -ld 目录名 文件 路径 路径是什么？ 路径的形成 ​ 怎么保证路径必须有唯一性？ ls -la隐藏文件 隐藏文件的是什…
阅读更多...
Haproxy实现七层负载均衡

Haproxy实现七层负载均衡

目录 Haproxy概述 haproxy算法： Haproxy实现七层负载 ①部署nginx-server测试页面 ②(主/备)部署负载均衡器 ③部署keepalived高可用 ④增加对haproxy健康检查 ⑤测试 Haproxy概述 haproxy---主要是做负载均衡的7层，也可以做4层负载均衡 apache也可…
阅读更多...
在Spring Boot中使用JTA实现对多数据源的事务管理

在Spring Boot中使用JTA实现对多数据源的事务管理

了解事务的都知道，在我们日常开发中单单靠事务管理就可以解决绝大多数问题了，但是为啥还要提出JTA这个玩意呢，到底JTA是什么呢？他又是具体来解决啥问题的呢？ JTA JTA（Java Transaction API）是…
阅读更多...
Leetcode 剑指 Offer II 052. 递增顺序搜索树

Leetcode 剑指 Offer II 052. 递增顺序搜索树

题目难度: 简单 原题链接 今天继续更新 Leetcode 的剑指 Offer（专项突击版）系列, 大家在公众号 算法精选 里回复 剑指offer2 就能看到该系列当前连载的所有文章了, 记得关注哦~ 题目描述 给你一棵二叉搜索树，请 按中序遍历 将其重新排列为一…
阅读更多...
初识RabbitMQ - 安装 - 搭建基础环境

初识RabbitMQ - 安装 - 搭建基础环境

RabbitMQ 各个名词介绍 Broker：接收和分发消息的应用，RabbitMQ Server 就是 Message Broker Virtual host：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似于网络中的 namespace 概念。当…
阅读更多...
使用ffmpeg 压缩视频

使用ffmpeg 压缩视频

我有一批1080p的视频,在网上播放占用空间太大,需要进行压缩以后再上传,下面是记录一下ffmpeg命令的使用情况 原视频大小:288mb --压缩加修改分辨率 640p ffmpeg -y -i C4995.mp4 -vcodec libx264 -crf 18 -s vga C4995\C4995_2.MP4 -y: 强制覆盖 -i :输入文件 -vcodec lib…
阅读更多...
整治PPOCRLabel中cv2文件读取问题（更新中）

整治PPOCRLabel中cv2文件读取问题（更新中）

PPOCRLabel 使用PPOCRLabel对ocr预标注结果进行纠正由于PaddleOCR代码库十分混乱,路径经常乱调pip和代码库的代码（pip库和源码冲突）,经常报错，因此paddleocr和ppocrlabel都是使用pip包; 安装 pip install PPOCRLabel2.1.3启动 PPOCRLabel…
阅读更多...
软件之禅（七）面向对象（Object Oriented）

软件之禅（七）面向对象（Object Oriented）

黄国强 2023/11/11 前文提到面向对象构建的模块控制器，根据第一性原理，从图灵机的角度，面向对象不是最基本的元素。那么面向对象是不是不重要呢？ 答案是否定的，面向对象非常非常重要。当我们面对一个具体的领域…
阅读更多...
拦截器学习（黑马程序员）

拦截器学习（黑马程序员）

实现步骤： 定义拦截器注册配置拦截器 1 自定义拦截器：实现HandlerInterceptor接口，并重写其所有方法： //自定义拦截器 Component public class LoginCheckInterceptor implements HandlerInterceptor { //目标资源方法执行前执…
阅读更多...
2022最新版-李宏毅机器学习深度学习课程-P50 BERT的预训练和微调

2022最新版-李宏毅机器学习深度学习课程-P50 BERT的预训练和微调

模型输入无标签文本（Text without annotation），通过消耗大量计算资源预训练（Pre-train）得到一个可以读懂文本的模型，在遇到有监督的任务是微调（Fine-tune）即可。 最具代表性是BERT&…
阅读更多...
3.1 IDA Pro编写IDC脚本入门

3.1 IDA Pro编写IDC脚本入门

IDA Pro内置的IDC脚本语言是一种灵活的、C语言风格的脚本语言，旨在帮助逆向工程师更轻松地进行反汇编和静态分析。IDC脚本语言支持变量、表达式、循环、分支、函数等C语言中的常见语法结构，并且还提供了许多特定于反汇编和静态分析的函数和操作符。由于其…
阅读更多...
Docker学习——⑥

Docker学习——⑥

文章目录 1、什么是存储卷?2、为什么需要存储卷?3、存储卷分类4、管理卷 Volume5、绑定卷 bind mount6、临时卷 tmpfs7、综合实战-MySQL 灾难恢复8、常见问题 1、什么是存储卷? 存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立…
阅读更多...
AI 引擎系列 5 - 以 AI 引擎模型为目标运行 AI 引擎编译器（2022.1 更新）

AI 引擎系列 5 - 以 AI 引擎模型为目标运行 AI 引擎编译器（2022.1 更新）

AI 引擎系列 5 - 以 AI 引擎模型为目标运行 AI 引擎编译器（2022.1 更新） 简介 在先前的 AI 引擎系列博文中，我们以 x86 模型为目标运行了 AI 引擎编译器，并运行了 X86 仿真器来验证 AI 引擎应用的功能模型。在本文中，…
阅读更多...
2011年09月21日 Go生态洞察：Go图像处理包

2011年09月21日 Go生态洞察：Go图像处理包

🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…
阅读更多...
Javaweb之javascript的BOM对象的详细解析

Javaweb之javascript的BOM对象的详细解析

1.5.2 BOM对象 接下来我们学习BOM对象，BOM的全称是Browser Object Model,翻译过来是浏览器对象模型。也就是JavaScript将浏览器的各个组成部分封装成了对象。我们要操作浏览器的部分功能，可以通过操作BOM对象的相关属性或者函数来完成。例如&#xff1a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023