Python爬取京东商品销售数据进行数据分析示例代码,以口红为例

文章目录

    • 一、准备工作
      • 驱动安装
      • 模块使用与介绍
    • 二、流程解析
    • 三、完整代码
    • 四、效果展示
      • 关于Python技术储备
        • 一、Python所有方向的学习路线
        • 二、Python基础学习视频
        • 三、精品Python学习书籍
        • 四、Python工具包+项目源码合集
        • ①Python工具包
        • ②Python实战案例
        • ③Python小游戏源码
        • 五、面试资料
        • 六、Python兼职渠道


一、准备工作

驱动安装

实现案例之前,我们要先安装一个谷歌驱动,因为我们是使用selenium 操控谷歌驱动,然后操控浏览器实现自动操作的,模拟人的行为去操作浏览器。

以谷歌浏览器为例,打开浏览器看下我们自己的版本,然后下载跟自己浏览器版本一样或者最相近的版本,下载后解压一下,把解压好的插件放到我们的python环境里面,或者和代码放到一起也可以。

模块使用与介绍

  • selenium pip install selenium ,直接输入selenium的话是默认安装最新的,selenium后面加上版本号就是安装对应的的版本;
  • csv 内置模块,不需要安装,把数据保存到Excel表格用的;
  • time 内置模块,不需要安装,时间模块,主要用于延时等待;

二、流程解析

我们访问一个网站,要输入一个网址,所以代码也是这么写的。

首先导入模块

from selenium import webdriver

文件名或者包名不要命名为selenium,会导致无法导入。 webdriver可以认为是浏览器的驱动器,要驱动浏览器必须用到webdriver,支持多种浏览器。

实例化浏览器对象 ,我这里用的是谷歌,建议大家用谷歌,方便一点。

driver = webdriver.Chrome()

我们用get访问一个网址,自动打开网址。

driver.get('https://www.jd.com/')

运行一下

打开网址后,以买口红为例。

我们首先要通过你想购买的商品关键字来搜索得到商品信息,用搜索结果去获取信息。

那我们也要写一个输入,空白处点击右键,选择检查。选择element 元素面板

鼠标点击左边的箭头按钮,去点击搜索框,它就会直接定位到搜索标签。在标签上点击右键,选择copy,选择copy selector 。如果你是xpath ,就copy它的xpath 。然后把我们想要搜索的内容写出来

driver.find\_element\_by\_css\_selector('#key').send\_keys('口红')

再运行的时候,它就会自动打开浏览器进入目标网址搜索口红。

同样的方法,找到搜索按钮进行点击。

driver.find\_element\_by\_css\_selector('.button').click()

再运行就会自动点击搜索了,页面搜索出来了,那么咱们正常浏览网页是要下拉网页对吧,咱们让它自动下拉就好了。 先导入time模块

import time

执行页面滚动的操作

def drop\_down():"""执行页面滚动的操作"""  # javascriptfor x in range(1, 12, 2):  # for循环下拉次数,取1 3 5 7 9 11, 在你不断的下拉过程中, 页面高度也会变的;time.sleep(1)j = x / 9  # 1/9  3/9  5/9  9/9# document.documentElement.scrollTop  指定滚动条的位置# document.documentElement.scrollHeight 获取浏览器页面的最大高度js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight \* %f' % jdriver.execute\_script(js)  # 执行我们JS代码

循环写好了,然后调用一下。

drop\_down()

我们再给它来个延时

driver.implicitly\_wait(10)

这是一个隐式等待,等待网页延时,网不好的话加载很慢。

隐式等待不是必须等十秒,在十秒内你的网络加载好后,它随时会加载,十秒后没加载出来的话才会强行加载。

还有另外一种死等的,你写的几秒就等几秒,相对没有那么人性化。

time.sleep(10)

加载完数据后我们需要去找商品数据来源

价格/标题/评价/封面/店铺等等

还是鼠标右键点击检查,在element ,点击小箭头去点击你想查看的数据。

可以看到都在li标签里面 获取所有的 li 标签内容,还是一样的,直接copy 。 在左下角就有了 这里表示的是取的第一个,但是我们是要获取所有的标签,所以左边框框里 li 后面的可以删掉不要。 不要的话,可以看到这里是60个商品数据,一页是60个。 所以我们把剩下的复制过来, 用lis接收一下 。

lis = driver.find\_elements\_by\_css\_selector('#J\_goodsList ul li')

因为我们是获取所有的标签数据,所以比之前多了一个s

打印一下

print(lis)

通过lis返回数据 列表 [] 列表里面的元素 <> 对象

遍历一下,把所有的元素拿出来。

for li in lis:title = li.find\_element\_by\_css\_selector('.p-name em').text.replace('\\n', '')  # 商品标题 获取标签文本数据price = li.find\_element\_by\_css\_selector('.p-price strong i').text  # 价格commit = li.find\_element\_by\_css\_selector('.p-commit strong a').text  # 评论量shop\_name = li.find\_element\_by\_css\_selector('.J\_im\_icon a').text  # 店铺名字href = li.find\_element\_by\_css\_selector('.p-img a').get\_attribute('href')  # 商品详情页icons = li.find\_elements\_by\_css\_selector('.p-icons i')icon = ','.join(\[i.text for i in icons\])  # 列表推导式  ','.join 以逗号把列表中的元素拼接成一个字符串数据dit = {'商品标题': title,'商品价格': price,'评论量': commit,'店铺名字': shop\_name,'标签': icon,'商品详情页': href,}csv\_writer.writerow(dit)print(title, price, commit, href, icon, sep=' | ')

搜索功能

key\_world = input('请输入你想要获取商品数据: ')

要获取的数据 ,获取到后保存CSV

f = open(f'京东{key\_world}商品数据.csv', mode='a', encoding='utf-8', newline='')
csv\_writer = csv.DictWriter(f, fieldnames=\['商品标题','商品价格','评论量','店铺名字','标签','商品详情页',
\])
csv\_writer.writeheader()

然后再写一个自动翻页

for page in range(1, 11):print(f'正在爬取第{page}页的数据内容')time.sleep(1)drop\_down()get\_shop\_info()  # 下载数据driver.find\_element\_by\_css\_selector('.pn-next').click()  # 点击下一页

三、完整代码

from selenium import webdriver
import time
import csvdef drop\_down():"""执行页面滚动的操作"""  for x in range(1, 12, 2):  time.sleep(1)j = x / 9  # 1/9  3/9  5/9  9/9# document.documentElement.scrollTop  指定滚动条的位置# document.documentElement.scrollHeight 获取浏览器页面的最大高度js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight \* %f' % jdriver.execute\_script(js)  # 执行JS代码key\_world = input('请输入你想要获取商品数据: ')f = open(f'京东{key\_world}商品数据.csv', mode='a', encoding='utf-8', newline='')
csv\_writer = csv.DictWriter(f, fieldnames=\['商品标题','商品价格','评论量','店铺名字','标签','商品详情页',
\])
csv\_writer.writeheader()# 实例化一个浏览器对象driver = webdriver.Chrome()
driver.get('https://www.jd.com/')  # 访问一个网址 打开浏览器 打开网址
# 通过css语法在element(元素面板)里面查找 #key 某个标签数据 输入一个关键词 口红
driver.find\_element\_by\_css\_selector('#key').send\_keys(key\_world)  # 找到输入框标签
driver.find\_element\_by\_css\_selector('.button').click()  # 找到搜索按钮 进行点击
# time.sleep(10) # 等待 
# driver.implicitly\_wait(10)  # 隐式等待 def get\_shop\_info():# 第一步 获取所有的li标签内容driver.implicitly\_wait(10)lis = driver.find\_elements\_by\_css\_selector('#J\_goodsList ul li')  # 获取多个标签# 返回数据 列表 \[\] 列表里面的元素 <> 对象# print(len(lis))for li in lis:title = li.find\_element\_by\_css\_selector('.p-name em').text.replace('\\n', '')  # 商品标题 获取标签文本数据price = li.find\_element\_by\_css\_selector('.p-price strong i').text  # 价格commit = li.find\_element\_by\_css\_selector('.p-commit strong a').text  # 评论量shop\_name = li.find\_element\_by\_css\_selector('.J\_im\_icon a').text  # 店铺名字href = li.find\_element\_by\_css\_selector('.p-img a').get\_attribute('href')  # 商品详情页icons = li.find\_elements\_by\_css\_selector('.p-icons i')icon = ','.join(\[i.text for i in icons\])  # 列表推导式  ','.join 以逗号把列表中的元素拼接成一个字符串数据dit = {'商品标题': title,'商品价格': price,'评论量': commit,'店铺名字': shop\_name,'标签': icon,'商品详情页': href,}csv\_writer.writerow(dit)print(title, price, commit, href, icon, sep=' | ')# print(href)for page in range(1, 11):print(f'正在爬取第{page}页的数据内容')time.sleep(1)drop\_down()get\_shop\_info()  # 下载数据driver.find\_element\_by\_css\_selector('.pn-next').click()  # 点击下一页driver.quit()  # 关闭浏览器

四、效果展示


关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、Python所有方向的学习路线

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

二、Python基础学习视频

② 路线对应学习视频

还有很多适合0基础入门的学习视频,有了这些视频,轻轻松松上手Python~在这里插入图片描述
在这里插入图片描述

③练习题

每节视频课后,都有对应的练习题哦,可以检验学习成果哈哈!
在这里插入图片描述
因篇幅有限,仅展示部分资料

三、精品Python学习书籍

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述

四、Python工具包+项目源码合集
①Python工具包

学习Python常用的开发软件都在这里了!每个都有详细的安装教程,保证你可以安装成功哦!
在这里插入图片描述

②Python实战案例

光学理论是没用的,要学会跟着一起敲代码,动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。100+实战案例源码等你来拿!
在这里插入图片描述

③Python小游戏源码

如果觉得上面的实战案例有点枯燥,可以试试自己用Python编写小游戏,让你的学习过程中增添一点趣味!
在这里插入图片描述

五、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述
在这里插入图片描述

六、Python兼职渠道

而且学会Python以后,还可以在各大兼职平台接单赚钱,各种兼职渠道+兼职注意事项+如何和客户沟通,我都整理成文档了。
在这里插入图片描述
在这里插入图片描述
这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/162991.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

git代码提交命令(如何提交代码)

# 提交暂存区到仓库区 $ git commit -m [message]# 提交暂存区的指定文件到仓库区 $ git commit [file1] [file2] ... -m [message]# 提交工作区自上次commit之后的变化&#xff0c;直接到仓库区 $ git commit -a# 提交时显示所有diff信息 $ git commit -v# 使用一次新的commit…

2023年中国钒铁产量及行业进出口现状分析[图]

钒铁&#xff0c;银白色块状&#xff0c;一般分为桶装或吨袋包装&#xff0c;根据钒含量的不同分为50钒铁&#xff08;FeV50&#xff09;和80钒铁&#xff08;FeV80&#xff09;,通过炉外法或电炉法冶炼生产&#xff0c;北方多以炉外法制取&#xff0c;南方多为电炉法生产。 钒…

Chrome浏览器将从2024年6月开始限制广告拦截器

虽然一年前&#xff0c;谷歌公司已经暂停推出新的“Manifest V3”扩插件展格式&#xff0c;原因是这种新格式会对 Chrome 中一些最受欢迎的扩展插件造成严重损害&#xff1b;一年后今天&#xff0c;Google 正在重新启动该计划&#xff0c;逐步淘汰 Chrome 扩展程序当前的 Manif…

Faster R-CNN源码解析(一)

目录 前言训练脚本(train_mobilenetv2.py)自定义数据集(my_dataset.py) 前言 Faster R-CNN 是经典的two-stage目标检测模型&#xff0c; 原理上并不是很复杂&#xff0c;也就是RPNFast R-CNN&#xff0c;但是在代码的实现上确实有很多细节&#xff0c;并且源码也非常的多&…

chatglm3部署使用

chatglm3部署使用 1.部署2.使用3.接入微信4.vue前端 1.部署 1.首先去github下载chatglm3代码。Huggingface下载模型一直失败&#xff0c;所以用阿里的魔塔社区下载。 git clone https://github.com/THUDM/ChatGLM3.git git clone https://www.modelscope.cn/ZhipuAI/chatglm3…

docker常见问题汇总

docker常见问题 ❓问题1&#xff1a;启动docker容器时&#xff0c;报错Unknown runtime specified nvidia. 当我启动一个容器时&#xff0c;运行以下命令&#xff1a; docker run --runtimenvidia 。。。。 后面一部分命令没写出来&#xff0c;此时报错的信息如下&#xff1a;…

python-opencv划痕检测

python-opencv划痕检测 这次实验&#xff0c;我们将对如下图片进行划痕检测&#xff0c;其实这个比较有难度&#xff0c;因为清晰度太差了。 我们做法如下&#xff1a; &#xff08;1&#xff09;读取图像为灰度图像&#xff0c;进行自适应直方图均衡化处理&#xff0c;增强图…

thingsboard3.6的mailConfigTemplateController错误

1、bug内容 使用3.6版本的tb代码进行打包生成boot的jar包,在启动的时候会报错mailConfigTemplateController bean初始化找不到文件路径。 Error creating bean with name mailConfigTemplateController defined in URL [jar:file:/D:/yuxinwei/AE/thingsboard/thingsboard-3…

nuxt3项目修改端口号

nuxt的默认端口号是3000 一、修改开发环境端口号 方式一&#xff1a;使用环境变量配置,设置&#xff08;PORT 或 NUXT_PORT&#xff09; # .env PORT3001 #http://localhost:3001/ NITRO_PORT3001 #http://localhost:3001/ 方式二&#xff1a;nuxt.config.ts里配置…

vue2.0+elementui集成file-loader之后图标失效问题

背景 跑vue2elementUI项目时&#xff0c;由于前端这边需要在本地存放xlsx模板文件&#xff0c;供用户下载模板文件&#xff0c;所以需要在webpack构建的时候增加file-loader进行解析xlsx文件打包。 vue版本2.x element-ui 版本 2.13.x 注意 npm i -D file-loader版本号给vue项…

操作系统 day12(调度算法的评价指标)

评价指标 CPU利用率 系统吞吐量 周转时间 带权周转时间 等待时间 响应时间

vue中属性的基本用法

v-for指令的用法 v-for指令用于重复输出当前元素。 案例&#xff1a;写一个新的组件页面&#xff1a;For.vue 当访问&#xff1a; /for时看到它。 场景1 遍历字符串数组输出每一个列表项元素&#xff1a; data: {nav: [京东超市,京东家电,秒杀,拍卖,京东生鲜,PLUS会员] } …

【python学习】中级篇-TCP编程Socket模块:客户端与服务端

客户端 创建一个基于TCP连接的Socket AF_INET指定使用IPv4协议 AF_INET6指定使用IPv6协议 # 导入socket库: import socket# 创建一个socket: s socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 建立连接: s.connect((www.sina.com.cn, 80))客户端要主动发起TCP连接 必…

2022-1-25 机器人运动规划方法综述 航空学报

论文PDF abstract 随着应用场景的日益复杂&#xff0c;机器人对旨在生成无碰撞路径&#xff08;轨迹&#xff09;的自主运动规划技术的需求也变得更加迫 切。虽然目前已产生了大量适应于不同场景的规划算法&#xff0c;但如何妥善地对现有成果进行归类&#xff0c;并分析不同…

Spark---基于Standalone模式提交任务

Standalone模式两种提交任务方式 一、Standalone-client提交任务方式 1、提交命令 ./spark-submit --master spark://mynode1:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 100 或者 ./spark-submit --master spark…

给数据库查询结果添加一个额外的自增编号

1、在mysql数据库可以执行的sql SELECT( i : i 1 ) num,M.* FROMuser M,( SELECT i : 0 ) AS ID GROUP BYM.ID ORDER BYM.create_time SELECT (i :i 1) 是为了生成自增的序列号字段 SELECT i : 0 是为了将i进行初始化每次查询的序列号都会从1开始进行排序生成序列号 在…

go sync.map源码解读

此源码理解仅为个人理解&#xff0c;如有错误欢迎指出 sync.map的数据结构主要包含四个字段 一个互斥锁&#xff0c;readonly,dirty,和miss 从读写两个方面来讲这几个变量 readonly其实就是有bool值的dirty&#xff0c;底层结构都是map readonly的读更新不会上锁&#xff0c…

在springboot中实现WebSocket协议通信

前面介绍了使用netty实现websocket通信&#xff0c;有些时候&#xff0c;如果我们的服务并不复杂或者连接数并不高&#xff0c;单独搭建一个websocket服务端有些浪费资源&#xff0c;这时候我们就可以在web服务内提供简单的websocket连接支持。其实springboot已经支持了websock…

20230511 Windows Ubuntu vscode remote-ssh 连接配置

参考 &#xff1a; VSCode SSH 连接远程ubuntu Linux 主机 VSCode通过Remote SSH扩展连接到内网Ubuntu主机 Ubuntu 安装 sudo apt-get install openssh-server vscode: 安装remote-ssh 插件 连接到服务器IP 免密登录的公钥密钥传递用filezillaUbuntu 和 Windows 文件互传 …

PMP对项目工程师有用吗?

一、什么是项目工程师&#xff1f; 项目工程师是指在各个领域负责技术操作、设计、管理以及评估能力的人员。他们通常担当项目的实施和执行角色&#xff0c;在开发或控制类项目中发挥重要作用。有时&#xff0c;项目工程师的称号还可以用来表示在某个领域取得专业资格的人员。…