day05 selenium库的基础使用

selenium请求库实现爬取京东商品信息:
    导入selenium库

    利用try-catch实现对是否能连接进行异常检测与捕获

    get方式向京东主页发送请求

    通过id查找iput输入框

    send_kyes为当前标签传值

    通过send_keys按回车键实现查询

    通过find_elements_by_class_name爬取每个商品           

      利用循环遍历取每个商品的名称、url(通过session的get.Attribute()方法获取)、价格和评价人数:

    find_element_by_css_selector('.p-name em').text

 

     最后存入jd.txt文件

    关闭驱动

 

 
 1  1 from selenium import webdriver
 2  2 # 导入键盘Keys
 3  3 from selenium.webdriver.common.keys import Keys
 4  4 import time
 5  5 
 6  6 driver = webdriver.Chrome()
 7  7 
 8  8 # 检测代码块
 9  9 try:
10 10     # 隐式等待,等待标签加载
11 11     driver.implicitly_wait(10)
12 12 
13 13     # 往京东主页发送请求
14 14     driver.get('https://www.jd.com/')
15 15 
16 16     # 通过id查找input输入框
17 17     input_tag = driver.find_element_by_id('key')
18 18 
19 19     # send_keys为当前标签传值
20 20     input_tag.send_keys('中华字典')
21 21 
22 22     # 按键盘的回车键
23 23     input_tag.send_keys(Keys.ENTER)
24 24 
25 25     time.sleep(3)
26 26 
27 27     '''
28 28     爬取京东商品信息:
29 29         公仔
30 30             名称
31 31             url
32 32             价格
33 33             评价
34 34     '''
35 35     # element 找一个
36 36     # elements 找多个
37 37     # 查找所有的商品列表
38 38     good_list = driver.find_elements_by_class_name('gl-item')
39 39     # print(good_list)
40 40 
41 41     # 循环遍历每一个商品
42 42     for good in good_list:
43 43         # 通过属性选择器查找商品详情页url
44 44         # url
45 45         good_url = good.find_element_by_css_selector('.p-img a').get_attribute('href')
46 46         print(good_url)
47 47 
48 48         # 名称
49 49         good_name = good.find_element_by_css_selector('.p-name em').text
50 50         print(good_name)
51 51 
52 52         # 价格
53 53         good_price = good.find_element_by_class_name('p-price').text
54 54         print(good_price)
55 55 
56 56         # 评价数
57 57         good_commit = good.find_element_by_class_name('p-commit').text
58 58         print(good_commit)
59 59 
60 60 
61 61         str1 = f'''
62 62         url: {good_url}
63 63         名称: {good_name}
64 64         价格: {good_price}
65 65         评价: {good_commit}
66 66         \n
67 67         '''
68 68         # 把商品信息写入文本中
69 69         with open('jd.txt', 'a', encoding='utf-8') as f:
70 70             f.write(str1)
71 71 
72 72 
73 73     time.sleep(10)
74 74 
75 75 # 捕获异常
76 76 except Exception as e:
77 77     print(e)
78 78 
79 79 # 最后都会把驱动浏览器关闭掉
80 80 finally:
81 81     driver.close()

 

转载于:https://www.cnblogs.com/cooperstar/p/11101280.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/263662.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java入门5-asp.net关注

第 二 章   数 据 类 型 2.1 数 据 类 型 数 据 类 型 指 明 了 变 量 或 表 达 式 的 状 态 和 行 为 。 Java 的数据 类 型 如 下 所 示 : Java不 支 持 C、 C中 的 指 针 类 型 、 结 构 体 类 型 和 共 用 体类型 。 本 章 我 们 主 要 介 绍 简 单 类 型 。 2.2 常…

iOS CoreAnimation

为什么80%的码农都做不了架构师?>>> 前言:这篇文章太全了,忍不住就转了,原地址 CoreAnimation,另外前面写过一篇简单的动画IOS简单动画 核心动画,开发人员可以为他们的应用创建动态用户界面,而无需使用低级…

计算机应用基础126题,2015-2016年全国计算机应用基础总复习.

20152015--2016年全国年全国计算机应用基础总复计算机应用基础总复习人的生命是有限的,但是为人民服务是无限的,我要把有限的生命投入到无限的为人民服务中去笔试分为四种题型:(1)单选题;(2)判断题;(3)双选题;(4)多选题。在这里给…

asp.net MVC 权限设计(续)

asp.net MVC 权限设计一文中没有demo放出来,应大家的要求,这里补充上文并放出demo。 几点说明: 1、基于将角色与controller、action相关联来判断用户是否有权 2、通过自定义AuthorizeAttribute实现 3、demo 仅供参考,一些规则可以根据实际情况…

C# winForm 定时访问PHP页面小工具

IDE:vs2019 项目文件: 链接: https://pan.baidu.com/s/1H-Q3nc6sKQbD32pp0vuQIg 提取码: ncce 使用场景:定时访问本机(服务器)的某个页面,发送参数。执行计划任务。 界面: C# 代码:…

Java知多少(12)运算符

Java中的运算符和C/C相差无几。 数学运算符 数学运算,结果为一个数值。见下表:运算符说明举例加法1 2-减法4 - 3.4*乘法7 * 1.5/除法3.5 / 7%取余7 % 2自增3--自减3--关系运算符 关系运算符,结果为一个布尔值。见下表:运算符说明…

响应式html5模板代码,响应式多用途HTML5模板

跨浏览器兼容,视网膜准备,响应式 HTML5 / CSS3 模板,具有触摸支持,具有简洁的设计,多用途模板,适用于各种网站,使用此模板可以进行大量自定义,这将有助于您重新定义网站的品牌价值。…

HDU 2095 find your present (2)

原以为这是一纯水题,就果断开了1000000了数组给它(1300多K),没想Memory果断超了,后来又用链表做(写了2000多K),再次无情的被Memory刷了,无耐百度一下,竟然发现…

动态网页开发基础

1.动态网页:能跟用户进行交互的网页,能够处理用户请求的网页 2.B/S架构:浏览器;客户端零维护;与操作系统平台的关系最小化;在响应速度和安全性上需要花费更多设计成本 C/S架构:需要…

陕西师范大学计算机科学学院保研院校,陕西师范大学计算机科学学院(专业学位)现代教育技术保研细则...

考研真题资料优惠价原价选择陕西师范大学计算机科学学院(专业学位)现代教育技术保研细则信息,是考研之前需要获取相应的考研信息,比如考试大纲、招考专业、招考目录等等基本信息,这些内容是进行考研前期工作的必要准备。考生可以从各院校的研…

数据挖掘开源项目立项

项目背景 因为最近一直都在搞数据挖掘类的项目,且现在国内的大数据潮火热。在前几天与群里的几位兄弟聊天所以有了做一个开源项目的想法,以前也搞过一个开源的项目,当时只是想把权限集中化做一下,项目的名称和地址是: …

WinForm立体饼状图实现(附源码示例) 之配餐系统的开发

本文所要将的是在“配餐系统”开发中 立体饼状图效果的实现,直接贴出代码和附上示例,相信需要的朋友可以很容易使用!项目中的效果图,如下: 实现 应用的是 System.Drawing.PieChart.PieChartControl 控件, PieChartHelp…

DS博客作业08--课程总结

1、当初你是如何做出选择计算机专业的决定的? 因为觉得对电脑这方面比较感兴趣,觉得写一些自己想要的程序和软件很酷, 还有就是觉得网络也是以后比较热门的一个方向。并且家人也觉得网络发展 的很快,也比较支持我学习网络这一方面…

关键字super和this的使用及区别

"this"作为一个特殊的关键字,它的规则如下: 1.可以表示构造函数传递。this(a,b)表示调用另外一个构造函数。这里面的this就是一个特殊语法,不是变量,没有什么类型。 2.可以在一个类的非static成员内部使用,表…

家庭组计算机无法,【求助】Windows无法从该家庭组中删除你的计算机

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼echo 服务名称fdPHost,显示名称Function Discovery Provider Host,进程svchost.exeecho DEMAND或DISABLED或AUTO(手动、禁止、自动)sc config fdPHost start DEMANDecho stop立即停止start立即开启delete删除…

2013计算机系统导论,【精选】2013计算机系统导论-期末考卷-发布.pdf

【精选】2013计算机系统导论-期末考卷-发布北京大学信息科学技术学院考试试卷考试科目: 计算机系统导论 姓名: 学号:考试时间: 2014 年 1 月 7 日任课教师:题号 一 二 三 四 五 六 七 八 总分分数装订 阅卷人线内 北京大学考场纪律…

ckeditor+ckfinder+syntaxhighlighter编辑器

闲着没事将这三个组件合成在一起做个功能强大的编辑器,可以起到代码高亮的作用。 效果呢和博客园的编辑器功能差不多。功能可以直接定制,有需要的朋友可以下载一份看看,如果在使用中有什么问题可以和我交流,当然如果如果有更好的方…

需求管理

需求管理是内部集成和外部集成的结合点。 从企业内部管理来讲,如何不断提高制造柔性、缩短各类提前期,又是应对需求变化和提高响应速度的一个极其重要的因素。 现货生产MTS和定单组装ATO两类响应策略面对的问题,只要是对日用消费品和耐用消费…

个人计算机既pc机,个人计算机简称pc机这种计算机属于___pc机开机后计算机执行_个人计算机即pc机(14)...

[解析]略十四. 涉及到计算机的“键盘、鼠标、扫描仪、显示器、绘图仪”127、 保持微型计算机正常运行必不可少的输入输出设备是___C___。A.键盘和鼠标B.显示器和打印机C.键盘和显示器D.鼠标和扫描仪[解析]略128、 有关微型计算机键盘可能要问以下几个问题&#xff1…

shell脚本工具之控制结构

流程控制结构是程序语言中用于控制一段脚本执行流程的结构,shell提供了对多种流程控制结构的支持,包括条件结构,分支结构和循环结构.一.if语句格式1:if 表达式;then语句1else语句2fi格式2:if 表达式1;then语句1elseif 表达式2;thenelseif 表达式3语句2else语句3fi语句4fifi格式…