【Python】01快速上手爬虫案例一

文章目录

  • 前言
  • 一、VSCode+Python环境搭建
  • 二、爬虫案例一
    • 1、爬取第一页数据
    • 2、爬取所有页数据
    • 3、格式化html数据
    • 4、导出excel文件

前言

实战是最好的老师，直接案例操作，快速上手。

案例一，爬取数据，最终效果图：

在这里插入图片描述

一、VSCode+Python环境搭建

开发环境：MacBook Pro + VSCode + Python。

打开最新版VSCode，安装Python开发环境，快捷键：cmd+shift+x。

在这里插入图片描述
选择Python解释器，快捷键：cmd+shift+p。输入：Python: Select Interpreter，选择解释器。
在这里插入图片描述
写“hello world”。
新建文件，输入print(‘hello world~’)，另存为hello.py文件。
shift+enter 运行：
在这里插入图片描述

二、爬虫案例一

以爬取“豆瓣读书TOP250”的书籍为案例。

网址链接：https://book.douban.com/top250?start=0

1、爬取第一页数据

代码如下：

import requests
def askUrl(url):head = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15"}html=""  r = requests.get(url, headers = head) html = r.text print(html)  return htmlif __name__ == "__main__": askUrl("https://book.douban.com/top250?start=0")

head->User-Agent的值可以从这个地方获取：

在这里插入图片描述
如果import requests报错，使用pip3 install requests安装。

运行之后，结果如下：

在这里插入图片描述

第一页25个，都以html的形式显示了出来，第25个为书籍《野草》。

2、爬取所有页数据

代码如下：


import requests
def askUrl(url):head = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15"}r = requests.get(url, headers = head)html = r.textprint(html)def getData(baseurl):for i in range(0, 10):url = baseurl + str(i * 25)html = askUrl(url)if __name__ == "__main__": baseurl = "https://book.douban.com/top250?start="getData(baseurl)

运行之后，结果如下：

在这里插入图片描述

最后一页，最后一个，为书籍《哈姆莱特》。

3、格式化html数据

上面1和2，只是输出了html源码，现在按自己需要的几个字段进行格式化。

分别取这4个字段：封面图、书籍名称、作者（出版社、价格等）、引用。

在这里插入图片描述

这里使用lxml库，解析html。

# 导入lxml库子模块etree
from lxml import etree

格式化代码如下：

import requests
from lxml import etree def askUrl(url):head = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15"}html=""  r = requests.get(url, headers = head) html = r.text parse = etree.HTML(html)  # 数据# all_tr = parse.xpath('/html[@class="ua-mac ua-webkit book-new-nav"]/body/div[@id="wrapper"]/div[@id="content"]/div[@class="grid-16-8 clearfix"]/div[@class="article"]/div[@class="indent"]/table')all_tr = parse.xpath('//*[@id="content"]/div/div[1]/div/table')for tr in all_tr:tr_data = {'vover': ''.join(tr.xpath('./tr/td[1]/a/img/@src')).strip(), # 封面图'name': ''.join(tr.xpath('./tr/td[2]/div[@class="pl2"]/a/text()')).strip(), # 书名'author': ''.join(tr.xpath('./tr/td[2]/p[1]/text()')).strip(), # 作者'quote': ''.join(tr.xpath('./tr/td[2]/p[2]/span/text()')).strip() # 引用}print(tr_data)if __name__ == "__main__": askUrl("https://book.douban.com/top250?start=0")

如果报错：

urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'LibreSSL 2.8.3'.

解决方法：

pip3 install urllib3==1.26.15

结果如下：

在这里插入图片描述

数据，已经非常清晰了。

PS：使用parse.xpath，最重要的是获取到准确的xpath值。

两个方法：

方法一：Google Chrome浏览器插件：xpath helper。

效果如下：

弹出插件面板：cmd+shift+x。

选中：shift。

在这里插入图片描述
取到的值为：

# 原始值
/html[@class='ua-mac ua-webkit book-new-nav']/body/div[@id='wrapper']/div[@id='content']/div[@class='grid-16-8 clearfix']/div[@class='article']/div[@class='indent']/table[1]/tbody/tr[@class='item']# 优化后的值（使用此值，去掉了tbody和[1]）
/html[@class='ua-mac ua-webkit book-new-nav']/body/div[@id='wrapper']/div[@id='content']/div[@class='grid-16-8 clearfix']/div[@class='article']/div[@class='indent']/table

方法二：Google Chrome浏览器，查看源代码。

在这里插入图片描述

取到的值为：

# 原始值
//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr# 优化后的值（使用此值，去掉了tbody和[1]）
//*[@id="content"]/div/div[1]/div/table

每一个字段对应的xpath值，也是这么获取。

4、导出excel文件

生成csv格式文件。

导入csv库：

import csv

导出cvs文件（第一页25条），代码如下：

import requests
from lxml import etree 
import csvdef askUrl(url):head = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15"}html=""  r = requests.get(url, headers = head) html = r.text parse = etree.HTML(html)  # 数据all_tr = parse.xpath('//*[@id="content"]/div/div[1]/div/table')# 创建book.csv文件with open('book.csv', 'a', encoding='utf_8_sig', newline='') as fp:  header = ['封面','名称', '作者', '引用']  writer = csv.writer(fp)  writer.writerow(header)for tr in all_tr:tr_data = {'vover': ''.join(tr.xpath('./tr/td[1]/a/img/@src')).strip(), # 封面图'name': ''.join(tr.xpath('./tr/td[2]/div[@class="pl2"]/a/text()')).strip(), # 书名'author': ''.join(tr.xpath('./tr/td[2]/p[1]/text()')).strip(), # 作者'quote': ''.join(tr.xpath('./tr/td[2]/p[2]/span/text()')).strip() # 引用}# print(tr_data)# 写入数据行with open('book.csv', 'a', encoding='utf_8_sig', newline='') as fp:  fieldnames = ['vover','name', 'author', 'quote']  writer = csv.DictWriter(fp, fieldnames)  writer.writerow(tr_data)if __name__ == "__main__": askUrl("https://book.douban.com/top250?start=0")

导出的book.csv文件（第一页），如下：

在这里插入图片描述

导出cvs文件（所有的250条），代码如下：

import requests
from lxml import etree 
import csvdef askUrl(url):head = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15"}r = requests.get(url, headers = head)html = r.text# print(html)parse = etree.HTML(html)all_tr = parse.xpath('//*[@id="content"]/div/div[1]/div/table')for tr in all_tr:tr_data = {'vover': ''.join(tr.xpath('./tr/td[1]/a/img/@src')).strip(), # 封面图'name': ''.join(tr.xpath('./tr/td[2]/div[@class="pl2"]/a/text()')).strip(), # 书名'author': ''.join(tr.xpath('./tr/td[2]/p[1]/text()')).strip(), # 作者'quote': ''.join(tr.xpath('./tr/td[2]/p[2]/span/text()')).strip() # 引用}# print(tr_data)# 写入数据行with open('bookall.csv', 'a', encoding='utf_8_sig', newline='') as fp:  fieldnames = ['vover','name', 'author', 'quote']  writer = csv.DictWriter(fp, fieldnames)  writer.writerow(tr_data)def getData(baseurl):# 创建book.csv文件with open('bookall.csv', 'a', encoding='utf_8_sig', newline='') as fp:  header = ['封面','名称', '作者', '引用']  writer = csv.writer(fp)  writer.writerow(header)# 插入25页的数据for i in range(0, 10):url = baseurl + str(i * 25)html = askUrl(url)if __name__ == "__main__": baseurl = "https://book.douban.com/top250?start="getData(baseurl)

导出的book.csv文件（所有页250条数据），如下：

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/643986.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

光流估计概念和算法

光流估计概念和算法

什么是光流？ 光流就是物体和观测者之间的互相运动，亮度变化的速度矢量，下图两张图片表示了光流的原理。 光流的算法有几个基本不变的假设： 1，光强不变假设； 一元的n阶泰勒公式： 在这里插入图…
阅读更多...
HTTP与HTTPS的工作流程

HTTP与HTTPS的工作流程

HTTP与HTTPS的工作流程 http知识点回顾1、HTTP访问的过程2、HTTP常见状态码3、HTTP 协议一共五大特点 https的工作流程1、对称加密2、非对称加密3、https工作流程 http知识点回顾 1、HTTP访问的过程 （1）解析url，获取 url 中包含的域名&…
阅读更多...
C语言第七弹---循环语句

C语言第七弹---循环语句

✨个人主页： 熬夜学编程的小林 💗系列专栏： 【C语言详解】 【数据结构详解】 循环语句 1、while循环1.1、if和while的对比1.2、while语句的执行流程1.3、while循环的实践1.4、练习 2、for循环2.1、语法形式2.2、for循环的执行流程2.3、for循…
阅读更多...
沃通服务器密码机（WTHSM）

沃通服务器密码机（WTHSM）

概述 沃通服务器密码机（WTHSM）由沃通CA自主设计开发，严格遵照国密局颁布技术规范，获得国密局颁发《商用密码产品认证证书》，是一款多安全功能、高稳定性、可扩展和快速部署的软硬件集成化安全设备，为应用提…
阅读更多...
【手撕C语言 第八集】函数栈帧的创建与销毁

【手撕C语言 第八集】函数栈帧的创建与销毁

文章目录 一、什么是函数栈帧？二、函数栈帧能解决什么问题呢？（1）局部变量是如何创建的？（2）为什么局部变量不初始化内容是随机的？（3）函数调用时参数是如何传递…
阅读更多...
电磁兼容设计要点

电磁兼容设计要点

电磁兼容的问题往往发生于高频状态下，个别情况除外（Dips电压暂降与中断）除外。高频思维，总而言之，就是器件的特性、电路的特性，在高频情况下和常规中低频状态下是不一样的，如果仍然按照普通的控…
阅读更多...
Go 定时器：如何避免潜在的内存泄漏陷阱

Go 定时器：如何避免潜在的内存泄漏陷阱

这篇文章将探讨的是 Go 中如何高效使用 timer，特别是与select 一起使用时，如何防止潜在的内存泄漏问题。 引出问题 先看一个例子，我们在 Go 中的 select 使用定时器，实现为消息监听加上超时能力。 核心代码，如下所示…
阅读更多...
已解决Error：AttributeError: module ‘numpy‘ has no attribute ‘bool‘.

已解决Error：AttributeError: module ‘numpy‘ has no attribute ‘bool‘.

文章目录 引言报错分析解决方案1：降低NumPy版本解决方案2：更改NumPy源码 结尾 引言 在Python编程的世界里，NumPy无疑是一个不可或缺的库。它不仅在处理大规模数值计算中发挥着核心作用，而且为众多开发者提供了强大的支持。然而&a…
阅读更多...
无刷电机学习-方波电调 程序篇1（AM32）

无刷电机学习-方波电调 程序篇1（AM32）

一、AM32简介 AM32 固件专为 ARM 处理器设计，用于控制无刷电机 (BLDC)。该固件旨在安全、快速、平滑、快速启动和线性油门。它适用于多种车辆类型和飞行控制器。 AM32具有以下特点： 可通过 betaflight 直通、单线串行或 arduino 升级固件伺服 PWM、Dsh…
阅读更多...
Spring RabbitMQ那些事（3-消息可靠传输和订阅）

Spring RabbitMQ那些事（3-消息可靠传输和订阅）

目录 一、序言二、生产者确保消息发送成功1、为什么需要Publisher Confirms2、哪些消息会被确认处理成功 三、消费者保证消息被处理四、Spring RabbitMQ支持代码示例1、 application.yml2、RabbigtMQ配置3、可靠生产者配置4、可靠消费者配置5、测试用例 一、序言 在有些业务场…
阅读更多...
外包干了3年，跑路了。。。

外包干了3年，跑路了。。。

🍅 视频学习：文末有免费的配套视频可观看 🍅 关注公众号【互联网杂货铺】，回复 1 ，免费获取软件测试全套资料，资料在手，涨薪更快 故事的开始 最近这几天有点忧伤，因为带我的师傅要跑…
阅读更多...
Vue3 Suspense 优雅地处理异步组件加载

Vue3 Suspense 优雅地处理异步组件加载

✨ 专栏介绍 在当今Web开发领域中，构建交互性强、可复用且易于维护的用户界面是至关重要的。而Vue.js作为一款现代化且流行的JavaScript框架，正是为了满足这些需求而诞生。它采用了MVVM架构模式，并通过数据驱动和组件化的方式，使…
阅读更多...
力扣 | 73. 矩阵置零

力扣 | 73. 矩阵置零

public class Problem_73_MatrixToZero {public void setZeros(int[][] matrix) {int m matrix.length;int n matrix[0].length;boolean flagRow false;boolean flagCol false;//先记录第一行本身是否包含0for (int i 0; i < n; i) {if (matrix[0][i] 0) flagRow tru…
阅读更多...
使用Burp Collaborator验证无回显的RCE漏洞

使用Burp Collaborator验证无回显的RCE漏洞

使用Burp Collaborator验证无回显的RCE漏洞 1.概述2.Collaborator演示3.通过DNS查找外带命令执行结果1.概述 当应用程序容易受到命令注入攻击，但命令是异步执行时，就会发生异步操作系统命令注入漏洞。这意味着它对应用程序的响应没有明显影响 Burp Collaborator 可以帮助您…
阅读更多...
Jenkins如何重置build number？

Jenkins如何重置build number？

Jenkins如何重置build number&#xff1f; Jenkins调试过程中, 难免会产生很多无用的编译号&#xff0c;但需要清除无用build数据的时候&#xff0c;可以使用Script Consle来达到目的. 解决方案 直接说答案。 在脚本中填写如下语句&#xff1a; def jobName "xxx-Build&…
阅读更多...
leetcode—— 腐烂的橘子

leetcode—— 腐烂的橘子

腐烂的橘子 在给定的 m x n 网格 grid 中&#xff0c;每个单元格可以有以下三个值之一&#xff1a; 值 0 代表空单元格&#xff1b;值 1 代表新鲜橘子&#xff1b;值 2 代表腐烂的橘子。 每分钟&#xff0c;腐烂的橘子 周围 4 个方向上相邻 的新鲜橘子都会腐烂。 返回 直到…
阅读更多...
【Linux C | 进程】Linux 进程间通信的10种方式（1）

【Linux C | 进程】Linux 进程间通信的10种方式（1）

&#x1f601;博客主页&#x1f601;&#xff1a;&#x1f680;https://blog.csdn.net/wkd_007&#x1f680; &#x1f911;博客内容&#x1f911;&#xff1a;&#x1f36d;嵌入式开发、Linux、C语言、C、数据结构、音视频&#x1f36d; &#x1f923;本文内容&#x1f923;&a…
阅读更多...
log4j2配置文件命名及优先级

log4j2配置文件命名及优先级

log4j 2.x版本不再支持像1.x中的.properties后缀的文件配置方式&#xff0c;2.x版本配置文件后缀名只能为".xml",“.json"或者”.jsn"。 命名规则 默认配置文件名&#xff1a; log4j2.xml 或 log4j2.json 测试或特定环境配置文件名&#xff1a;可以以 -t…
阅读更多...
Kafka(二）原理详解

Kafka(二）原理详解

一 、kafka核心总控制器&#xff08;Controller&#xff09; 在Kafka集群中会有一个或者多个broker&#xff0c;其中有一个broker会被选举为控制器&#xff08;Kafka Controller&#xff09;&#xff0c;它负责管理整个集群中所有分区和副本的状态。 作用&#xff1a;leader副…
阅读更多...
【wayn商城】本地开发指南

【wayn商城】本地开发指南

这篇文章给大家带来我自己写的开源项目【wayn商城】的本地开发指南&#xff0c;帮助各位朋友在本地快速运行【wayn商城】&#xff0c;避免踩坑&#xff0c;减少不必要的精力在软件下载安装上。 &#x1f525;waynboot-mall 是一套全部开源的 H5 商城项目&#xff0c;实现了一套…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023