【零基础一看就会】Python爬虫从入门到应用（下）

目录

一、urllib的学习

1.1 urllib介绍

1.2 urllib的基本方法介绍

urllib.Request

（1）构造简单请求

（2）传入headers参数

（3）传入data参数 实现发送post请求（示例）

response.read()

1.3 urllib请求百度首页的完整例子

二、requests模块的入门使用

2.1 为什么要重点学习requests模块，而不是urllib

2.2 requests的作用与安装

2.3 requests模块发送简单的get请求、获取响应

response.text 和response.content的区别

练习：把网络上的图片保存到本地

2.4 发送带header的请求

思考

为什么请求需要带上header？

header的形式：字典

用法

完整的代码

2.5 发送带参数的请求

什么叫做请求参数

请求参数的形式：字典

请求参数的用法

关于参数的注意点

两种方式：发送带参数的请求

三、requests模块的深入使用

3.1 使用requests发送POST请求

requests发送post请求语法

POST请求练习

思路分析

（1）抓包确定请求的url地址

​编辑

（2）确定请求的参数

（3）确定返回数据的位置

（4）模拟浏览器获取数据

一、urllib的学习

1.1 urllib介绍

除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!

urllib在python中分为urllib和urllib2，在python3中为urllib

下面以python3的urllib为例进行讲解

1.2 urllib的基本方法介绍

urllib.Request

（1）构造简单请求
import urllib
#构造请求
request = urllib.request.Request("http://www.baidu.com")
#发送请求获取响应
response = urllib.request.urlopen(request)
（2）传入headers参数
import urllib
#构造headers
headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} 
#构造请求
request = urllib.request.Request(url, headers = headers)
#发送请求
response = urllib.request.urlopen(request)
（3）传入data参数 实现发送post请求（示例）
import urllib.request
import urllib.parse
import jsonurl = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Safari/605.1.15',}
data = {'cname': '','pid': '','keyword': '北京','pageIndex': 1,'pageSize': 10,
}
# 使用post方式
# 需要
data = urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url, data=data, headers=headers)
res = urllib.request.urlopen(req)
print(res.getcode())
print(res.geturl())
data = json.loads(res.read().decode('utf-8'))
# print(data)
for i in data['Table1']:print(i)

response.read()

获取响应的html字符串，bytes类型

#发送请求
response = urllib.request.urlopen("http://www.baidu.com")
#获取响应
response.read()

1.3 urllib请求百度首页的完整例子

import urllib
import jsonurl = 'http://www.baidu.com'
#构造headers
headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
#构造请求
request = urllib.request.Request(url, headers = headers)
#发送请求
response = urllib.request.urlopen(request)
#获取html字符串
html_str = response.read().decode('utf-8')
print(html_str)

二、requests模块的入门使用

2.1 为什么要重点学习requests模块，而不是urllib

  • 企业中用的最多的就是requests

  • requests的底层实现就是urllib

  • requests在python2 和python3中通用，方法完全一样

  • requests简单易用

2.2 requests的作用与安装

作用：发送网络请求，返回响应数据

安装：pip install requests

2.3 requests模块发送简单的get请求、获取响应

需求：通过requests向百度首页发送请求，获取百度首页的数据

import requests# 目标url
url = 'https://www.baidu.com'# 向目标url发送get请求
response = requests.get(url)# 打印响应内容
print(response.text)

response的常用属性：

  • response.text 响应体 str类型

  • response.encoding 从HTTP　header中猜测的响应内容的编码方式

  • respones.content 响应体 bytes类型

  • response.status_code 响应状态码

  • response.request.headers 响应对应的请求头

  • response.headers 响应头

  • response.request.cookies 响应对应请求的cookie

  • response.cookies 响应的cookie（经过了set-cookie动作）

  • response.url 获取访问的url

  • response.json() 获取json数据 得到内容为字典 (如果接口响应体的格式是json格式时)

  • response.ok

    如果status_code小于200，response.ok返回True。

    如果status_code大于200，response.ok返回False。

思考：text是response的属性还是方法呢？

  • 一般来说名词，往往都是对象的属性，对应的动词是对象的方法

response.text 和response.content的区别

  • response.text

    • 类型：str

    • 解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码

    • 如何修改编码方式：response.encoding="gbk/UTF-8"

  • response.content

    • 类型：bytes

    • 解码类型： 没有指定

    • 如何修改编码方式：response.content.deocde("utf8")

获取网页源码的通用方式：

  1. response.content.decode()

  2. response.content.decode("UTF-8")

  3. response.text

以上三种方法从前往后尝试，能够100%的解决所有网页解码的问题

所以：更推荐使用response.content.deocde()的方式获取响应的html页面

练习：把网络上的图片保存到本地

我们来把www.baidu.com的图片保存到本地

思考：

  • 以什么方式打开文件

  • 保存什么格式的内容

分析：

  • 图片的url：https://www.baidu.com/img/bd_logo1.png

  • 利用requests模块发送请求获取响应

  • 以二进制写入的方式打开文件，并将response响应的二进制内容写入

import requests# 图片的url
url = 'https://www.baidu.com/img/bd_logo1.png'# 响应本身就是一个图片,并且是二进制类型
response = requests.get(url)# print(response.content)# 以二进制+写入的方式打开文件
with open('baidu.png', 'wb') as f:# 写入response.content bytes二进制类型f.write(response.content)

2.4 发送带header的请求

我们先写一个获取百度首页的代码

import requestsurl = 'https://www.baidu.com'response = requests.get(url)print(response.content)# 打印响应对应请求的请求头信息
print(response.request.headers)

思考

对比浏览器上百度首页的网页源码和代码中的百度首页的源码，有什么不同？

代码中的百度首页的源码非常少，为什么？

为什么请求需要带上header？

模拟浏览器，欺骗服务器，获取和浏览器一致的内容

header的形式：字典

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

用法

requests.get(url, headers=headers)

完整的代码

import requestsurl = 'https://www.baidu.com'headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}# 在请求头中带上User-Agent，模拟浏览器发送请求
response = requests.get(url, headers=headers)# print(response.content)# 打印请求头信息
print(response.request.headers)

2.5 发送带参数的请求

我们在使用百度搜索的时候经常发现url地址中会有一个 ?，那么该问号后边的就是请求参数，又叫做查询字符串

什么叫做请求参数

例1： gzip和deflate的几点区别 - 服务器技术_卡卡网

例2：百度安全验证

例1中没有请求参数！例2中?后边的就是请求参数

请求参数的形式：字典

kw = {'wd':'长城'}

请求参数的用法

requests.get(url,params=kw)

关于参数的注意点

在url地址中， 很多参数是没有用的，比如百度搜索的url地址，其中参数只有一个字段有用，其他的都可以删除 如何确定那些请求参数有用或者没用：挨个尝试！ 对应的,在后续的爬虫中，越到很多参数的url地址，都可以尝试删除参数

两种方式：发送带参数的请求

对https://www.baidu.com/s?wd=python发起请求可以使用requests.get(url, params=kw)的方式

# 方式一：利用params参数发送带参数的请求
import requestsheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?'# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)# 当有多个请求参数时，requests接收的params参数为多个键值对的字典，比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}print(response.content)

也可以直接对https://www.baidu.com/s?wd=python完整的url直接发送请求，不使用params参数

# 方式二：直接发送带参数的url的请求
import requestsheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}url = 'https://www.baidu.com/s?wd=python'# kw = {'wd': 'python'}# url中包含了请求参数，所以此时无需params
response = requests.get(url, headers=headers)

三、requests模块的深入使用

3.1 使用requests发送POST请求

思考：哪些地方我们会用到POST请求？

  1. 登录注册（ POST 比 GET 更安全）

  2. 需要传输大文本内容的时候（ POST 请求对数据长度没有要求）

所以同样的，我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求。

requests发送post请求语法

  • 用法
response = requests.post("http://www.baidu.com/", data = data, headers=headers)

  • data 的形式：字典

POST请求练习

下面面我们通过金山翻译的例子看看post请求如何使用：

地址：在线翻译_翻译在线__英语翻译_英文翻译_日语翻译__fanyi_爱词霸

思路分析

（1）抓包确定请求的url地址

（2）确定请求的参数

（3）确定返回数据的位置

（4）模拟浏览器获取数据
import requests
import jsonheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}url = 'https://ifanyi.iciba.com/index.php?c=trans&m=fy&client=6&auth_user=key_ciba&sign=99730f3bf66b2582'data = {'from': 'zh','to': 'en','q': 'lucky 是一个帅气的老师'
}res = requests.post(url, headers=headers, data=data)
# print(res.status_code)# 返回的是json字符串 需要在进行转换为字典
data = json.loads(res.content.decode('UTF-8'))
# print(type(data))
print(data)
print(data['content']['out'])

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/25254.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

野火FPGA跟练（四）——串口RS232、亚稳态

野火FPGA跟练（四）——串口RS232、亚稳态

目录 简介接口与引脚通信协议亚稳态RS232接收模块模块框图时序波形RTL 代码易错点Testbench 代码仿真 RS232发送模块模块框图时序波形RTL 代码Testbench 代码仿真 简介 UART：Universal Asynchronous Receiver/Transmitter，异步串行通信接口。发送数据时…
阅读更多...
微服务开发与实战Day04

微服务开发与实战Day04

一、网关路由 网关&#xff1a;就是网络的关口&#xff0c;负责请求的路由、转发、身份校验。 在SpringCloud中网关的实现包括两种&#xff1a; 1. 快速入门 Spring Cloud Gateway 步骤&#xff1a; ①新建hm-gateway模块 ②引入依赖pom.xml(hm-gateway) <?xml version…
阅读更多...
解锁俄罗斯市场：如何选择优质的俄罗斯云服务器

解锁俄罗斯市场：如何选择优质的俄罗斯云服务器

在当前云计算市场上&#xff0c;很多大型的云厂商并没有俄罗斯服务器的云节点&#xff0c;这给许多企业在拓展海外业务时带来了一定的困扰。然而&#xff0c;俄罗斯作为一个经济发展迅速的国家&#xff0c;其市场潜力不可忽视。因此&#xff0c;选择一台优质的俄罗斯云服务器成…
阅读更多...
【MySQL】（基础篇三） —— 创建数据库和表

【MySQL】（基础篇三） —— 创建数据库和表

管理数据库和表 管理数据库 创建数据库 在MySQL中&#xff0c;创建数据库的SQL命令相对简单&#xff0c;基本语法如下&#xff1a; CREATE DATABASE 数据库名;如果你想避免在尝试创建已经存在的数据库时出现错误&#xff0c;可以添加 IF NOT EXISTS 子句&#xff0c;这样如…
阅读更多...
数据结构（C）：二叉树前中后序和层序详解及代码实现及深度刨析

数据结构（C）：二叉树前中后序和层序详解及代码实现及深度刨析

目录 &#x1f31e;0.前言 &#x1f688;1.二叉树链式结构的代码是实现 &#x1f688;2.二叉树的遍历及代码实现和深度刨析代码 &#x1f69d;2.1前序遍历 ✈️2.1.1前序遍历的理解 ✈️2.1.2前序代码的实现 ✈️2.1.3前序代码的深度解剖 &#x1f69d;2.2中序遍历 ✈…
阅读更多...
计算机网络：数据链路层 - 扩展的以太网

计算机网络：数据链路层 - 扩展的以太网

计算机网络&#xff1a;数据链路层 - 扩展的以太网 集线器交换机自学习算法单点故障 集线器 这是以前常见的总线型以太网&#xff0c;他最初使用粗铜轴电缆作为传输媒体&#xff0c;后来演进到使用价格相对便宜的细铜轴电缆。 后来&#xff0c;以太网发展出来了一种使用大规模…
阅读更多...
AI菜鸟向前飞 — LangChain系列之十七 - 剖析AgentExecutor

AI菜鸟向前飞 — LangChain系列之十七 - 剖析AgentExecutor

AgentExecutor 顾名思义&#xff0c;Agent执行器&#xff0c;本篇先简单看看LangChain是如何实现的。 先回顾 AI菜鸟向前飞 — LangChain系列之十四 - Agent系列&#xff1a;从现象看机制&#xff08;上篇&#xff09; AI菜鸟向前飞 — LangChain系列之十五 - Agent系列&#…
阅读更多...
Springboot使用webupload大文件分片上传（包含前后端源码）

Springboot使用webupload大文件分片上传（包含前后端源码）

Springboot使用webupload大文件分片上传&#xff08;包含源码&#xff09; 1. 实现效果1.1 分片上传效果图1.2 分片上传技术介绍 2. 分片上传前端实现2.1 什么是WebUploader&#xff1f;功能特点接口说明事件APIHook 机制 2.2 前端代码实现2.2.1&#xff08;不推荐&#xff09;…
阅读更多...
计算机组成原理之计算机系统层次结构

计算机组成原理之计算机系统层次结构

目录 计算机系统层次结构 复习提示 1.计算机系统的组成 2.计算机硬件 2.1冯诺依曼机基本思想 2.1.1冯诺依曼计算机的特点 2.2计算机的功能部件 2.2.1MAR 和 MDR 位数的概念和计算 3.计算机软件 3.1系统软件和应用软件 3.2三个级别的语言 3.2.1三种机器语言的特点 3…
阅读更多...
★pwn 24.04环境搭建保姆级教程★

★pwn 24.04环境搭建保姆级教程★

★pwn 24.04环境搭建保姆级教程★ &#x1f338;前言&#x1f33a;Ubuntu 24.04虚拟机&#x1f337;VM&#x1f337;Ubuntu 24.04镜像 &#x1f33a;工具&#x1f337;可能出现的git clone错误&#x1f337;复制粘贴问题&#x1f337;攻击&#x1f337;编题 &#x1f33a;美化&…
阅读更多...
【AI大模型】Transformers大模型库（五）：AutoModel、Model Head及查看模型结构

【AI大模型】Transformers大模型库（五）：AutoModel、Model Head及查看模型结构

目录​​​​​​​ 一、引言 二、自动模型类&#xff08;AutoModel&#xff09; 2.1 概述 2.2 Model Head&#xff08;模型头&#xff09; 2.3 代码示例 三、总结 一、引言 这里的Transformers指的是huggingface开发的大模型库&#xff0c;为huggingface上数以万计的预…
阅读更多...
使用 Keras 的 Stable Diffusion 实现高性能文生图

使用 Keras 的 Stable Diffusion 实现高性能文生图

前言 在本文中&#xff0c;我们将使用基于 KerasCV 实现的 [Stable Diffusion] 模型进行图像生成&#xff0c;这是由 stable.ai 开发的文本生成图像的多模态模型。 Stable Diffusion 是一种功能强大的开源的文本到图像生成模型。虽然市场上存在多种开源实现可以让用户根据文本…
阅读更多...
【会议征稿，IEEE出版】第三届能源与电力系统国际学术会议 (ICEEPS 2024，7月14-16)

【会议征稿，IEEE出版】第三届能源与电力系统国际学术会议 (ICEEPS 2024，7月14-16)

如今&#xff0c;全球能源行业正面临着前所未有的挑战。一方面&#xff0c;加快向清洁、可再生能源转型是遏制能源环境污染问题的最佳途径之一&#xff1b;另一方面&#xff0c;电力系统中新能源发电、人工智能技术、电力电子装备等被广泛应用和期待&#xff0c;以提高能源可持…
阅读更多...
transformer - 注意力机制

transformer - 注意力机制

Transformer 的注意力机制 Transformer 是一种用于自然语言处理任务的模型架构&#xff0c;依赖于注意力机制来实现高效的序列建模。注意力机制允许模型在处理一个位置的表示时&#xff0c;考虑输入序列中所有其他位置的信息&#xff0c;而不仅仅是前面的几个位置。这种机制能…
阅读更多...
ATTCK红队评估（五）

ATTCK红队评估（五）

环境搭建 靶场拓扑图&#xff1a; 靶机下载地址: 漏洞详情 外网信息收集 确定目标靶机地址&#xff1a; 发现主机192.168.135.150主机是本次攻击的目标地址。探测靶机开放的端口信息&#xff1a; 目标靶机开放了两个端口&#xff1a;80、3306&#xff0c;那没什么意外的话就是…
阅读更多...
每天壁纸不重样~下载必应每日图片

每天壁纸不重样~下载必应每日图片

下载必应每日图片 必应不知道你用过没有你下载过必应的图片没有你又没搜索过桌面图片你是不是安装过桌面图片软件你是不是为找一个好看的图片下载过很多桌面软件 必应每日图片 必应每天都会有一张不同的风景图片&#xff0c;画质清晰&#xff0c;而且不收费可以下载使用 但…
阅读更多...
重生之我要精通JAVA--第八周笔记

重生之我要精通JAVA--第八周笔记

文章目录 多线程线程的状态线程池自定义线程池最大并行数多线程小练习 网络编程BS架构优缺点CS架构优缺点三要素IP特殊IP常用的CMD命令 InetAddress类端口号协议UDP协议&#xff08;重点&#xff09;UDP三种通信方式 TCP协议&#xff08;重点&#xff09;三次握手四次挥手 反射…
阅读更多...
sqlmap直接嗦 dnslog注入 sqllibs第8关

sqlmap直接嗦 dnslog注入 sqllibs第8关

dnslog注入是解决注入的时候没有回显的情况&#xff0c;通过dns外带来进行得到我们想要的数据。 我们是用了dns解析的时候会留下记录&#xff0c;这时候就可以看见我们想要的内容。 这个时候我们还要了解unc路径以及一个函数load_file()以及concat来进行注入。看看我的笔记 unc…
阅读更多...
sqli-labs 靶场 less-8、9、10 第八关到第十关详解：布尔注入，时间注入

sqli-labs 靶场 less-8、9、10 第八关到第十关详解：布尔注入，时间注入

SQLi-Labs是一个用于学习和练习SQL注入漏洞的开源应用程序。通过它&#xff0c;我们可以学习如何识别和利用不同类型的SQL注入漏洞&#xff0c;并了解如何修复和防范这些漏洞。Less 8 SQLI DUMB SERIES-8判断注入点 当输入id为1时正常显示&#xff1a; 加上单引号就报错了 …
阅读更多...
零基础非科班也能掌握的C语言知识19 动态内存管理

零基础非科班也能掌握的C语言知识19 动态内存管理

动态内存管理 1.为什么要有动态内存分配2.malloc和free2.1 malloc2.2 free 3.calloc和realloc3.1 calloc3.2realloc 4.常见的动态内存的错误4.1对NULL指针的解引用操作4.2对动态开辟空间的越界访问4.3对非动态内存开辟的空间free4.4使用free释放⼀块动态开辟内存的⼀部分4.5对同…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023