【Python】爬虫实战01：获取豆瓣Top250电影信息

本文中我们将通过一个小练习的方式利用urllib和bs4来实操获取豆瓣 Top250 的电影信息，但在实际动手之前，我们需要先了解一些关于Http 请求和响应以及请求头作用的一些知识。

1. Http 请求与响应

HTTP（超文本传输协议）是互联网上应用最为广泛的协议之一，它定义了客户端（通常是浏览器）和服务器之间交换数据的格式和规则。以下是HTTP请求与响应结合实际情况的介绍：

1.1 Http 请求（Request）

1.1.1 请求的组成

一个HTTP请求通常包含以下几个部分：

  • 请求行：包括请求方法、URL和HTTP版本。
  • 请求头：包含关于客户端环境和请求本身的信息，如用户代理（User-Agent）、接受的内容类型（Accept）等。
  • 空行：用于分隔请求头和请求体。
  • 请求体（可选）：包含要发送给服务器的数据，如表单数据或JSON数据。
1.1.2 请求方法
  • GET：请求获取服务器上的资源。
  • POST：向服务器提交数据，通常用于提交表单或上传文件。
  • PUT：更新服务器上的资源。
  • DELETE：请求删除服务器上的资源。
1.1.3 实际应用

例如，当用户在浏览器中输入一个网址并按下回车时，浏览器会构造一个GET请求发送给服务器，请求头可能包含如下信息：

GET /index.html HTTP/1.1
Host: www.example.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8

这个请求意味着客户端请求获取服务器上名为www.example.com的网站根目录下的index.html文件。

1.2 Http 响应（Response）

1.2.1 响应的组成

一个HTTP响应通常包含以下几个部分：

  • 状态行：包括HTTP版本、状态码和状态消息。
  • 响应头：包含服务器信息和资源信息，如内容类型（Content-Type）、内容长度（Content-Length）等。
  • 空行：用于分隔响应头和响应体。
  • 响应体：包含从服务器返回的资源内容。
1.2.2 状态码
  • 1xx：信息性状态码，如100 Continue。
  • 2xx：成功状态码，如200 OK。
  • 3xx：重定向状态码，如302 Found。
  • 4xx：客户端错误状态码，如404 Not Found。
  • 5xx：服务器错误状态码，如500 Internal Server Error。
1.2.3 实际应用

例如，当服务器收到上述GET请求后，可能会返回以下响应：

HTTP/1.1 200 OK
Content-Type: text/html; charset=UTF-8
Content-Length: 1250
<!DOCTYPE html>
<html>
<head><title>Example Page</title>
</head>
<body><h1>Welcome to Example.com</h1><p>This is an example HTML page.</p>
</body>
</html>

这个响应意味着服务器成功找到了请求的资源，并在响应体中返回了该HTML页面的内容。

HTTP请求与响应是客户端和服务器间通信的基础，它们通过请求方法、状态码、头部字段等机制确保了信息的有效传递。在实际应用中，无论是网页浏览、API调用还是文件上传，都离不开HTTP协议的这些基本原理。

2. GET、POST与请求头

下面是使用Python的requests库发送GET请求和POST请求的简单示例。首先，确保你已经安装了requests库。如果没有安装，可以通过以下命令安装：

pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple

2.1 GET请求示例

2.1.1 不带请求头的 GET 请求
import requests
# 发送不带请求头的GET请求
response = requests.get('http://httpbin.org/get')
print(response.text)
2.1.2 带请求头的 GET 请求
import requests
# 定义请求头
headers = {'User-Agent': 'My Custom User Agent','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
}
# 发送带请求头的GET请求
response = requests.get('http://httpbin.org/get', headers=headers)
print(response.text)

2.2 POST请求示例

2.2.1 不带请求头的 POST 请求
import requests
# 发送不带请求头的POST请求
response = requests.post('http://httpbin.org/post', data={'key': 'value'})
print(response.text)
2.2.2 带请求头的 POST 请求
import requests
# 定义请求头
headers = {'User-Agent': 'My Custom User Agent','Content-Type': 'application/x-www-form-urlencoded'
}
# 发送带请求头的POST请求
response = requests.post('http://httpbin.org/post', headers=headers, data={'key': 'value'})
print(response.text)

2.3 带请求头与不带请求头的区别

  1. 身份识别：请求头中的User-Agent字段可以帮助服务器识别发起请求的客户端类型（如浏览器、爬虫或其他应用程序）。如果不带请求头，服务器可能无法正确处理请求，或者将请求视为不合法的访问。
  2. 内容协商：请求头中的Accept字段告诉服务器客户端可以接收的内容类型。如果服务器支持多种内容类型，它将根据这个字段选择最合适的内容类型来响应。
  3. 数据格式：对于POST请求，请求头中的Content-Type字段指定了发送到服务器的数据格式。例如，如果发送的是JSON数据，通常需要将Content-Type设置为application/json。
  4. 安全性：一些API可能要求特定的请求头来进行认证或授权。如果不带这些请求头，API可能拒绝服务。(如豆瓣)
  5. 自定义行为：开发者可能需要发送自定义的请求头以触发服务器端特定的行为，如缓存策略、压缩格式等。
    不带请求头的请求在某些简单情况下可能仍然有效，但为了更好地控制请求行为和确保与服务器正确交互，通常建议在请求中包含适当的请求头。

3. 分析网页结构

在这里插入图片描述

  • 进入豆瓣排行榜网页后，我们右击 --> 检查 --> 元素 一栏中可以找到我们想要的信息

在这里插入图片描述

  • 在这里我们可以看到，我们需要的数据都是静态数据，直接嵌入在网页源代码里，我们只需对照相应的属性名进行获取即可，在找到我们想要的数据后，就可以着手写代码了。

4. 代码实现

话不多说，我们直接上代码

import random
import urllib.request
from bs4 import BeautifulSoup
import codecs
from time import sleep"""
#	爬取豆瓣 TOP250 电影名称、链接、评分及影评
"""def GetContent(url, headers):# 发送请求page = urllib.request.Request(url, headers=headers)page = urllib.request.urlopen(page)contents = page.read()# 用BeautifulSoup解析网页soup = BeautifulSoup(contents, "html.parser")infofile.write("")print('爬取豆瓣电影250: \n')for tag in soup.find_all(attrs={"class": "item"}):# 爬取序号num = tag.find('em').get_text()print(num)infofile.write(num + "\r\n")# 电影名称name = tag.find_all(attrs={"class": "title"})zwname = name[0].get_text()print('[中文名称]', zwname)infofile.write("[中文名称]" + zwname + "\r\n")# 网页链接url_movie = tag.find(attrs={"class": "hd"}).aurls = url_movie.attrs['href']print('[网页链接]', urls)infofile.write("[网页链接]" + urls + "\r\n")# 爬取评分和评论数info = tag.find(attrs={"class": "star"}).get_text()info = info.replace('\n', ' ')info = info.lstrip()print('[评分评论]', info)# 获取评语info = tag.find(attrs={"class": "inq"})if (info):  # 避免没有影评调用get_text()报错content = info.get_text()print('[影评]', content)infofile.write(u"[影评]" + content + "\r\n")print('')if __name__ == '__main__':# 存储文件infofile = codecs.open("../Top250_Movies.txt", 'a', 'utf-8')# 消息头headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}# 翻页i = 0while i < 10:print('页码', (i + 1))num = i * 25  # 每次显示25部 URL序号按25增加url = 'https://movie.douban.com/top250?start=' + str(num) + '&filter='GetContent(url, headers)sleep(5 + random.random())infofile.write("\r\n\r\n")i = i + 1infofile.close()

爬取结果如下，爬取完的数据存放在Top250_Movies.txt文件中
在这里插入图片描述

如果需要获取其他的数据，可自行扩展

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/871333.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

虚函数__

虚函数__

10 文章目录 虚函数虚函数表override(不允许后续函数继承)虚析构纯虚函数 虚函数 虚函数表 override(不允许后续函数继承) 虚析构 纯虚函数
阅读更多...
从零开始学习PX4源码3(如何上传官网源码到自己的仓库中)

从零开始学习PX4源码3(如何上传官网源码到自己的仓库中)

目录 文章目录 目录摘要1.将PX4源码上传至腾讯工蜂2.从腾讯工蜂克隆源码到本地ubuntu3.如何查看自己源码的版本信息 摘要 本节主要记录从零开始学习PX4源码3(如何上传官网源码到自己的仓库中)及如何查看PX4的固件版本信息&#xff0c;欢迎批评指正&#xff01; PX4源码版本V1.…
阅读更多...
构建新纪元：Gradle中Kotlin插件的配置全指南

构建新纪元：Gradle中Kotlin插件的配置全指南

构建新纪元&#xff1a;Gradle中Kotlin插件的配置全指南 引言 Kotlin&#xff0c;这门现代、简洁的语言&#xff0c;正在逐渐成为Java平台的有力补充。随着Kotlin在Android开发中的广泛采用&#xff0c;以及对服务器端和Web开发的支持&#xff0c;Kotlin插件在Gradle中的配置…
阅读更多...
mysql-联合查询

mysql-联合查询

一.联合查询的概念 .对于unio查询,就是把多次查询的结果合并起来,形成一个新的查询果集。 SELECT 字段列表 FROM 表A... UNION[ALL] SELECT 字段列表 FROM 表B...&#xff0c; 二.将薪资低于5000的员工,和年龄大于50岁的员工全部查询出来 select * from emp where salary&…
阅读更多...
无人机的工作原理

无人机的工作原理

无人飞行器&#xff08;UAV&#xff0c;即Unmanned Aerial Vehicle&#xff09;的工作原理涉及多个复杂的系统和技术。以下是对各个系统和技术的详细介绍&#xff1a; 1. 飞行控制系统&#xff08;FCS&#xff09; 飞行控制系统是无人机的“大脑”&#xff0c;负责监控和调整…
阅读更多...
【Android】在渲染生效前提前测量View大小

【Android】在渲染生效前提前测量View大小

问题 Android的UI机制是基于MessageHandler的&#xff0c;View并不会在添加后就会被立刻测量渲染出来 但有时我们需要动态去计算布局&#xff0c;希望在添加View时&#xff0c;就能知道这个View的高度 方法 此时&#xff0c;我们可以手动去调用measure方法&#xff0c;来测…
阅读更多...
使用 Apache Pulsar 构建弹性可扩展的事件驱动应用

使用 Apache Pulsar 构建弹性可扩展的事件驱动应用

本视频来自 2024 Apache Pulsar 欧洲峰会&#xff0c;由 David Kjerrumgaard, 《Pulsar in Action》书作者给大家带来的《使用 Apache Pulsar 构建弹性可扩展的事件驱动应用》分享。 嘉宾&#xff5c;David Kjerrumgaard&#xff0c;Apache Pulsar Committer&#xff0c;《Pul…
阅读更多...
总结单例模式的写法

总结单例模式的写法

一、单例模式的概念 1.1 单例模式的概念 单例模式&#xff08;Singleton Pattern&#xff09;是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式&#xff0c;它提供了一种创建对象的最佳方式。就是当前进程确保一个类全局只有一个实例。 1.2 单例模式的优…
阅读更多...
基于php+mysql的简单图书管理系统（附源码）

基于php+mysql的简单图书管理系统（附源码）

一、模块设计 二、技术选型 IDE&#xff1a;phpstorm mysql&#xff1a;5.1 php&#xff1a;7.3.29 运行工具&#xff1a;phpstudy 三、数据库设计 用户表&#xff1a; CREATE TABLE t_user (id int(11) NOT NULL AUTO_INCREMENT,uname varchar(255) DEFAULT NULL,upass…
阅读更多...
C语言的神髓

C语言的神髓

​​​​​​​ ​​​​​​​
阅读更多...
JAVA-报表模糊搜索询易实现

JAVA-报表模糊搜索询易实现

背景: 一般文件报表经常会需要搜各个表头对应内容&#xff0c;如果支持全部类型切换搜索&#xff0c;操作起来就不够便捷。而且这个报表是测试自己用的&#xff0c;准确性可以不用太要求&#xff0c;所以更想要那中输入关键字命中任意表记录内容的模糊匹配功能。 方法一:解析搜…
阅读更多...
记录些Redis题集（3）

记录些Redis题集（3）

分布式锁 分布式锁是一种用于在分布式系统中实现互斥访问的机制&#xff0c;它可以确保在多个节点、或进程同时访问共享资源。如果没有适当的锁机制&#xff0c;就可能导致数据不一致或并发冲突的问题。 分布式锁需要的介质 需要一个多个微服务节点都能访问的存储介质&#…
阅读更多...
matine组件库踩坑日记 --- react

matine组件库踩坑日记 --- react

Mantine实践 一 禁忌核心css样式二 添加轮播图扩展组件 一 禁忌核心css样式 import React from react import ReactDOM from react-dom/client import { BrowserRouter } from react-router-dom; import App from ./App.jsx import ./index.css import mantine/core/styles.cs…
阅读更多...
RocketMQ~架构了解

RocketMQ~架构了解

简介 RocketMQ 具有高性能、高可靠、高实时、分布式 的特点。它是一个采用 Java 语言开发的分布式的消息系统&#xff0c;由阿里巴巴团队开发&#xff0c;在 2016 年底贡献给 Apache&#xff0c;成为了 Apache 的一个顶级项目。 在阿里内部&#xff0c;RocketMQ 很好地服务了集…
阅读更多...
DHCPv6 详情及其报文介绍 - 附配置案例及验证命令（Cisco）

DHCPv6 详情及其报文介绍 - 附配置案例及验证命令（Cisco）

DHCPv6 诞生的原因 IPv6 协议具有地址空间巨大的特点&#xff0c;但同时长达 128 比特的 IPv6 地址又要求高效合理的地址自动分配和管理策略。IPv6 无状态地址配置方式&#xff08;RFC2462&#xff09;是目前广泛采用的 IPv6 地址自动配置方式。配置了该协议的主机只需相邻设备…
阅读更多...
Vue2 vs Vue3：抉择的艺术 —— 学习路线全解析

Vue2 vs Vue3：抉择的艺术 —— 学习路线全解析

在前端开发的浩瀚星海中&#xff0c;Vue.js 无疑是一颗璀璨夺目的明星。随着 Vue3 的横空出世&#xff0c;许多开发者陷入了纠结&#xff1a;我应该学习 Vue2 还是 Vue3&#xff1f;两者之间的差异何在&#xff1f;本文将深入探讨 Vue2 与 Vue3 的特点、应用场景及学习建议&…
阅读更多...
红日靶场----（三）1.漏洞利用

红日靶场----（三）1.漏洞利用

上期已经信息收集阶段已经完成&#xff0c;接下来是漏洞利用。 靶场思路 通过信息收集得到两个吧靶场的思路 1、http://192.168.195.33/phpmyadmin/&#xff08;数据库的管理界面&#xff09; root/root 2、http://192.168.195.33/yxcms/index.php?radmin/index/login&am…
阅读更多...
函数（实参以及形参）

函数（实参以及形参）

实际参数&#xff08;实参&#xff09; 实际参数就是在调用函数时传递给函数的具体值。这些值可以是常量、变量、表达式或更复杂的数据结构。实参的值在函数被调用时传递给对应的形参&#xff0c;然后函数内部就可以使用这些值来执行相应的操作。 int main() {int a 0;int b …
阅读更多...
一篇文章教你掌握——Pytorch深度学习实践基础

一篇文章教你掌握——Pytorch深度学习实践基础

一篇文章教你掌握——Pytorch深度学习实践 1. Overview 概述1.1 Rule-based systems 基于规则的系统1.2 Classic machine learning 经典机器学习1.3 Representation learning 表征学习1.4 Brief history of neural networks 神经网络简史 2. 配置环境2.1 安装Anaconda2.2 创建虚…
阅读更多...
奥利奥广告策略解析「扭一扭、舔一舔、泡一泡」广告为何深入人心？

奥利奥广告策略解析「扭一扭、舔一舔、泡一泡」广告为何深入人心？

作为一个多年的广告人&#xff0c;我认为奥利奥的「扭一扭、舔一舔、泡一泡」广告策略非常巧妙。今天可以从专业的角度来分析分析一下&#xff0c;大概应该有三大原因吧。 品牌识别度与记忆点&#xff1a; “扭一扭、舔一舔、泡一泡”这句广告语简洁易记&#xff0c;富有节奏…
阅读更多...
最新文章

Copyright @ 2022~2023