Python爬取豆瓣电影全部分类数据并存入数据库

        在当今数字化的时代，网络上丰富的影视资源信息吸引着众多开发者去挖掘和利用。今天，我就来和大家分享一段有趣的代码，它能够从豆瓣电影平台获取相关数据并存储到数据库中哦。

结果展示（文末附完整代码）：

目录

结果展示（文末附完整代码）：

一、代码准备

二、Douban 类的初始化

1. 请求头设置

2. Cookie 设置

3. 数据库连接

三、获取电影种类相关数据

1. 初始请求

2. 进一步处理

四、解析并存储数据

1. 请求数据

2. 数据处理与存储

 完整代码：

一、代码准备

        首先，我们看到这段代码开头进行了一系列的导入操作。它引入了像 re（用于正则表达式处理）、pymysql（用于与 MySQL 数据库进行交互）、requests（方便发送 HTTP 请求）以及 lxml（用于解析 HTML 等）这些非常实用的库。

# -*- coding:utf-8 -*-
import re
import pymysql
import requests
from lxml import etree

二、Douban 类的初始化

        接下来，定义了一个名为 Douban 的类。在这个类的初始化方法 __init__ 中，做了很多重要的设置。

1. 请求头设置

        设置了 headers，这里面包含了各种关于请求的信息，比如接受的内容类型、语言偏好、缓存控制等等。这些设置能够让我们的请求更符合豆瓣服务器的要求，顺利获取到数据。例如：

self.headers = {"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7","accept-language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",// 其他设置省略
}

2. Cookie 设置

        同时，也配置了 cookies，这些是在之前与豆瓣网站交互过程中可能留下的一些标识信息，对于后续请求获取准确数据也起到了一定的作用哦。比如：

self.cookies = {"_pk_id.100001.4cf6": "f993e3f352d610f5.1712975414.","__gads": "ID=8f742f4360ad4561:T=1712975416:RT=1712975416:S=ALNI_MYEjjG_8aAehpZQ58LPXuy8119UYQ",// 其他设置省略
}

3. 数据库连接

        还建立了与 MySQL 数据库的连接哦。指定了数据库的主机地址（这里是本地的 127.0.0.1）、端口（3306）、用户名（root）、密码（921108）以及要使用的数据库名（data），并且创建了一个游标，以便后续执行 SQL 语句呢。

self.db = pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='921108',db='data'
)
self.cursor = self.db.cursor()

三、获取电影种类相关数据

        在 Douban 类中有一个 get_zhonglei 方法，它主要负责获取电影的种类相关信息。

1. 初始请求

        首先，它会向豆瓣电影的排行榜页面（https://movie.douban.com/chart）发送一个 GET 请求，带上之前设置好的 headers 和 cookies。然后通过 lxml 的 etree 来解析获取到的 HTML 内容，找到页面中相关的 span 元素列表。

url = "https://movie.douban.com/chart"
response = requests.get(url, headers=self.headers, cookies=self.cookies).text
html = etree.HTML(response)
span_list = html.xpath('//*[@id="content"]/div/div[2]/div[1]/div/span')

2. 进一步处理

        对于每个找到的 span 元素，它会提取出其中链接的 href 属性值，通过正则表达式从 href 中获取到电影类型对应的编号 type_。然后根据这个编号构建新的请求链接，再次发送请求获取到该类型电影的总数 filtered_total，最后调用 parse 方法来进一步处理这些数据哦。

for span in span_list:href = span.xpath('./a/@href')[0]type_ = re.findall(r'type=(\d+)', href)[0]url = f'https://movie.douban.com/j/chart/top_list_count?type={type_}&interval_id=100%3A90&action='response = requests.get(url=url, headers=self.headers, cookies=self.cookies).json()filtered_total = response['filtered_total']self.parse(type_, filtered_total, j, i)

四、解析并存储数据

   Douban 类中parse 方法则承担着解析获取到的具体电影数据并存储到数据库的重要任务。

1. 请求数据

        它会根据传入的电影类型编号 type_ 和总数 filtered_total，构建合适的请求参数，向 https://movie.douban.com/j/chart/top_list 发送请求，获取到该类型下的一系列电影详细信息，这些信息是以 JSON 格式返回的哦。

url = "https://movie.douban.com/j/chart/top_list"
params = {"type": type_,"interval_id": "100:90","action": "","start": "0","limit": filtered_total,
}
response = requests.get(url, headers=self.headers, cookies=self.cookies, params=params).json()

2. 数据处理与存储

        对于每一部电影的信息，它提取出诸如电影标题、演员数量、演员名单、评分、地区、上映日期、电影类型、投票数等重要信息。并且对上映日期进行了一些格式上的处理，然后将这些数据按照一定的格式准备好，尝试插入到名为 movie_info 的数据库表中。如果在插入过程中出现了 MySQL 错误，它会打印出错误信息哦。

for item in response:title = item['title']actor_count = item['actor_count']actors = item['actors']score = item['rating'][0]regions = item['regions'][0]release_date = item['release_date']types = item['types']vote_count = item['vote_count']// 数据处理省略部分代码try:sql = "insert into movie_info (movie_name,movie_date,movie_type, movie_country,actor_name,score, score_all) values (%s,%s,%s,%s,%s,%s,%s)"self.cursor.execute(sql, (movie_name,movie_date,movie_type, movie_country,actor_name,score, score_all))self.db.commit()except pymysql.MySQLError as e:print(f"An error occurred: {e}")

 完整代码：

# -*- coding:utf-8 -*-
import reimport pymysql
import requests
from lxml import etreeclass Douban(object):def __init__(self):self.headers = {"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7","accept-language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6","cache-control": "no-cache","pragma": "no-cache","priority": "u=0, i","referer": "https://cn.bing.com/","sec-ch-ua": "\"Microsoft Edge\";v=\"131\", \"Chromium\";v=\"131\", \"Not_A Brand\";v=\"24\"","sec-ch-ua-mobile": "?0","sec-ch-ua-platform": "\"Windows\"","sec-fetch-dest": "document","sec-fetch-mode": "navigate","sec-fetch-site": "cross-site","sec-fetch-user": "?1","upgrade-insecure-requests": "1","user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"
}self.cookies = {‘填入你的cookies’}self.db = pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='921108',db='data')self.cursor = self.db.cursor()def get_zhonglei(self, j ,i):url = "https://movie.douban.com/chart"response = requests.get(url, headers=self.headers, cookies=self.cookies).texthtml = etree.HTML(response)span_list = html.xpath('//*[@id="content"]/div/div[2]/div[1]/div/span')for span in span_list:href = span.xpath('./a/@href')[0]# text = span.xpath('./a/text()')[0]# print(url)type_ = re.findall(r'type=(\d+)', href)[0]# print(type_)url = f'https://movie.douban.com/j/chart/top_list_count?type={type_}&interval_id=100%3A90&action='response = requests.get(url=url, headers=self.headers, cookies=self.cookies).json()filtered_total = response['filtered_total']print(type_, filtered_total)self.parse(type_, filtered_total, j, i)def parse(self, type_, filtered_total, j, i):url = "https://movie.douban.com/j/chart/top_list"params = {"type": type_,"interval_id": "100:90","action": "","start": "0","limit": filtered_total,}response = requests.get(url, headers=self.headers, cookies=self.cookies, params=params).json()for item in response:title = item['title']actor_count = item['actor_count']actors = item['actors']score = item['rating'][0]regions = item['regions'][0]release_date = item['release_date']types = item['types']vote_count = item['vote_count']j += 1# i.append([j, title, actor_count, actors, score, regions, release_date, types, vote_count])# print(j, title, actor_count, actors, score, regions, release_date, types, vote_count)if len(release_date) == 4:movie_date = f"{release_date}-01-01"else:movie_date = release_datemovie_name = titlemovie_type = str(types)movie_country = regionsactor_name = str(actors)score_all = vote_countprint(j, movie_name,movie_date,movie_type, movie_country,actor_name,score, score_all)# 插入movies表try:sql = "insert into movie_info (movie_name,movie_date,movie_type, movie_country,actor_name,score, score_all) values (%s,%s,%s,%s,%s,%s,%s)"self.cursor.execute(sql, (movie_name,movie_date,movie_type, movie_country,actor_name,score, score_all))self.db.commit()except pymysql.MySQLError as e:print(f"An error occurred: {e}")# self.db.rollback()pass
if __name__ == '__main__':j = 0i = []spider = Douban()spider.get_zhonglei(j, i)

        通过这段代码，我们就可以实现从豆瓣电影平台获取丰富的电影数据，并将它们有序地存储到我们自己的数据库中啦，是不是很有意思呢？当然，在实际应用中，我们还可以根据自己的需求对代码进行进一步的优化和扩展哦。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/61804.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

YOLOv11（Ultralytics）视频选定区域目标统计计数及跟踪

YOLOv11（Ultralytics）视频选定区域目标统计计数及跟踪

在计算机视觉的众多应用场景中，对特定区域的目标进行检测、跟踪与计数是一个常见且重要的需求。无论是在智慧交通中统计通过特定路口的车辆数量，还是在零售分析中追踪进入特定区域的顾客行为，这一功能都发挥着不可或缺的作用。 随着深度学习…
阅读更多...
数据结构与算法——1120——时间空间效率问题求边界值

数据结构与算法——1120——时间空间效率问题求边界值

目录 1、效率问题 1、时间复杂度 1、O(1) 2、O(n) 3、O(n) 或O(n*log2n)——n倍的log以2为底n的对数 例题 4、O(n) 2、空间复杂度 3、数组和链表 2、面试题之求边界值 题目 解答 （1）-i （2）~i （3&#x…
阅读更多...
第三十九篇 ShuffleNet V1、V2模型解析

第三十九篇 ShuffleNet V1、V2模型解析

摘要 ShuffleNet V1 ShuffleNet V1是由旷视科技（Megvii，又称Face）在2017年底提出的一种轻量级卷积神经网络架构。该网络专为移动设备和边缘计算环境设计，旨在以较低的计算资源实现高效的图像分类和其他计算机视觉任务。 特点与…
阅读更多...
本地推流，服务器拉流全流程

本地推流，服务器拉流全流程

本地推流，服务器拉流全流程 环境准备：准备一台服务器，其中openssl最好为1.1.1版本（可以直接使用ubuntu20.04操作系统） 服务器拉流 1、 安装环境依赖 sudo apt-get update sudo apt-get install unzip sudo apt-get…
阅读更多...
基于Java Springboot海洋馆预约系统

基于Java Springboot海洋馆预约系统

一、作品包含 源码数据库设计文档万字PPT全套环境和工具资源部署教程 二、项目技术 前端技术：Html、Css、Js、Vue、Element-ui 数据库：MySQL 后端技术：Java、Spring Boot、MyBatis 三、运行环境 开发工具：IDEA/eclipse 数据…
阅读更多...
产业用机器人中的旋转花键若损伤有何影响？

产业用机器人中的旋转花键若损伤有何影响？

旋转花键在产业用机器人中是关键的组件之一，如果机器人中的旋转花键损坏，会对机器人的运行和性能产生一定影响。以下是可能的影响： 1、功能受限：旋转花键用于连接两个旋转部件（例如电机轴和传动轴）&#xf…
阅读更多...
CLIP-Adapter: Better Vision-Language Models with Feature Adapters 论文解读

CLIP-Adapter: Better Vision-Language Models with Feature Adapters 论文解读

abstract 大规模对比视觉-语言预训练在视觉表示学习方面取得了显著进展。与传统的通过固定一组离散标签训练的视觉系统不同，(Radford et al., 2021) 引入了一种新范式，该范式在开放词汇环境中直接学习将图像与原始文本对齐。在下游任务中，通…
阅读更多...
百度在下一盘大棋

百度在下一盘大棋

这两天世界互联网大会在乌镇又召开了。 我看到一条新闻，今年世界互联网大会乌镇峰会发布“2024 年度中国互联网企业创新发展十大典型案例”，百度文心智能体平台入选。 这个智能体平台我最近也有所关注，接下来我就来讲讲它。 百度在下一盘大棋…
阅读更多...
RabbitMQ4：work模型

RabbitMQ4：work模型

欢迎来到“雪碧聊技术”CSDN博客！ 在这里，您将踏入一个专注于Java开发技术的知识殿堂。无论您是Java编程的初学者，还是具有一定经验的开发者，相信我的博客都能为您提供宝贵的学习资源和实用技巧。作为您的技术向导，我将…
阅读更多...
基于SpringBoot的数据结构系统设计与实现（源码+定制+开发)

基于SpringBoot的数据结构系统设计与实现（源码+定制+开发)

博主介绍： ✌我是阿龙，一名专注于Java技术领域的程序员，全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师，我在计算机毕业设计开发方面积累了丰富的经验。同时，我也是掘金、华为云、阿里云、InfoQ等平台…
阅读更多...
100.【C语言】数据结构之二叉树的堆实现(顺序结构) 1

100.【C语言】数据结构之二叉树的堆实现(顺序结构) 1

目录 1.顺序结构 2.示意图 ​编辑 从物理结构还原为逻辑结构的方法 3.父子节点编号的规律 4.顺序存储的前提条件 5.堆的简介 堆的定义 堆的两个重要性质 小根堆和大根堆 6.堆的插入 7.堆的实现及操作堆的函数 堆的结构体定义 堆初始化函数HeapInit 堆插入元素函…
阅读更多...
支持多种快充协议和支持多种功能的诱骗取电协议芯片

支持多种快充协议和支持多种功能的诱骗取电协议芯片

汇铭达XSP15是一款应用于手持电动工具、智能家居、显示器、音箱等充电方案的大功率快充协议芯片，支持最大功率100W给设备快速充电，大大缩短了充电时间。芯片支持通过UART串口发送电压/电流消息供其它芯片读取。支持自动识别连接的是电脑或是充电器。支持…
阅读更多...
Three.js 相机控制器Controls

Three.js 相机控制器Controls

在 3D 场景中，摄像机的控制尤为重要，因为它决定了用户如何观察和与场景互动。Three.js 提供了多种相机控制器，最常用的有 OrbitControls、TrackballControls、FlyControls 和 FirstPersonControls。OrbitControls 适合用于查看和检查 3D 模型…
阅读更多...
CMake笔记：install(TARGETS target,...)无法安装的Debug/lib下

CMake笔记：install(TARGETS target,...)无法安装的Debug/lib下

1. 问题描述 按如下CMake代码，无法将lib文件安装到Debug/lib或Release/lib目录下，始终安装在CMAKE_INSTALL_PREFIX/lib下。 install(TARGETS targetCONFIGURATIONS DebugLIBRARY DESTINATION Debug/lib) install(TARGETS targetCONFIGURATIONS Release…
阅读更多...
docker安装使用Elasticsearch，解决启动后无法访问9200问题

docker安装使用Elasticsearch，解决启动后无法访问9200问题

1.docker安装、启动es docker pull elasticsearch:8.13.0docker images启动容器 docker run -d -p 9200:9200 -p 9300:9300 -e ES_JAVA_OPTS"-Xms256m -Xmx256m" --name es01 8ebd258614f1-d 后台运行-p 9200:9200 -p 9300:9300 开放与主机映射端口-e ES_JAVA_OPTS…
阅读更多...
java-排序算法汇总

java-排序算法汇总

排序算法： 冒泡排序（Bubble Sort） 选择排序（Selection Sort） 插入排序（Insertion Sort） 快速排序（Quick Sort） 归并排序（Merge Sort） 堆排序&…
阅读更多...
【笔记】自动驾驶预测与决策规划_Part7_数据驱动的预测方法

【笔记】自动驾驶预测与决策规划_Part7_数据驱动的预测方法

文章目录 0. 前言1. 多模态传感器的编码方式1.1 栅格化表示1.2 向量化表示 Vectornet1.3 基于点云或者多模态输入的预测1.4 基于Transformer的方法 2. 网络输出的表达形式2.1 多模态轨迹回归2.2 轨迹分类2.3 轨迹回归轨迹分类2.4 目标点预测 3.场景级别的预测和决策3.1 论文&am…
阅读更多...
Tortoise ORM

Tortoise ORM

官方文档：Tortoise ORM - Tortoise ORM v0.22.0 Documentation 简介 Tortoise ORM：异步，API和Django ORM 大多类似集成Pydantic；多用于asgi starlette / sanic / FastAPI...Sqlalchemy：支持异步，Flask / …
阅读更多...
【大数据学习 | Spark-Core】关于distinct算子

【大数据学习 | Spark-Core】关于distinct算子

只有shuffle类的算子能够修改分区数量，这些算子不仅仅存在自己的功能，比如分组算子groupBy，它的功能是分组但是却可以修改分区。 而这里我们要讲的distinct算子也是一个shuffle类的算子。即可以修改分区。 scala> val arr Array(1,1,2,…
阅读更多...
java基础概念36：正则表达式1

java基础概念36：正则表达式1

一、正则表达式的作用 作用一：校验字符串是否满足规则；作用二：在一段文本中查找满足要求的内容。——爬虫 二、正则表达式 2-1、字符类 示例： public static void main(String[] args) {System.out.println("a".matc…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023