scrapy框架爬取豆瓣top250电影排行榜（下）

（3）在 pipeline.py 文件中对数据进行存储，此程序先写入 txt 文件中，是为了判断该程序是否能正确爬取出数据。此处使用了 json 库，使用 ensure_ascii = False，能够确保非 ASCII 字符（如中文）的数据写入 txt 文件中。

import json
class DoubanPipeline:def open_spider(self,spider):self.f = open('maoer1.json','w',encoding='utf-8')def process_item(self, item, spider):json_str = json.dumps(dict(item),ensure_ascii=False) + '\n'self.f.write(json_str)return itemdef close_spider(self,spider):self.f.close()

（4）在 setting.py 文件中设置优先级。

此外，在我调试的过程中，我发现得做反爬措施。

（5）在此项目下创建一个 main.py 文件，用于调试。

import os.path
import sys
from scrapy.cmdline import execute
currentFile = os.path.abspath(__file__)
currentPath = os.path.dirname(currentFile)
# print(currentPath)
sys.path.append(currentPath)
execute(["scrapy","crawl","db"])

（6）最终得到的数据如下（json 文件中）：

（7）将数据转存至 mysql 中，使用 pymysql 成功连接数据库后，通过 sql 语句 insert into 表名 values（值）将数据进行保存。

import mysql.connector
import jsonconn = mysql.connector.connect(host="127.0.0.1",user="root",password="010208",database="spider",port = 3306,charset = "utf8"
)cursor = conn.cursor()with open('maoer1.json', 'r') as file:data = json.load(file)for entry in data:description = entry.get('description', '')  # 确保title字段存在movie_name = entry.get('movie_name', '')director = entry.get('director', '')score = entry.get('score', '')sql = "INSERT INTO spider10 (description,movie_name,director,score) VALUES (%s,%s,%s,%s)"cursor.execute(sql, (description,movie_name,director,score))
conn.commit()cursor.close()
conn.close()

（8）结果展示