【爬虫实战】2024知乎热榜可视化爬取

项目功能简介：

1.支持配置；
2.单次爬取；
3.循环爬取；
4.爬虫暂停；
5.数据清除；
6.数据保存到csv文件；
7.程序支持打包成exe文件；
8.项目操作说明文档；
9.模块封装到类，方便学习、二次开发；

一.最终效果

1.1程序界面:

1.2保存数据到csv:

二.项目代码

2.1 编写界面

该脚本的界面使用PyQt5库开发，经过测试这个库的运行时性能要优于Tkinter,特别是实在多数据数据表单滑动，Tkinter卡顿太严重，因此我们使用性能出色的PyQt5来实现，界面编写过程大致如下：

class MyForm(QWidget):update_table_signal = pyqtSignal(dict)current_row = 0my_timer = Nonerefresh_counts = 0def __init__(self):super().__init__()self.thread_pool = QThreadPool()self.form_data = {}...def initUI(self):# 设置窗口属性self.setGeometry(100, 100, 1000, 600)self.setWindowTitle('知乎·热榜·可视化抓取')self.center_on_screen()# 在垂直布局中添加第一排和第二排的水平布局self.layout = QVBoxLayout()# 第二排self.layout_row2 = QHBoxLayout()self.btn_start = QPushButton('开始采集')self.btn_stop = QPushButton('停止采集')self.btn_stop.setEnabled(False)self.label_counts = QLabel('每隔多久重新采集一次')self.layout.addLayout(self.layout_row2)self.table = QTableWidget(self)...

2.2 配置

请求数据需要的headers、cookies、请求url都在config.json文件中配置,如下图：

2.3 操作说明

1.不输入时间间隔默认为单次采集，输入后会以秒为单位重复采集；

2.重复采集时会如果热榜有更新，会增量更新，例如最新一次的数据与前一次的数据有不同的A数据，则A数据会增量更新到结果中；如果数据A已经存在，则用最新的数据更新A，而不会在csv中新增一行；

3.“停止按钮”按钮被点击后，会等待正在爬取的行为完成后停止后续爬取行为(可根据按钮是否可点击指示操作即可！)

三.保存数据

数据保存继续使用pandas库，安装: pip install pandas,使用pandas保存，用法如下：

    def data_to_save(self, data_list):# 创建 DataFrame 对象df = pd.DataFrame(data_list)# 检查是否有文件has_file = self.check_data()if not has_file:# 不存在则添加df.to_csv(self.file_path, index=False, columns=["titleArea", "metricsArea", "answerCount", "link", "excerptArea"])return# 读取文件exist_df = pd.read_csv(self.file_path)# 合并数据merged_df = pd.merge(exist_df, df, on="link", how="outer")# 去重merged_df = merged_df.drop_duplicates(subset="link", keep="last")...

代码中已添加注释，方便初学者理解

四.项目说明文档

安装 python3

到官网下载 python 3.8.x 版本安装包，根据提示安装（windows 请勾选添加环境变量复选框）

注意：python 是 3.8.x，不能是 3.9+(否则 pyinstaller 打包时可能报错)

本地运行

pip install pandas bs4 PyQt5python3 main.py

开始打包

pyinstaller -F -w --name '知乎·热榜·可视化抓取' main.py (没有 main.spec 文件用此命令)
或者
pyinstaller main.spec (有 main.spec 文件可用此命令)pyinstaller 打包完成后，项目的根目录下会自动生成一个 dist 目录，exe 文件就在此目录中，此时的 exe 可以单独拷贝到任何地方运行；运行 exe 文件之前务必看下面的“注意事项”。