首先安装需要的python库,
安装完之后利用navicat导入数据库文件bili100.sql到mysql中,
再在pycharm编译器中连接mysql数据库,并在设置文件中将密码修改成你的数据库密码。最后运行app.py,打开链接,即可运行。
B站爬虫数据分析可视化项目
python爬虫数据分析可视化项目
哔哩哔哩bilibiliTOP100数据并可视化
Python爬取哔哩哔哩各分区TOP100排行榜数据,保存到MySQL数据库中,利用PyEcharts库进行可视化。
可视化图表包括:各分区占比饼图、各分区总播放数漏斗图、综合排名标题词云图、各分区点赞投币收藏情况、各分区弹幕评论转发情况和综合收藏投币点赞情况。
核心算法代码分享如下:
import time
import pymysqlclass dbUtil():def __init__(self):conn, cursor = self.get_conn()self.conn = connself.cursor = cursordef get_time(self):time_str = time.strftime("%Y{}%m{}%d{} %X")return time_str.format("年", "月", "日")def get_conn(self):# 建立连接conn = pymysql.connect(host="127.0.0.1", user="root", password="123456", db="bili100", charset="utf8")# c创建游标Acursor = conn.cursor()return conn, cursordef close_commit(self):self.conn.commit()if self.cursor:self.cursor.close()if self.conn:self.conn.close()def close(self):self.conn.commit()if self.cursor:self.cursor.close()if self.conn:self.conn.close()def query(self, sql, *args):self.cursor.execute(sql, args)res = self.cursor.fetchall()return resdef query_noargs(self, sql):self.cursor.execute(sql)res = self.cursor.fetchall()return res