2019年7月17日游戏直播平台斗鱼在美国纳斯达克股票交易所成功上市，成为继虎牙直播之后第二家赴美上市的国内直播平台。

7月底斗鱼因为平台主播“乔碧萝殿下”事件再次被推上热搜。

段子手们纷纷调侃成为主播的门槛之低：只需要变声软件+盗图+超级美颜。

那么直播行业真的如同网友们所说的这么简单吗？

主播们的真实生存现状如何？

分析一下。

打开斗鱼直播界面，连续点击翻页

Network查看异步请求XHR，找到对应的URL

get。

成功获取到对应的URL。

https://www.douyu.com/gapi/rkc/directory/0_0/2

翻页只变动末尾的最后一个数字。

采用requests+pyquery来爬取。

部分爬虫代码如下。

def get_datas(url):
    data = []
    doc = get_json(url)
    jobs=doc['data']['rl']
    for job in jobs:
        dic = {}
        dic['user_name']=jsonpath.jsonpath(job,'$..nn')[0] #用户名
        dic['user_id']= jsonpath.jsonpath(job,'$..uid')[0] #用户ID
        dic['room_name']=jsonpath.jsonpath(job,'$..rn')[0]  #房间名
        dic['room_id']=jsonpath.jsonpath(job,'$..rid')[0] #房间ID
        dic['redu']=jsonpath.jsonpath(job,'$..ol')[0] #热度
        dic['c2name']=jsonpath.jsonpath(job,'$..c2name')[0] #分区
        dic['time']= stampToTime(time.time())  
        data.append(dic)
    return data  

剩下就是连续爬取，我设置的是10分钟爬取一次。

将爬取得到的数据存入Mysql中。

#存到Mysql
from sqlalchemy import create_engine

engine = create_engine('mysql+mysqldb://root:***密码***@localhost:3306/demo?charset=utf8mb4')
final_result.to_sql('data_douyu',con=engine, index=False, index_label=False,if_exists='append', chunksize=1000)

连续爬取了大概七天多时间，最终得到2062万条直播数据。

将数据导入python。

去重，其实爬虫部分已经设置去重，这里为了保险再来一次，不过事实证明确实没有重复。

因为实际爬取时间是0731下午到0808上午，为了方便后文计算，这里选取0801-0807这连续七天的直播数据。

#去重
data = data[['c2name', 'redu', 'room_id', 'room_name', 'time','user_id', 'user_name']].drop_duplicates()

#筛选时间
data = data.loc[(data['time'] <= '2019-08-07') & (data['time'] >= '2019-08-01')]

我们还需要对主播按照id分组汇总。

先利用groupby分类汇总，再计算增加新列。

data_abc['av_redu'] = data_abc['redu']/data_abc['time_num']
data_abc['hour'] = data_abc['time_num']/ 42  #每十分钟一次，七天
data_abc.head()

这样我们就又构建了一组以主播为索引的数据。

也就是说这七天之内，直播过的主播共有23万余人，那么下文让我们看看他们的生存现状吧。

将这23万主播按照平均直播时长和平均直播热度绘制一个散点图。

import seaborn as sns
import matplotlib as mpl #配置字体
mpl.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体
mpl.rcParams['axes.unicode_minus']

plt.figure(figsize=(8,8))
plt.xticks(fontsize=12)
plt.yticks(fontsize=12)

sns.scatterplot(data_test["hour"],data_test["av_redu"],hue=data_test["c2name"])

结果如下图所示。