python爬去微博十大流行语_用python重新定义【2019十大网络流行语】-后台/架构/数据库-敏捷大拇指-一个敢保留真话的IT精英社区...

↑关注 + 置顶 ~ 有趣的不像个技术号

52568040f9313098ffa367d9d9d21437.jpg (5.73 KB, 下载次数: 0)

2019-12-10 04:43 上传

3f4d5fe0016d011a7a68af763314befd.jpg (1.06 KB, 下载次数: 0)

2019-12-10 04:43 上传

“文明互鉴真硬核,

融梗柠檬谁觉得。

霸凌第一九九六,

块链不知太难了。”

12月1日,《咬文嚼字》编辑部以一首“顺口溜”发布2019年度十大流行语。“文明互鉴”、“区块链”、“硬核”、“融梗”、“××千万条,××第一条”、“柠檬精”、“996”、“我太难/南了”、“我不要你觉得,我要我觉得”、“霸凌主义”十条流行语入选。

微博评论下有很多网友纷纷表示,

XXX为什么能上榜?

XXX为什么没上榜?

这点呢,小五表示理解,毕竟采用不同的统计口径得出的结论可能不同。

那么,小五干脆也自己定义个统计口径,重新“定义”一下【2019十大网络流行语】

此处致敬一下重新定义的鼻祖——罗老师。

获取数据

通过搜索“网络流行语”,可以发现已经有网站帮我们做了整理。

223808b7dd600bad228263e287f6b6c7.jpg (47.99 KB, 下载次数: 0)

2019-12-10 04:43 上传

利用python爬虫可以获取该网站的2019年度所有网络流行语。

def main():

data = []

n = 1

for i in range(4542,5589):

dic = {}

url = 'https://www.lxybaike.com/index.php?doc-view-'+str(i)+'.html'

print('已成功采集{}条数据'.format(n))

html = restaurant(url)

doc = pq(html)

dic['tittle'] = doc('#doctitle').text()

dic['num'] = doc('#doc-aside > div.columns.ctxx > ul > li:nth-child(1)').text()

data.append(dic)

time.sleep(random.random())

n = n + 1

return data

爬取成功√

共929个词语。

我们在获取这些热门流行词的同时,也获取了他们的一些其他数据,比如浏览次数和出现时间。

18a8dbac379c61faeac94387d25be66a.jpg (1.45 KB, 下载次数: 0)

2019-12-10 04:43 上传

但浏览次数很难作为评判这个词语是否热门的指标,毕竟大家又不是都来这个网站搜索,所以还是需要一个全网的数据才更准确一点。

一开始选择了百度指数,结果发现很多词语没有收录,需要付费。于是我就选用了搜狗指数!

29ecaeda685986a6d866fe0e71978470.jpg (26.74 KB, 下载次数: 0)

2019-12-10 04:43 上传

将刚才爬取得到的929个网络流行语,可以根据下面式子来构造url。

urls= 'http://zhishu.sogou.com/index/searchHeat?kwdNamesStr='+str(name)+'&timePeriodType=YEAR&dataType=SEARCH_ALL'

再循环爬取依次得到他们的年度平均搜索指数。

成功得到2019年度网络热门流行词排行榜(凹凸玩数据版)!

a3cc1f67bd63f9adfdcf8a0b4092c95a.jpg (1.6 KB, 下载次数: 0)

2019-12-10 04:43 上传

其中标记绿色的词语为2018年末出现,在2019年开始流行,在统计时也列入列入2019流行语中。

2019网络热门流行词排行榜

根据上文得到的热门流行词排行榜,小五又搜集了一些网上的资料 ,利用PS来制作了十张流行词的解释图。

下面开始颁奖:

a6ddbecf687a0b21da59bcf3fbb5c022.jpg (137.57 KB, 下载次数: 0)

2019-12-10 04:43 上传

7e82671017589cdf75d30381e9c6b129.jpg (155.98 KB, 下载次数: 0)

2019-12-10 04:43 上传

c7eb68572d035949321679c8d955028e.jpg (132.74 KB, 下载次数: 0)

2019-12-10 04:43 上传

f20afbd6b6ffd0d7c49190aebc7e7e65.jpg (147.48 KB, 下载次数: 0)

2019-12-10 04:43 上传

0a12d45b2324c0834e6ae80802ddf48a.jpg (127.49 KB, 下载次数: 0)

2019-12-10 04:43 上传

5adda4f906d5307135ab0e1b2a8b4e21.jpg (109.68 KB, 下载次数: 0)

2019-12-10 04:43 上传

a26b0c9b60d0d4dac3650db3c971f766.jpg (147.62 KB, 下载次数: 0)

2019-12-10 04:43 上传

cb511e765a24511056588f0354328596.jpg (156.05 KB, 下载次数: 0)

2019-12-10 04:43 上传

f56d9e9fd888bf96f605046467a89852.jpg (190.74 KB, 下载次数: 0)

2019-12-10 04:43 上传

ae68d36d8cc15a2987db294a3b48e35d.jpg (146.02 KB, 下载次数: 0)

2019-12-10 04:43 上传

一千个人眼中就有一千个哈姆雷特。

相信每个人心里都有自己的一个流行语排行榜。

不知道小五重新定义的排行榜与你心中的相差多少?

相关爬虫源码已上传github:https://github.com/zpw1995/aotodata/tree/master/interest/popular作者:朱小五,互联网公司数据分析师。热衷于Python爬虫,数据分析,可视化,个人公众号《凹凸玩数据》,有趣的不像个技术号~

End

4e7d4b146bb4506a3fbb193f6fc13dd1.jpg (59.72 KB, 下载次数: 0)

2019-12-10 04:43 上传

82a6ccfa8d7c06c0b568e27cf01e7cc3.jpg (58.86 KB, 下载次数: 0)

2019-12-10 04:43 上传

2ca21464023cecc343f6460a5e071775.jpg (73.89 KB, 下载次数: 0)

2019-12-10 04:43 上传

a40d98e451d65736cd8b251f0700a73b.jpg (42.66 KB, 下载次数: 0)

2019-12-10 04:43 上传

游客,本帖隐藏的内容需要积分高于 10240000 才可浏览,您当前积分为 0

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/533969.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java中怎么获取配置文件的值_java如何获取配置文件的值

转:原创 编码小王子 发布于2018-10-11 18:07:52 阅读数 2722 收藏展开java大型项目中都会很多系统常量,比如说数据库的账号和密码,以及各种token值等,都需要统一的管理,如果零落的散布到各个类等具体的代码中的话,在后期管理上将是一场灾难,所有需要对这些变量进行统…

python实现队列_用Python实现的数据结构与算法:队列

一、概述队列(Queue)是一种先进先出(FIFO)的线性数据结构,插入操作在队尾(rear)进行,删除操作在队首(front)进行。二、ADT队列ADT(抽象数据类型)一般提供以下接口:Queue() 创建队列enqueue(item) 向队尾插入项dequeue() 返回队首的项&#xf…

java 监听窗口是否改变_JAVA项目监听文件是否发生变化

一.spring容器都初始化完成之后做操作packagecom.bijian.study.listener;importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.context.ApplicationListener;importorg.springframework.context.event.ContextRefreshedEvent;importorg.s…

笨办法学python3 pdf 脚本之家_解决python3输入的坑——input()

如下所示:a,b,c,d input()很简单的代码,如果输入为1 -1 -2 3结果会报错,原因在于input函数会将你的输入作为python脚本运行,那么输入就变成了1-1 -2 3,即0 -2 3结果当然是错误的了,解决办法就是将输入用引…

java 数组写法_java书写、数据类型、数组定义

这里只记录java与php、javascript不同的地方,相同的地方就不赘述了。1.java文件源码为以.java为后缀的文件,字节码文件是以.class为后缀的文件。2.写好一个java源码之后,cmd进入源码文件盘符,用命令 javac helloworld.java将源码转…

python爬虫高级知识点_Python爬虫知识点梳理总结,殿堂级小白入门必读

数据分析是任何技术一样。你应该学习的目标。目标就像灯塔,指引你前进。我见过很多合作伙伴学习学习,然后学会放弃。事实上,很大一部分原因是没有明确的目标,所以你必须清楚学习的目的。你准备学习爬行之前,问问你自己为什么你想学爬行。有些人为了工作,一些为了好玩,和做一定黑…

java running_Running

/****/package test;import java.sql.ResultSet;import java.sql.SQLException;/*** author huangqin**/public class QuestString {private int curPage;//当前页数private int maxPage;//最大页数private int maxRowCount;//总记录数private int pageSize2;//每页显示的记录数…

python停用词表_多版本中文停用词词表 + 多版本英文停用词词表 + python词表合并程序...

文章简介与更新记录如果你只想获取中文停用词此表,请直接到文章结尾下载项目文件,其中包括三个中文停用词词表,一个英文停用词词表和一个合并词表的.py文件2017/07/04 创建文章,上传文件2017/07/04 更新了合并代码,添加了新的中文停用词表(哈工大扩展版本)和一个新的停用词表,现…

mysql collect_set_hive列转行 (collect_set())

一、问题hive如何将a b 1a b 2a b 3c d 4c d 5c d 6变为:a b 1,2,3c d 4,5,6二、数据test.txta b 1a b 2a b 3c d …

python编写递归函数和非递归函数、输出斐波那契数列_分别用非递归和递归的方法编写函数求斐波那契数列第n项。斐波那契数列1,1,2,3,5,8,13,…...

展开全部/**已知Fibonacci数列&#xff1a;1,1,2,3,5,8,……&#xff0c;F(1)1&#xff0c;F(2)1&#xff0c;F(n)F(n-1)F(n-2)*/#include #include typedef long long int int64;//方法1&#xff0c;递归法int64 Fibonacci(int n){int64 sum;if(n<0){printf("参数值e6…

python3.6安装ipython_centos6.5下安装python3.6、pip、ipython

一.先更换系统源为了下载顺畅一般都会更改为国内源。1 cd /etc/yum.repos.d/2 wget http://mirrors.163.com/.help/CentOS6-Base-163.repo #下载网易源3 mv CentOS-Base.repo CentOS-Base.repo.ori #备份源4 mv CentOS6-Base-163.repo CentOS-Base.repo #把网易源更改为默认源二…

java 多线程的同步问题_java多线程解决同步问题的几种方式,原理和代码

wait()/notify()方法await()/signal()方法BlockingQueue阻塞队列方法PipedInputStream/PipedOutputStream阻塞队列的一个简单实现&#xff1a;public class BlockingQueue {private List queue new LinkedList();private int limit 10;public BlockingQueue(int limit){this…

python期末大作业_大一期末考试很重要,考得好不仅有机会有钱拿,还有机会换专业...

现阶段很多高校放寒假的时间已经公布&#xff0c;这也就意味着&#xff0c;大学期末考试即将到来。对于大一新生来说&#xff0c;大学的期末考试是比较新鲜的&#xff0c;因为大家都没有经历过。经历过大学考试的学生&#xff0c;都知道大学的大概学习模式&#xff0c;一般情况…

java http 302重定向_Java 纯HTTP请求 禁止302自动重定向

Java 纯HTTP Get请求获取响应内容&#xff0c;如果发生302重定向&#xff0c;继而模拟请求域获取重定向后的响应内容。关键点&#xff1a;设置conn.setInstanceFollowRedirects为false即可示例代码public static void main(String[] args) {try {StringBuffer buffer new Stri…

python 且_Pyface库:一个基于pyqt、pyside、wx且简化的python的GUI

1 说明&#xff1a;1.1 Pyface库由大名鼎鼎的enthought出品。1.2 介绍&#xff1a;1.2.1 英文&#xff1a;traits-capable windowing framework.The pyface project contains a toolkit-independent GUI abstraction layer, which is used to support the "visualization&…

java方法的参数类型_Java 基础 14 方法的重载 与 方法参数类型详解

1.1 方法重载的概述和特点方法重载概述在同一个类中&#xff0c;允许存在一个以上的同名方法&#xff0c;只要它们的参数个数或者参数类型不同即可。方法重载特点与返回值类型无关&#xff0c;只看方法名和参数列表在调用时&#xff0c;虚拟机通过参数列表的不同来区分同名方法…

crv仪表上的i是什么指示灯_汽车打不着火是怎么回事,仪表盘汽车发动机故障灯亮是什么情况故障指示灯图解大全集...

如果打不着火&#xff0c;那有可能是起动机坏了&#xff0c;有可能是电池没电了&#xff0c;有可能是电路出现了问题&#xff0c;还有可能是点火系统出现了问题。汽车发动机的点火系统主要部件是火花塞和点火线圈&#xff0c;火花塞是一个需要定期更换的易损件。如果火花塞长时…

python极简教程_Python 极简教程(六)运算符

运算符&#xff0c;我们日常生活中使用的加减乘除&#xff0c;都是运算符的一种。当然这种一般我们称为算术运算符&#xff0c;用于处理数字运算的。但是在计算机语言中&#xff0c;还有很多的运算符。用于处理不用的情况。主要有以下几类&#xff1a;算术运算符比较运算符逻辑…

python函数可变长参数_day14 Python函数之可变长参数

函数参数1.形参变量只有在被调用时才分配内存单元&#xff0c;在调用结束时&#xff0c;即刻释放所分配的内存单元。因此&#xff0c;形参只在函数内部有效。函数调用结束返回主调用函数后则不能再使用该形参变量2.实参可以是常量、变量、表达式、函数等&#xff0c;无论实参是…

ubuntu 安装java jdk_「ubuntu安装jdk」Ubuntu安装jdk8的两种方式 - seo实验室

ubuntu安装jdk安装方式&#xff1a;1)&#xff1a;通过ppa(源) 方式安装.2)&#xff1a;通过官网安装包安装.JDK官网下载地址一&#xff1a;使用ppa(源)方式安装&#xff1a;1)&#xff1a;添加ppa源sudo add-apt-repository ppa:webupd8team/javasudo apt-get update2)&#x…