爬取今日头条财经版块新闻

使用jupyter编辑, etree爬取

进入头条财经新闻网页,无法获取原网页内容,在查看各个请求中发现一个url里包含新闻信息.信息都在data里

 

import requests
from lxml import etree
import json
url = "https://www.toutiao.com/api/pc/feed/?category=stock&utm_source=toutiao&widen=1&max_behot_time=0&max_behot_time_tmp=0&tadrequire=true&as=A1C51CD5E0C5598&cp=5C50D50599C8BE1&_signature=4tjOJQAAvpNI946lUObjM-LYzj"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3610.2 Safari/537.36","Connection": "close"
}response = requests.get(url=url,headers=headers)
response.encoding = "utf-8"
page_text = json.loads(response.text)  # 获取页面内容
# print(page_text)

data = page_text['data']  # 获取data
# print(data)
news_dict = {}  # 存放每条新闻信息的字典
news_list = []  # 存放所有新闻信息的列表
for news in data:news_dict['描述'] = news['abstract']news_dict['标题'] = news['title']news_dict['来源'] = news['source']news_dict['关键字'] = news['label']news_list.append(news_dict)news_dict={}print(news_list)

 

转载于:https://www.cnblogs.com/huangqihui/p/10336270.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484247.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络(九)-物理层(补充)-傅里叶变换-信道复用

一.几个术语 1.码元------在使用时间域(时域)的波形表示数字信号时,代表不同离散数值的基本波形。 2.调制------把数字信号转换为模拟信号的过程。 3.解调------把模拟信号转换为数字信号的过程。 4.双绞线水晶头:从左到右分别为橙白橙(发送)、绿白蓝、蓝白绿、…

硅光芯片:突破“摩尔定律”曙光初现

来源:中国军网讲叙人:江天,国防科技大学前沿交叉学科学院研究员作者:王握文、任永存、朱晰然它是在硅基平台上将光电子和微电子融合起来的一种新技术它显示出的优异性能,为芯片研发“换道超车”带来希望它发展方兴未艾…

计算机网络(十)-数据链路层-差错控制

一.差错控制 1.1 差错: 噪声引起 全局性:由于线路本身电气特性所产生的随机噪声(热噪声),是信道固有的,随机存在。解决办法:提高信噪比来减小或避免干扰。局部性:外界特定的短暂原因所造成的的冲击噪声,是产生的差错…

第八篇!95后天才少年曹原再发Nature!

来源:自科在线编辑:nhyilin2021年7月21日,“石墨烯驾驭者“曹原作为第一作者和通讯作者在国际顶尖学术期刊 Nature 发表了题为:Pauli-limit violation and re-entrant superconductivity in moir graphene 的研究论文。这是这位95…

计算机网络(十一)-数据链路层-流量控制

一.流量控制 1.1 较高的发送速度和较低的接收能力的不匹配,因此流量控制也是数据链路层的一项重要工作。 1.2 数据链路层的流量控制是点对点的,而传输层的流量控制是端到端的。 1.3 数据链路层流量控制手段:接收方收不下就不回复确认。 传…

加强原始创新和基础研究的前提:三项破解之策

来源:国家智库 作者:刘益东,系中国科学院自然科学史研究所研究员世界科技史证明,谁拥有了一流创新人才、拥有了一流科学家,谁就能在科技创新中占据优势。当前,我国科技发展正进入以原始创新、基础研究为主…

计算机网络(十二)-信道划分介质访问控制-信道复用

一.传输数据的两种链路 点对点链路:两个相邻节点通过一个链路相连,没有第三者。应用PPP协议,常用于广域网。广播式链路:所有主机共享通信介质。早期的总线以太网、无线局域网、常用于局域网。典型的拓扑结构:总线型、星型(逻辑总…

深度学习领域有哪些瓶颈?

来源:知乎 编辑:深度学习与计算机视觉深度学习近年来成为计算机领域最耀眼的明星,衍生出许多实际的应用,主要是在推理与决策等方面取得了突破。然而深度学习如何在超越图像、语音及自然语言处理方面做出更多成绩,比如…

Codeforces Round #462 (Div. 2), problem: (C) A Twisty Movement (求可以转一次区间的不递增子序列元素只有1,2)...

题目意思&#xff1a; 给长度为n&#xff08;n<2000&#xff09;的数字串&#xff0c;数字只能为1或者2&#xff0c;可以将其中一段区间[l,r]翻转&#xff0c;求翻转后的最长非递减子序列长度。 题解&#xff1a;求出1的前缀和&#xff0c;2的后缀和&#xff0c;以及区间[i,…

计算机网络(十三)-数据链路层-动态分配信道

一.动态分配信道 也称动态媒体接入控制/多点接入&#xff0c;特点是信道并在用户通信时固定分配给用户。 轮询访问介质访问控制: -令牌传递协议随机访问介质访问控制:所用用户可随机发送信息&#xff0c;发送信息时占全部宽带。 -ALOHA协议 -CSMA协议 -CSMA/CD协议 -CSMA/CA协…

元宇宙大热后将陷低潮, 虚实互联网更准确, 2030前后才可能全面热启

作者&#xff1a;DCCI*未来智库、未来实验室专家胡延平来源&#xff1a;今日头条3个判断、3个野心、技术要件6个瓶颈&#xff1b;虚实互联网这个概念元宇宙信徒听起来有些扎心但真实恰当......扎克伯格称Facebook要从社交转型为一家元宇宙公司的专访瞬间刷屏&#xff0c;将去年…

python28 excel读取模块xlrd

安装&#xff1a; pip install xlrd 简单使用&#xff1a; import xlrdbook xlrd.open_workbook(rC:\Users\dinghanhua\Desktop\yqqapi.xlsx) # 打开excel print("the number of sheets:",book.nsheets) # sheet数量 print("sheet_names:",book.sheet_nam…

计算机网络(十四)-CSMA/CD协议

一.CSMA/CD协议 载波监听多点接入/碰撞检测CSMA/CD。 1.1 CS&#xff1a;载波侦听/监听&#xff0c;每一个站在发送数据之前以及发送数据时都要检测一下总线上是否有其他计算机在发送数据。 1.2 MA&#xff1a;多点接入&#xff0c;表示多计算机以多点接入的方式连接在一根总…

机器人流程自动化(RPA)系统原理及特点

来源&#xff1a;OFweek机器人编者按机器人流程自动化&#xff08;RPA&#xff09;系统是一种应用程序&#xff0c;它通过模仿最终用户在电脑的手动操作方式&#xff0c;提供了另一种方式来使最终用户手动操作流程自动化。可迅速实现业务提效&#xff0c;将重复性劳动进行自动化…

计算机网络(十五)-数据链路层-CSMA/CA协议

一.CSMA/CA协议 载波监听多点接入/碰撞避免CSMA/CA 主要在无线局域网中使用。 1.1 工作原理 发送数据前&#xff0c;先检测信道是否空闲。空闲则发出RTS&#xff0c;RTS包括发送端的地址、接收端的地址、下一份数据将持续发送的时间等信息&#xff1b;信道忙则等待。接收端收…

自动驾驶中的机器学习

出品&#xff1a;CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;作者&#xff1a;Denis Chikurtev译者&#xff1a;马超 责编&#xff1a;晋兆雨以下为译文&#xff1a;近年来&#xff0c;自动驾驶技术技术的发展速度非常快。预计达到完全自动驾驶L5的程度是指日可待的…

计算机网络(十六)-轮询访问介质访问控制

介质访问控制 1.几种协议 信道划分介质访问控制(MAC)协议&#xff1a; 基于多路复用技术划分资源。网络负载重&#xff1a;共享信道效率高&#xff0c;且公平。网络负载轻&#xff1a;共享信道效率低。 随机访问MAC协议&#xff1a; 用户根据意愿随机发送信息&#xff0c;…

区分真实模式的两个标准

来源&#xff1a;混沌巡洋舰人类作为模式发现者&#xff0c;处于一触即发的状态&#xff0c;我们可以倾向于在一个系统找到模式&#xff0c;而这个系统可能并不真实存在。由此&#xff0c;问题出现了&#xff0c;宇宙究竟是按照模式运行的&#xff0c;还是人类只是在我们看到的…

计算机网络(十七)-局域网

一.局域网 1.1 简称LAN&#xff0c;是指在某一区域内由多台计算机互联成的计算机组&#xff0c;使用广播信道。 1.2 特点 覆盖的地理范围较小&#xff0c;只在一个相对独立的局部范围内联。使用专门铺设的传介质进行联网&#xff0c;数据传输速率高。通信延迟时间短&#xf…

最让青年科学家们困惑的 10 个问题,是什么?

来源&#xff1a;腾讯研究院8 月 1 日&#xff0c;首届“青年科学家 50 论坛”在南方科技大学隆重拉开帷幕&#xff0c;由 100 位“科学探索奖”获奖人发起并投票选出的“十大科学技术问题”&#xff0c;在开幕式中重磅发布。这些问题体现了中国顶尖青年科学家们最前沿的科学探…