python爬虫之爬取微博评论（4）

一、获取单页评论

随机选取一个微博，例如下面这个 

【#出操死亡女生家属... - @冷暖视频的微博 - 微博 (weibo.com)

1、fn+f12，然后点击网络，搜索评论内容，然后预览，就可以查看到网页内容里面还有评论内容

2、编写代码，获取网页信息，url是点击网络，然后点击标头，就会出现一个请求url 

# requets是一个爬虫的第三方库，需要单独安装
import requests# url是一访问网站的地址
url = 'https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=5024086457849590&is_show_bulletin=2&is_mix=0&count=10&uid=6532102014&fetch_level=0&locale=zh-CN'
# 1.发送请求
response = requests.get(url=url)
response.encoding = 'gbk'   #防止中文乱码
# 2.打印网页数据
print(response.text)

3、但是我们发现这个并不是像我们想的一样，将网页的文本用文字的方式呈现，那么接下来我们要用到一个方法，让我们能够用文字的方式输出网页数据----->定义请求头。为什么要定义请求头，因为从网站的设置初衷，它是不想服务于我们的爬虫程序的，网站正常只想服务于客户的访问服务，那么我们要将我们的爬虫程序伪装成为正常的服务。通常我们只需要设置 cookie 、referee、user-agent就够了(如果有些特殊的网站可能需要我们有其他的参数)  

点击网络，点击标头，标头界面向下划动，找到 cookie 、referer 、user-agent  。

import requests# 请求头
headers = {# 用户身份信息'cookie': 'XSRF-TOKEN=ZcbKzr5C4_40k_yYwTHIEj7k; PC_TOKEN=4496aa7595; login_sid_t=e6e7e18ba091dcafc2013982ea8fa895; cross_origin_proto=SSL; WBStorage=267ec170|undefined; _s_tentry=cn.bing.com; UOR=cn.bing.com,weibo.com,cn.bing.com; Apache=1040794478428.4973.1713353134174; SINAGLOBAL=1040794478428.4973.1713353134174; ULV=1713353134177:1:1:1:1040794478428.4973.1713353134174:; wb_view_log=1287*8051.9891666173934937; SUB=_2A25LG8JKDeRhGeFJ71MX9S3Lzj2IHXVoWVuCrDV8PUNbmtANLVnQkW9Nf_9NjBaZTVOL8AH-RMG38C00YruaYRtp; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5kReTqg1GgdNOFZ.hiJO0G5NHD95QNS0BpSo-0S0-pWs4DqcjMi--NiK.Xi-2Ri--ciKnRi-zNS0MXeKqfe0MfeBtt; ALF=02_1715945242; WBPSESS=FH255CAr_cfIbZ29-Y520e5NsKBGpFZni0Bmim3vDfjXHIPxgSSGqvAfC_UQmc3W2RLUzLHkkX4YI-_Pn1KHeHJhkeHw5kFxeJYgMYDr9t5bvBCMRkcG_IvV3Y2XiVRlu9ZS91UwfD5AH5MY7jhkfw==',# 防盗链'referer': 'https://weibo.com/6532102014/Oa6B7wW2i',# 浏览器基本信息'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'
}url = 'https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=5024086457849590&is_show_bulletin=2&is_mix=0&count=10&uid=6532102014&fetch_level=0&locale=zh-CN'
# 1.发送请求
response = requests.get(url=url, headers=headers)# 2.打印网页数据print(response.json()['data'][0]['text_raw'])

4、获取更多字节内容，然后存储到excel表格中

import requests
import csvf = open('评论.csv', mode='a', encoding='utf-8-sig', newline='')
csv_write = csv.writer((f))
csv_write.writerow(['id', 'screen_name', 'text_raw', 'like_counts', 'total_number', 'created_at'])# 请求头
headers = {# 用户身份信息'cookie': 'XSRF-TOKEN=ZcbKzr5C4_40k_yYwTHIEj7k; PC_TOKEN=4496aa7595; login_sid_t=e6e7e18ba091dcafc2013982ea8fa895; cross_origin_proto=SSL; WBStorage=267ec170|undefined; _s_tentry=cn.bing.com; UOR=cn.bing.com,weibo.com,cn.bing.com; Apache=1040794478428.4973.1713353134174; SINAGLOBAL=1040794478428.4973.1713353134174; ULV=1713353134177:1:1:1:1040794478428.4973.1713353134174:; wb_view_log=1287*8051.9891666173934937; SUB=_2A25LG8JKDeRhGeFJ71MX9S3Lzj2IHXVoWVuCrDV8PUNbmtANLVnQkW9Nf_9NjBaZTVOL8AH-RMG38C00YruaYRtp; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5kReTqg1GgdNOFZ.hiJO0G5NHD95QNS0BpSo-0S0-pWs4DqcjMi--NiK.Xi-2Ri--ciKnRi-zNS0MXeKqfe0MfeBtt; ALF=02_1715945242; WBPSESS=FH255CAr_cfIbZ29-Y520e5NsKBGpFZni0Bmim3vDfjXHIPxgSSGqvAfC_UQmc3W2RLUzLHkkX4YI-_Pn1KHeHJhkeHw5kFxeJYgMYDr9t5bvBCMRkcG_IvV3Y2XiVRlu9ZS91UwfD5AH5MY7jhkfw==',# 防盗链'referer': 'https://weibo.com/6532102014/Oa6B7wW2i',# 浏览器基本信息'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'
}url = 'https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=5024086457849590&is_show_bulletin=2&is_mix=0&count=10&uid=6532102014&fetch_level=0&locale=zh-CN'# 1.发送请求
response = requests.get(url=url, headers=headers)
# 2.获取数据# 3.提取数据
json_data = response.json()
data_list = json_data['data']for data in data_list:text_raw = data['text_raw']id = data['id']created_at = data['created_at']like_counts = data['like_counts']total_number = data['total_number']screen_name = data['user']['screen_name']print(id, screen_name, text_raw, like_counts, total_number, created_at)# 4.保存数据csv_write.writerow([id, screen_name, text_raw, like_counts, total_number, created_at])

二、获取多页评论

仔细观察，多条评论应该都会包含buildComments字段

 然后搜索buildComments字段，点进去看，会发现每一个路径都对应20条评论，但是我们人为输入每一条路径不显示，所以我们需要观察他们的规律

我们发现除开第一个分页格式不一样，其他分页的url完全一致，但是max_id的值不一样。我们可以多观察几组（例如第二个分页的max_id是第三个分页URL中的max_id）

 因此代码如下，

import requests
import csvf = open('评论.csv', mode='a', encoding='utf-8-sig', newline='')
csv_write = csv.writer((f))
csv_write.writerow(['id', 'screen_name', 'text_raw', 'like_counts', 'total_number', 'created_at'])# 请求头
headers = {# 用户身份信息'cookie': 'XSRF-TOKEN=ZcbKzr5C4_40k_yYwTHIEj7k; PC_TOKEN=4496aa7595; login_sid_t=e6e7e18ba091dcafc2013982ea8fa895; cross_origin_proto=SSL; WBStorage=267ec170|undefined; _s_tentry=cn.bing.com; UOR=cn.bing.com,weibo.com,cn.bing.com; Apache=1040794478428.4973.1713353134174; SINAGLOBAL=1040794478428.4973.1713353134174; ULV=1713353134177:1:1:1:1040794478428.4973.1713353134174:; wb_view_log=1287*8051.9891666173934937; SUB=_2A25LG8JKDeRhGeFJ71MX9S3Lzj2IHXVoWVuCrDV8PUNbmtANLVnQkW9Nf_9NjBaZTVOL8AH-RMG38C00YruaYRtp; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5kReTqg1GgdNOFZ.hiJO0G5NHD95QNS0BpSo-0S0-pWs4DqcjMi--NiK.Xi-2Ri--ciKnRi-zNS0MXeKqfe0MfeBtt; ALF=02_1715945242; WBPSESS=FH255CAr_cfIbZ29-Y520e5NsKBGpFZni0Bmim3vDfjXHIPxgSSGqvAfC_UQmc3W2RLUzLHkkX4YI-_Pn1KHeHJhkeHw5kFxeJYgMYDr9t5bvBCMRkcG_IvV3Y2XiVRlu9ZS91UwfD5AH5MY7jhkfw==',# 防盗链'referer': 'https://weibo.com/6532102014/Oa6B7wW2i',# 浏览器基本信息'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'
}def get_next(next='count=10'):url = f'https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=5024086457849590&is_show_bulletin=2&is_mix=0&{next}&count=20&uid=6532102014&fetch_level=0&locale=zh-CN'response = requests.get(url=url, headers=headers)json_data = response.json()data_list = json_data['data']max_id = json_data['max_id']for data in data_list:text_raw = data['text_raw']id = data['id']created_at = data['created_at']like_counts = data['like_counts']total_number = data['total_number']screen_name = data['user']['screen_name']print(id, screen_name, text_raw, like_counts, total_number, created_at)csv_write.writerow([id, screen_name, text_raw, like_counts, total_number, created_at])if max_id != 0:max_str = 'max_id=' + str(max_id)get_next(max_str)get_next()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/1628.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

前端：防止重复请求的方案

前端：防止重复请求的方案

前端：防止重复请求的方案 方案一、axios请求拦截器方案二、把相同的请求拦截掉方案三、（最佳推荐） 方案一、axios请求拦截器 通过使用 axios拦截器，在请求拦截器中开启全屏Loading，然后再响应拦截器中关闭。 import …
阅读更多...
@JsonValue的用法

@JsonValue的用法

jackson学习-JSON相关注解 在实际开发过程中对于对象转json有很多的工具类，这里使用的是jackson springboot 中jackson的用法 1 springboot工程本身就集成了jackson 只要是引入 org.springframework.boot spring-boot-starter-web 这个pom的可以直接使用 springbo…
阅读更多...
【C#】rdlc报表答应报错：未能加载文件或程序集“Microsoft.SqlServer.Types

【C#】rdlc报表答应报错：未能加载文件或程序集“Microsoft.SqlServer.Types

文章目录 一、报错信息二、解决方式 一、报错信息 Microsoft.Reporting.WinForms.LocalProcessingException: An error occurred during local report processing. —> Microsoft.Reporting.DefinitionInvalidException: The definition of the report ‘’ is invalid. —&…
阅读更多...
Vmware 虚拟机自定义IP地址 - UbuntuServer2204

Vmware 虚拟机自定义IP地址 - UbuntuServer2204

Vmware 虚拟机自定义IP地址 - UbuntuServer2204 设置网段 选择喜欢的网段， 例如： 166 自定义 IP地址 打开虚拟机， 输入命令查看网卡名 ip addr查看网卡配置文件 ls -al /etc/netplan/编辑网卡配置文件 sudo vim /etc/netplan/00-installe…
阅读更多...
C++ //练习 12.20 编写程序，逐行读入一个输入文件，将内容存入一个StrBlob中，用一个StrBlobPtr打印出StrBlob中的每个元素。

C++ //练习 12.20 编写程序，逐行读入一个输入文件，将内容存入一个StrBlob中，用一个StrBlobPtr打印出StrBlob中的每个元素。

C Primer（第5版） 练习 12.20 练习 12.20 编写程序，逐行读入一个输入文件，将内容存入一个StrBlob中，用一个StrBlobPtr打印出StrBlob中的每个元素。 环境：Linux Ubuntu（云服务器） 工…
阅读更多...
实习学习内容-WS协议

实习学习内容-WS协议

WS协议，即WebSocket协议，是一种网络通信协议，提供了一种在单个长连接上进行全双工、双向交互的通信渠道。WebSocket 是独立的、创建在 TCP 上的协议。它使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送…
阅读更多...
《从零开始的Java世界》07常用类与基础API

《从零开始的Java世界》07常用类与基础API

《从零开始的Java世界》系列主要讲解Javase部分，从最简单的程序设计到面向对象编程，再到异常处理、常用API的使用，最后到注解、反射，涵盖Java基础所需的所有知识点。学习者应该从学会如何使用，到知道其实现原理全方位式…
阅读更多...
电脑显示有音量但是没有声音？5个方法足够解决问题！

电脑显示有音量但是没有声音？5个方法足够解决问题！

“为什么我的电脑明明打开了声音，但是我看视频时却没有任何声音呢？应该怎么解决呀？” 在日常使用电脑的过程中，电脑声音的正常播放是很重要的，我们无论是听音乐还是看电影，都是离不开电脑声音的。遇到电脑显…
阅读更多...
【Java EE】文件内容的读写——数据流

【Java EE】文件内容的读写——数据流

目录 1.InputStream概述 1.1方法 2.FileInputStream概述 2.1构造方法 2.2代码示例 2.3.利用Scanner进行字符读取 3.OutputStream概述 3.1方法 3.2利用OutputStreamWriter进行字符写入 3.3利用PrintWriter找到我们熟悉的方法 1.InputStream概述 1.1方法 修饰符及返回…
阅读更多...
iOS 在OC旧项目中使用Swift进行混编

iOS 在OC旧项目中使用Swift进行混编

iOS 在OC旧项目中使用Swift进行混编 1、创建桥接文件 ​ 第一次在Swift创建OC文件，或者第一次OC创建Swift时，xcode会提示桥接，Creat Bridging Header即可,这个文件用于Swift调用OC文件，与OC调用Swift无关。 2、在TARGETS中设置D…
阅读更多...
Linux文件系统 软硬链接

Linux文件系统 软硬链接

文章目录 文件背景知识磁盘文件磁盘物理结构磁盘存储结构对磁盘的存储进行逻辑抽象Boot BlockSuper blockData blocksInode TableBlcokBitmapinode BitmapGroup Descriptor Table 文件名和inode编号创建文件删除文件查找文件 软硬链接软链接硬链接查看文件信息stat命令取消软硬…
阅读更多...
玩转智能：深度强化学习在游戏AI中的应用

玩转智能：深度强化学习在游戏AI中的应用

玩转智能：深度强化学习在游戏AI中的应用 1 引言 1.1 简述深度强化学习(DRL)在游戏AI中的革命性影响。 当我们回顾人工智能的发展历程，可以明显地看到深度强化学习（Deep Reinforcement Learning, DRL）的出现，在游戏AI…
阅读更多...
Docker容器的原理及应用详解（二）

Docker容器的原理及应用详解（二）

本系列文章简介： Docker是一种开源的容器化技术，它将应用程序及其依赖项打包为一个容器，以便在任何环境下运行。与传统的虚拟机相比，Docker容器更加轻量级且快速，可以在几秒钟内启动和停止。Docker的原理和应用非常广泛，可以用于开发、测试、部署和扩展应用程序。 在传统…
阅读更多...
【埋点探针】微信小程序SDK安装

【埋点探针】微信小程序SDK安装

一、下载微信小程序SDK埋点代码 选择Wechat，复制sdk代码 在项目根目录下，创建sdk文件，webfunny.event.js 二、在app.js文件中，引入埋点SDK代码 首先引入sdk代码 require("./webfunny.event.js")引入兼容代码&#x…
阅读更多...
python网页篇

python网页篇

爬取网页动态数据通常涉及到JavaScript渲染的内容，这类数据并不是在原始HTML文档中直接提供的，而是通过AJAX请求、WebSocket通信或者其他客户端渲染技术生成的。以下是几种常见的处理方法： 方法1：使用带有JavaScript渲染功能的库 …
阅读更多...
DHT11实验

DHT11实验

文章目录 11.11.2 234 DS18B20 只能检测温度 右边这几个 都能 1 1.1 数字信号输出 指 0/1使用单总线通信 1个IO口就能获取温湿度 T/H要有 模数转化（内部还有个8位单片机）电容感湿元件 白色的 还有个ic NTC测温 可能在ic内部 使用单片机内部测温 精确度不…
阅读更多...
STM32存储左右互搏 SDIO总线FATS文件读写SD/MicroSD/TF卡

STM32存储左右互搏 SDIO总线FATS文件读写SD/MicroSD/TF卡

STM32存储左右互搏 SDIO总线FATS文件读写SD/MicroSD/TF卡 SD/MicroSD/TF卡是基于FLASH的一种常见非易失存储单元，由接口协议电路和FLASH构成。市面上由不同尺寸和不同容量的卡，手机领域用的TF卡实际就是MicroSD卡，尺寸比SD卡小，而…
阅读更多...
基于STM32温控风扇冷却系统设计

基于STM32温控风扇冷却系统设计

摘要： 在当前社会，随着大家对生活质量的追求和环保意识的加强，温控风扇作为一种节能产品备受社会的关注。温控风扇广泛应用于工业生产、家用电器、医疗美容设备和公共场所，提高了人们的生活效率和生活上的便利。这篇文章是根据单…
阅读更多...
【网络协议】 TCP与UDP协议区别及应用场景深度分析

【网络协议】 TCP与UDP协议区别及应用场景深度分析

1. TCP与UDP简介 1.1 TCP 1.1 定义 TCP（TransmissionControl Protocol）传输控制协议。 是一种可靠的、面向连接的协议（eg:打电话）、传输效率低全双工通信（发送缓存&接收缓存）、面向字节流。使用TCP的应…
阅读更多...
电子印章盖骑缝章

电子印章盖骑缝章

电子印章盖骑缝章是指在电子文档（如PDF文件）中，使用电子印章技术，为文档添加一个跨越多页、连续显示的电子印章图像，以模拟传统纸质文档上的骑缝章效果。以下是实现电子印章盖骑缝章的步骤： 一. 准备电子印…
阅读更多...
最新文章

Copyright @ 2022~2023