python爬虫之爬取微博评论（4）

一、获取单页评论

随机选取一个微博，例如下面这个 

【#出操死亡女生家属... - @冷暖视频的微博 - 微博 (weibo.com)

1、fn+f12，然后点击网络，搜索评论内容，然后预览，就可以查看到网页内容里面还有评论内容

2、编写代码，获取网页信息，url是点击网络，然后点击标头，就会出现一个请求url 

# requets是一个爬虫的第三方库，需要单独安装
import requests# url是一访问网站的地址
url = 'https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=5024086457849590&is_show_bulletin=2&is_mix=0&count=10&uid=6532102014&fetch_level=0&locale=zh-CN'
# 1.发送请求
response = requests.get(url=url)
response.encoding = 'gbk'   #防止中文乱码
# 2.打印网页数据
print(response.text)

3、但是我们发现这个并不是像我们想的一样，将网页的文本用文字的方式呈现，那么接下来我们要用到一个方法，让我们能够用文字的方式输出网页数据----->定义请求头。为什么要定义请求头，因为从网站的设置初衷，它是不想服务于我们的爬虫程序的，网站正常只想服务于客户的访问服务，那么我们要将我们的爬虫程序伪装成为正常的服务。通常我们只需要设置 cookie 、referee、user-agent就够了(如果有些特殊的网站可能需要我们有其他的参数)  

点击网络，点击标头，标头界面向下划动，找到 cookie 、referer 、user-agent  。

import requests# 请求头
headers = {# 用户身份信息'cookie': 'XSRF-TOKEN=ZcbKzr5C4_40k_yYwTHIEj7k; PC_TOKEN=4496aa7595; login_sid_t=e6e7e18ba091dcafc2013982ea8fa895; cross_origin_proto=SSL; WBStorage=267ec170|undefined; _s_tentry=cn.bing.com; UOR=cn.bing.com,weibo.com,cn.bing.com; Apache=1040794478428.4973.1713353134174; SINAGLOBAL=1040794478428.4973.1713353134174; ULV=1713353134177:1:1:1:1040794478428.4973.1713353134174:; wb_view_log=1287*8051.9891666173934937; SUB=_2A25LG8JKDeRhGeFJ71MX9S3Lzj2IHXVoWVuCrDV8PUNbmtANLVnQkW9Nf_9NjBaZTVOL8AH-RMG38C00YruaYRtp; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5kReTqg1GgdNOFZ.hiJO0G5NHD95QNS0BpSo-0S0-pWs4DqcjMi--NiK.Xi-2Ri--ciKnRi-zNS0MXeKqfe0MfeBtt; ALF=02_1715945242; WBPSESS=FH255CAr_cfIbZ29-Y520e5NsKBGpFZni0Bmim3vDfjXHIPxgSSGqvAfC_UQmc3W2RLUzLHkkX4YI-_Pn1KHeHJhkeHw5kFxeJYgMYDr9t5bvBCMRkcG_IvV3Y2XiVRlu9ZS91UwfD5AH5MY7jhkfw==',# 防盗链'referer': 'https://weibo.com/6532102014/Oa6B7wW2i',# 浏览器基本信息'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'
}url = 'https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=5024086457849590&is_show_bulletin=2&is_mix=0&count=10&uid=6532102014&fetch_level=0&locale=zh-CN'
# 1.发送请求
response = requests.get(url=url, headers=headers)# 2.打印网页数据print(response.json()['data'][0]['text_raw'])

4、获取更多字节内容，然后存储到excel表格中

import requests
import csvf = open('评论.csv', mode='a', encoding='utf-8-sig', newline='')
csv_write = csv.writer((f))
csv_write.writerow(['id', 'screen_name', 'text_raw', 'like_counts', 'total_number', 'created_at'])# 请求头
headers = {# 用户身份信息'cookie': 'XSRF-TOKEN=ZcbKzr5C4_40k_yYwTHIEj7k; PC_TOKEN=4496aa7595; login_sid_t=e6e7e18ba091dcafc2013982ea8fa895; cross_origin_proto=SSL; WBStorage=267ec170|undefined; _s_tentry=cn.bing.com; UOR=cn.bing.com,weibo.com,cn.bing.com; Apache=1040794478428.4973.1713353134174; SINAGLOBAL=1040794478428.4973.1713353134174; ULV=1713353134177:1:1:1:1040794478428.4973.1713353134174:; wb_view_log=1287*8051.9891666173934937; SUB=_2A25LG8JKDeRhGeFJ71MX9S3Lzj2IHXVoWVuCrDV8PUNbmtANLVnQkW9Nf_9NjBaZTVOL8AH-RMG38C00YruaYRtp; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5kReTqg1GgdNOFZ.hiJO0G5NHD95QNS0BpSo-0S0-pWs4DqcjMi--NiK.Xi-2Ri--ciKnRi-zNS0MXeKqfe0MfeBtt; ALF=02_1715945242; WBPSESS=FH255CAr_cfIbZ29-Y520e5NsKBGpFZni0Bmim3vDfjXHIPxgSSGqvAfC_UQmc3W2RLUzLHkkX4YI-_Pn1KHeHJhkeHw5kFxeJYgMYDr9t5bvBCMRkcG_IvV3Y2XiVRlu9ZS91UwfD5AH5MY7jhkfw==',# 防盗链'referer': 'https://weibo.com/6532102014/Oa6B7wW2i',# 浏览器基本信息'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'
}url = 'https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=5024086457849590&is_show_bulletin=2&is_mix=0&count=10&uid=6532102014&fetch_level=0&locale=zh-CN'# 1.发送请求
response = requests.get(url=url, headers=headers)
# 2.获取数据# 3.提取数据
json_data = response.json()
data_list = json_data['data']for data in data_list:text_raw = data['text_raw']id = data['id']created_at = data['created_at']like_counts = data['like_counts']total_number = data['total_number']screen_name = data['user']['screen_name']print(id, screen_name, text_raw, like_counts, total_number, created_at)# 4.保存数据csv_write.writerow([id, screen_name, text_raw, like_counts, total_number, created_at])

二、获取多页评论

仔细观察，多条评论应该都会包含buildComments字段

 然后搜索buildComments字段，点进去看，会发现每一个路径都对应20条评论，但是我们人为输入每一条路径不显示，所以我们需要观察他们的规律

我们发现除开第一个分页格式不一样，其他分页的url完全一致，但是max_id的值不一样。我们可以多观察几组（例如第二个分页的max_id是第三个分页URL中的max_id）

 因此代码如下，

import requests
import csvf = open('评论.csv', mode='a', encoding='utf-8-sig', newline='')
csv_write = csv.writer((f))
csv_write.writerow(['id', 'screen_name', 'text_raw', 'like_counts', 'total_number', 'created_at'])# 请求头
headers = {# 用户身份信息'cookie': 'XSRF-TOKEN=ZcbKzr5C4_40k_yYwTHIEj7k; PC_TOKEN=4496aa7595; login_sid_t=e6e7e18ba091dcafc2013982ea8fa895; cross_origin_proto=SSL; WBStorage=267ec170|undefined; _s_tentry=cn.bing.com; UOR=cn.bing.com,weibo.com,cn.bing.com; Apache=1040794478428.4973.1713353134174; SINAGLOBAL=1040794478428.4973.1713353134174; ULV=1713353134177:1:1:1:1040794478428.4973.1713353134174:; wb_view_log=1287*8051.9891666173934937; SUB=_2A25LG8JKDeRhGeFJ71MX9S3Lzj2IHXVoWVuCrDV8PUNbmtANLVnQkW9Nf_9NjBaZTVOL8AH-RMG38C00YruaYRtp; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5kReTqg1GgdNOFZ.hiJO0G5NHD95QNS0BpSo-0S0-pWs4DqcjMi--NiK.Xi-2Ri--ciKnRi-zNS0MXeKqfe0MfeBtt; ALF=02_1715945242; WBPSESS=FH255CAr_cfIbZ29-Y520e5NsKBGpFZni0Bmim3vDfjXHIPxgSSGqvAfC_UQmc3W2RLUzLHkkX4YI-_Pn1KHeHJhkeHw5kFxeJYgMYDr9t5bvBCMRkcG_IvV3Y2XiVRlu9ZS91UwfD5AH5MY7jhkfw==',# 防盗链'referer': 'https://weibo.com/6532102014/Oa6B7wW2i',# 浏览器基本信息'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'
}def get_next(next='count=10'):url = f'https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=5024086457849590&is_show_bulletin=2&is_mix=0&{next}&count=20&uid=6532102014&fetch_level=0&locale=zh-CN'response = requests.get(url=url, headers=headers)json_data = response.json()data_list = json_data['data']max_id = json_data['max_id']for data in data_list:text_raw = data['text_raw']id = data['id']created_at = data['created_at']like_counts = data['like_counts']total_number = data['total_number']screen_name = data['user']['screen_name']print(id, screen_name, text_raw, like_counts, total_number, created_at)csv_write.writerow([id, screen_name, text_raw, like_counts, total_number, created_at])if max_id != 0:max_str = 'max_id=' + str(max_id)get_next(max_str)get_next()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/1628.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【C#】rdlc报表答应报错：未能加载文件或程序集“Microsoft.SqlServer.Types

【C#】rdlc报表答应报错：未能加载文件或程序集“Microsoft.SqlServer.Types

文章目录 一、报错信息二、解决方式 一、报错信息 Microsoft.Reporting.WinForms.LocalProcessingException: An error occurred during local report processing. —> Microsoft.Reporting.DefinitionInvalidException: The definition of the report ‘’ is invalid. —&…
阅读更多...
Vmware 虚拟机自定义IP地址 - UbuntuServer2204

Vmware 虚拟机自定义IP地址 - UbuntuServer2204

Vmware 虚拟机自定义IP地址 - UbuntuServer2204 设置网段 选择喜欢的网段， 例如： 166 自定义 IP地址 打开虚拟机， 输入命令查看网卡名 ip addr查看网卡配置文件 ls -al /etc/netplan/编辑网卡配置文件 sudo vim /etc/netplan/00-installe…
阅读更多...
C++ //练习 12.20 编写程序，逐行读入一个输入文件，将内容存入一个StrBlob中，用一个StrBlobPtr打印出StrBlob中的每个元素。

C++ //练习 12.20 编写程序，逐行读入一个输入文件，将内容存入一个StrBlob中，用一个StrBlobPtr打印出StrBlob中的每个元素。

C Primer（第5版） 练习 12.20 练习 12.20 编写程序，逐行读入一个输入文件，将内容存入一个StrBlob中，用一个StrBlobPtr打印出StrBlob中的每个元素。 环境：Linux Ubuntu（云服务器） 工…
阅读更多...
《从零开始的Java世界》07常用类与基础API

《从零开始的Java世界》07常用类与基础API

《从零开始的Java世界》系列主要讲解Javase部分，从最简单的程序设计到面向对象编程，再到异常处理、常用API的使用，最后到注解、反射，涵盖Java基础所需的所有知识点。学习者应该从学会如何使用，到知道其实现原理全方位式…
阅读更多...
电脑显示有音量但是没有声音？5个方法足够解决问题！

电脑显示有音量但是没有声音？5个方法足够解决问题！

“为什么我的电脑明明打开了声音，但是我看视频时却没有任何声音呢？应该怎么解决呀？” 在日常使用电脑的过程中，电脑声音的正常播放是很重要的，我们无论是听音乐还是看电影，都是离不开电脑声音的。遇到电脑显…
阅读更多...
iOS 在OC旧项目中使用Swift进行混编

iOS 在OC旧项目中使用Swift进行混编

iOS 在OC旧项目中使用Swift进行混编 1、创建桥接文件 ​ 第一次在Swift创建OC文件，或者第一次OC创建Swift时，xcode会提示桥接，Creat Bridging Header即可,这个文件用于Swift调用OC文件，与OC调用Swift无关。 2、在TARGETS中设置D…
阅读更多...
Linux文件系统 软硬链接

Linux文件系统 软硬链接

文章目录 文件背景知识磁盘文件磁盘物理结构磁盘存储结构对磁盘的存储进行逻辑抽象Boot BlockSuper blockData blocksInode TableBlcokBitmapinode BitmapGroup Descriptor Table 文件名和inode编号创建文件删除文件查找文件 软硬链接软链接硬链接查看文件信息stat命令取消软硬…
阅读更多...
玩转智能：深度强化学习在游戏AI中的应用

玩转智能：深度强化学习在游戏AI中的应用

玩转智能：深度强化学习在游戏AI中的应用 1 引言 1.1 简述深度强化学习(DRL)在游戏AI中的革命性影响。 当我们回顾人工智能的发展历程，可以明显地看到深度强化学习（Deep Reinforcement Learning, DRL）的出现，在游戏AI…
阅读更多...
【埋点探针】微信小程序SDK安装

【埋点探针】微信小程序SDK安装

一、下载微信小程序SDK埋点代码 选择Wechat，复制sdk代码 在项目根目录下，创建sdk文件，webfunny.event.js 二、在app.js文件中，引入埋点SDK代码 首先引入sdk代码 require("./webfunny.event.js")引入兼容代码&#x…
阅读更多...
DHT11实验

DHT11实验

文章目录 11.11.2 234 DS18B20 只能检测温度 右边这几个 都能 1 1.1 数字信号输出 指 0/1使用单总线通信 1个IO口就能获取温湿度 T/H要有 模数转化（内部还有个8位单片机）电容感湿元件 白色的 还有个ic NTC测温 可能在ic内部 使用单片机内部测温 精确度不…
阅读更多...
STM32存储左右互搏 SDIO总线FATS文件读写SD/MicroSD/TF卡

STM32存储左右互搏 SDIO总线FATS文件读写SD/MicroSD/TF卡

STM32存储左右互搏 SDIO总线FATS文件读写SD/MicroSD/TF卡 SD/MicroSD/TF卡是基于FLASH的一种常见非易失存储单元，由接口协议电路和FLASH构成。市面上由不同尺寸和不同容量的卡，手机领域用的TF卡实际就是MicroSD卡，尺寸比SD卡小，而…
阅读更多...
基于STM32温控风扇冷却系统设计

基于STM32温控风扇冷却系统设计

摘要： 在当前社会，随着大家对生活质量的追求和环保意识的加强，温控风扇作为一种节能产品备受社会的关注。温控风扇广泛应用于工业生产、家用电器、医疗美容设备和公共场所，提高了人们的生活效率和生活上的便利。这篇文章是根据单…
阅读更多...
【网络协议】 TCP与UDP协议区别及应用场景深度分析

【网络协议】 TCP与UDP协议区别及应用场景深度分析

1. TCP与UDP简介 1.1 TCP 1.1 定义 TCP（TransmissionControl Protocol）传输控制协议。 是一种可靠的、面向连接的协议（eg:打电话）、传输效率低全双工通信（发送缓存&接收缓存）、面向字节流。使用TCP的应…
阅读更多...
电子印章盖骑缝章

电子印章盖骑缝章

电子印章盖骑缝章是指在电子文档（如PDF文件）中，使用电子印章技术，为文档添加一个跨越多页、连续显示的电子印章图像，以模拟传统纸质文档上的骑缝章效果。以下是实现电子印章盖骑缝章的步骤： 一. 准备电子印…
阅读更多...
docker的安装以及docker中nginx配置

docker的安装以及docker中nginx配置

机器 test3 192.168.23.103 1机器初始化配置 1.1关闭防火墙，清空防火墙规则 systemctl stop firewalld iptables -F setenforce 01.2部署时间同步 yum install ntp ntpdate -y1.3安装基础软件包 yum install -y wget net-tools nfs-utils lrzsz gcc gcc-c make…
阅读更多...
【webrtc】m98 RoundRobinPacketQueue的优先级处理

【webrtc】m98 RoundRobinPacketQueue的优先级处理

m98 代码 PacedSender::EnqueuePackets 的调用者可能是多个地方，所以这个要加锁保护。RoundRobinPacketQueue 本身是没有锁的发现m98和新版本不同,参考：【webrtc】m114自己实现的PrioritizedPacketQueuepush和pop都是RtpPacketToSend 但是实际上，内部是封装为QueuedPacket 处…
阅读更多...
基于Springboot的人职匹配推荐系统

基于Springboot的人职匹配推荐系统

基于SpringbootVue的人职匹配推荐系统的设计与实现 开发语言：Java数据库：MySQL技术：SpringbootMybatis工具：IDEA、Maven、Navicat 系统展示 用户登录 首页 企业信息 岗位信息 新闻资讯 后台管理 用户管理 企业信息管理 岗位信…
阅读更多...
Docker之注册中心的使用与操作

Docker之注册中心的使用与操作

一、Docker注册中心与仓库 Reastry 可译为注册中心或注册服务器，是存放仓库的地方，一个注册中心往往有很多仓库。Docker默认的注册中心是Docker Hub，其可以通过浏览器访问，也可以使用docker search命令访问。 仓库是集中存放镜像…
阅读更多...
html2Canvas截图包含滚动条解决思路

html2Canvas截图包含滚动条解决思路

概况描述 在项目中使用html2Canvas进行截图时发现无法截取滚动条部分，前端是使用vue2的版本，网上找了很多方式都没效果，冷静思考后，给出解决办法。 解决思路 当我们截取的div容器的宽和高与内部的子容器div的宽和高不一样时&am…
阅读更多...
Django模型的属性与方法

Django模型的属性与方法

本节介绍Django模型的属性和方法，以及如何重写之前定义的模型方法等内容。 3.5.1 模型属性 Django模型中最重要的属性就是Manager，它是Django模型和数据库查询操作之间的接口，并且被用作从数据库当中获取实例的途径。如果Django模型中没有…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023