Python爬虫——爬取某网站的视频

爬取视频

在这里插入图片描述

  • 本次爬取，还是运用的是requests方法

  • 首先进入此网站中，选取你想要爬取的视频，进入视频播放页面，按F12，将网络中的名称栏向上拉找到第一个并点击，可以在标头中，找到后续我们想要的一些信息。
    在这里插入图片描述

  • 爬取视频的步骤大致分为

    • 1、UA伪装
    • 2、获取url
    • 3、发送请求
    • 4、获取响应的数据
    • 5、数据解析
      • 获取存放视频和音频数据的"window.playinfo"文本内容
      • 分别获取视频和音频的url
      • 将获取到的视频和音频数据存放在两个不同的文件中

  • UA伪装

    • 找到Cookie并复制—>用户登陆此网站的个人Cookie信息，每个人的都不同
    • 找到Referer并复制—>每个网站的防盗链
    • 找到User-Agent并复制—>标头的最下面
      在这里插入图片描述
      在这里插入图片描述
      # UA伪装head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"# 防盗链子, "Referer":"https://www.bilibili.com/","Cookie":"CURRENT_FNVAL=4048; buvid3=BE2D386A-BBCB-E06E-8C2B-F5223B4C8BC517591infoc; b_nut=1721567317; _uuid=67165DF10-7B77-BDE8-3C63-732C2FCAF4D520375infoc; enable_web_push=DISABLE; buvid4=0245F01B-6C4B-CD5A-2EC5-BC060EC0777D18433-024072113-zRTpkL0r94scQqxGfSYKhQ%3D%3D; home_feed_column=5; header_theme_version=CLOSE; rpdid=|(Y|RJRR)Y~0J'u~kulY~Rkk; DedeUserID=1611307689; DedeUserID__ckMd5=b0865dba0b3ced5b; buvid_fp_plain=undefined; is-2022-channel=1; b_lsid=D8542F24_191412D93C0; bsource=search_bing; bmg_af_switch=1; bmg_src_def_domain=i1.hdslb.com; browser_resolution=1659-943; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjM2MzQ1OTMsImlhdCI6MTcyMzM3NTMzMywicGx0IjotMX0.Ox8rnEpQH5i1H_wQfH2z5CzZC0y8PlqQCy1KVa8XEfQ; bili_ticket_expires=1723634533; SESSDATA=f567fef6%2C1738927393%2C5d207%2A82CjAh2pSUKwDLr1XiI6ncU5B6NXEfWKS7ES6mDC8yGxM6aT3-BTdvK0KAlYpMhCXtEXgSVkl2aTlQWUNacTZOZ0ZNXzJwZ21QT2ozMXFXcWtFc1FpNnBIWlNWbml2Y3BxNV80bUNMZTBVN1dyb3h0STU1ZklDM0MwckJvanRmTmNkeTBFcW5qYl9RIIEC; bili_jct=8d788bcb503d69ba2ded7dfbb53f6e58; sid=71po5kkf; fingerprint=0c7279b7c69b9542a76b8d9df9b7872a; buvid_fp=BE2D386A-BBCB-E06E-8C2B-F5223B4C8BC517591infoc; bp_t_offset_1611307689=964382000909647872"}

  • 获取url

    • 可以在标头中看到请求URL
      在这里插入图片描述

      # 指定url 自定义一个变量接收url = "https://www.bilibili.com/video/BV17w4m1e7PT/?spm_id_from=333.1007.tianma.1-1-1.click&vd_source=2a6e427465a2f829272f5863986dfa80"

  • 发送请求

    • 可以在标头中看到请求方式，这里的请求方式是GET方法
      在这里插入图片描述
      # 发送请求，这里的请求方式是get方法
response = requests.get(url, headers = head)

  • 获取响应的数据

    • 这里使用requests中的response.text方法
      # 获取响应的数据
res_text = response.text

  • 数据解析

    • 使用 lxml 库中的 etree 方法

    • 并将获取到的数据写入到一个html的文件中，进入这个文件可以通过浏览器打开，查看是否是我们将要获取视频的页面

      tree = etree.HTML(res_text)with open("bili2.html", "w", encoding="utf-8") as f:f.write(res_text)

    • 获取存放视频和音频数据的"window.–playinfo–"文本内容

      • 因为视频和音频的数据都存在window.–playinfo–中，因此我们需要在元素栏下通过标签定位到它，但是我们只需要其内容

      • 因为window.–playinfo–的内容是一个大json字符串，所以我们可以通过json.loads的方法将它变成一个字典，方便后面通过键来取视频和音频的数据
        在这里插入图片描述

        base_info = "".join(tree.xpath("/html/head/script[4]/text()"))[20:]
info_dict = json.loads(base_info)

    • 分别获取视频和音频的url

      • 在元素栏中可以看出window.–playinfo–的内容太多了，不利于我们寻找视频和音频的数据，我们可以在网络栏下，名称中第一个数据的响应中也可以找到，耐心一点向下慢慢通过标签找到window.–playinfo–，再在其中找到视频和音频的baseUrl

      • 获取后，再次通过get请求方式，发送请求

      • 注意:图片，视频和音频都是二进制内容，所以用content属性获取
        在这里插入图片描述
        在这里插入图片描述
        在这里插入图片描述

        video_url = info_dict["data"]["dash"]['video'][0]["baseUrl"]
audio_url = info_dict["data"]["dash"]['audio'][0]["baseUrl"]video_content = requests.get(video_url, headers=head).content
audio_content = requests.get(audio_url, headers=head).content

  • 最后将获取到的视频和音频的数据分别存放在两个不同的文件中，视频可以是MP4或者是wmv格式，音频是MP4格式

with open("video2.wmv", "wb") as f:f.write(video_content)
with open("audio2.mp4", "wb") as fp:fp.write(audio_content)
  • 完整代码
import requests
from lxml import etree
import jsonif __name__ == '__main__':# UA伪装head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"# 防盗链子, "Referer":"https://www.bilibili.com/","Cookie":"CURRENT_FNVAL=4048; buvid3=BE2D386A-BBCB-E06E-8C2B-F5223B4C8BC517591infoc; b_nut=1721567317; _uuid=67165DF10-7B77-BDE8-3C63-732C2FCAF4D520375infoc; enable_web_push=DISABLE; buvid4=0245F01B-6C4B-CD5A-2EC5-BC060EC0777D18433-024072113-zRTpkL0r94scQqxGfSYKhQ%3D%3D; home_feed_column=5; header_theme_version=CLOSE; rpdid=|(Y|RJRR)Y~0J'u~kulY~Rkk; DedeUserID=1611307689; DedeUserID__ckMd5=b0865dba0b3ced5b; buvid_fp_plain=undefined; is-2022-channel=1; b_lsid=D8542F24_191412D93C0; bsource=search_bing; bmg_af_switch=1; bmg_src_def_domain=i1.hdslb.com; browser_resolution=1659-943; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjM2MzQ1OTMsImlhdCI6MTcyMzM3NTMzMywicGx0IjotMX0.Ox8rnEpQH5i1H_wQfH2z5CzZC0y8PlqQCy1KVa8XEfQ; bili_ticket_expires=1723634533; SESSDATA=f567fef6%2C1738927393%2C5d207%2A82CjAh2pSUKwDLr1XiI6ncU5B6NXEfWKS7ES6mDC8yGxM6aT3-BTdvK0KAlYpMhCXtEXgSVkl2aTlQWUNacTZOZ0ZNXzJwZ21QT2ozMXFXcWtFc1FpNnBIWlNWbml2Y3BxNV80bUNMZTBVN1dyb3h0STU1ZklDM0MwckJvanRmTmNkeTBFcW5qYl9RIIEC; bili_jct=8d788bcb503d69ba2ded7dfbb53f6e58; sid=71po5kkf; fingerprint=0c7279b7c69b9542a76b8d9df9b7872a; buvid_fp=BE2D386A-BBCB-E06E-8C2B-F5223B4C8BC517591infoc; bp_t_offset_1611307689=964382000909647872"}# 1、指定urlurl = "https://www.bilibili.com/video/BV17w4m1e7PT/?spm_id_from=333.1007.tianma.1-1-1.click&vd_source=2a6e427465a2f829272f5863986dfa80"# 2、发送请求response = requests.get(url, headers = head)# 3、获取响应的数据res_text = response.text# 4、数据解析tree = etree.HTML(res_text)with open("bili2.html", "w", encoding="utf-8") as f:f.write(res_text)base_info = "".join(tree.xpath("/html/head/script[4]/text()"))[20:]info_dict = json.loads(base_info)video_url = info_dict["data"]["dash"]['video'][0]["baseUrl"]audio_url = info_dict["data"]["dash"]['audio'][0]["baseUrl"]video_content = requests.get(video_url, headers=head).contentaudio_content = requests.get(audio_url, headers=head).contentwith open("video2.wmv", "wb") as f:f.write(video_content)with open("audio2.mp4", "wb") as fp:fp.write(audio_content)
  • 注意！！！注意！！！注意！！！
  • 获取到的是视频和音频两个文件，所以播放时也只能分开播放，也有方法可以将其合并，但是比较繁琐，可以先通过这种方法获取视频练一练，后期再学习合并的方法。
  • 其实有一种很简单的方法就是将这两个文件，放到剪映中合并，效果也是一样的
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/51976.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

qt-15综合实例(电子时钟)-多态重写鼠标单击和移动事件

qt-15综合实例(电子时钟)-多态重写鼠标单击和移动事件

综合实例-电子时钟 知识点digiclock.hdigiclock.cppmain.cpp运行图 知识点 setWindowOpacity(0.5);//设置窗体透明度 QTimer* Timer new QTimer(this);//新建一个定时器 connect(Timer,SIGNAL(timeout()),this,SLOT(ShowTime())); Timer->start(1000);//启动定时器 digic…
阅读更多...
稚晖君发布5款全能人形机器人，开源创新，全能应用

稚晖君发布5款全能人形机器人，开源创新，全能应用

8月18日，智元机器人举行“智元远征 商用启航” 2024年度新品发布会，智元联合创始人彭志辉主持并发布了“远征”与“灵犀”两大系列共五款商用人形机器人新品——远征A2、远征A2-W、远征A2-Max、灵犀X1及灵犀X1-W，并展示了在机器人动力、感知、…
阅读更多...
猫头虎分享：练习提示词Prompt有什么好方法？提高Prompt水平和质量

猫头虎分享：练习提示词Prompt有什么好方法？提高Prompt水平和质量

猫头虎是谁？ 大家好，我是 猫头虎，别名猫头虎博主，擅长的技术领域包括云原生、前端、后端、运维和AI。我的博客主要分享技术教程、bug解决思路、开发工具教程、前沿科技资讯、产品评测图文、产品使用体验图文、产品优点推广文稿、…
阅读更多...
深扒大模型微调密码 - 从入门到技术小白都能看懂的神操作

深扒大模型微调密码 - 从入门到技术小白都能看懂的神操作

朋友们，你们有没有听说过"大模型"和"微调"这两个概念呢？别着急,我们今天就来好好聊一聊! 想象一下,你有一个非常勤奋的小助理,它会尽最大努力帮你完成各种任务。不过有时候,它的知识储备和能力肯定有限,所以你得适时给它一些专门的…
阅读更多...
树莓派5 笔记25：第一次启动与配置树莓派5_8G

树莓派5 笔记25：第一次启动与配置树莓派5_8G

今日继续学习树莓派5 8G：（Raspberry Pi，简称RPi或RasPi） 本人所用树莓派4B 装载的系统与版本如下: 版本可用命令 (lsb_release -a) 查询: Opencv 与 python 版本如下： 今日购得了树莓派5_8G版本，性能是同运…
阅读更多...
springboot航班进出港管理系统--论文源码调试讲解

springboot航班进出港管理系统--论文源码调试讲解

第2章 开发环境与技术 本章节对开发航班进出港管理系统管理系统需要搭建的开发环境，还有航班进出港管理系统管理系统开发中使用的编程技术等进行阐述。 2.1 Java语言 Java语言是当今为止依然在编程语言行业具有生命力的常青树之一。Java语言最原始的诞生&#xff…
阅读更多...
SQL每日一练-0815

SQL每日一练-0815

今日SQL题难度：🌟☆☆☆☆☆☆☆☆☆ 1、题目要求 计算每个产品类别在每个月的总销售额和总销量。找出每个月销售额最高的产品类别，显示类别名称、销售月份、总销售额和总销量。 2、表和虚拟数据 现有两个表：Products 和…
阅读更多...
牛客网习题——通过C++实现

牛客网习题——通过C++实现

一、目标 实现下面4道练习题增强C代码能力。 1.求123...n_牛客题霸_牛客网 (nowcoder.com) 2.计算日期到天数转换_牛客题霸_牛客网 (nowcoder.com) 3.日期差值_牛客题霸_牛客网 (nowcoder.com) 4.打印日期_牛客题霸_牛客网 (nowcoder.com) 二、对目标的实现 1.求123...n_…
阅读更多...
[机器学习]--KNN算法(K邻近算法)

[机器学习]--KNN算法(K邻近算法)

KNN (K-Nearest Neihbor,KNN)K近邻是机器学习算法中理论最简单,最好理解的算法,是一个 非常适合入门的算法,拥有如下特性: 思想极度简单,应用数学知识少(近乎为零),对于很多不擅长数学的小伙伴十分友好虽然算法简单,但效果也不错 KNN算法原理 上图是每一个点都是一个肿瘤病例…
阅读更多...
Sakana.ai 迈向完全自动化的开放式科学发现

Sakana.ai 迈向完全自动化的开放式科学发现

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
阅读更多...
从零开始搭建k8s集群详细步骤

从零开始搭建k8s集群详细步骤

声明：本文仅作为个人记录学习k8s过程的笔记。 节点规划： 两台节点为阿里云ECS云服务器，操作系统为centos7.9，master为2v4GB,node为2v2GB,硬盘空间均为40GB。（节点基础配置不低于2V2GB） 主机名节点ip角色部…
阅读更多...
Docker最佳实践进阶（一）：Dockerfile介绍使用

Docker最佳实践进阶（一）：Dockerfile介绍使用

大家好，上一个系列我们使用docker安装了一系列的基础服务，但在实际开发过程中这样一个个的安装以及繁杂命令不仅仅浪费时间，更是容易遗忘，下面我们进行Docker的进阶教程，帮助我们更快速的部署和演示项目。 一、什么是…
阅读更多...
力扣面试经典算法150题：找出字符串中第一个匹配项的下标

力扣面试经典算法150题：找出字符串中第一个匹配项的下标

找出字符串中第一个匹配项的下标 今天的题目是力扣面试经典150题中的数组的简单题: 找出字符串中第一个匹配项的下标 题目链接：https://leetcode.cn/problems/find-the-index-of-the-first-occurrence-in-a-string/description/?envTypestudy-plan-v2&envIdto…
阅读更多...
docker compose部署rabbitmq集群,并使用haproxy负载均衡

docker compose部署rabbitmq集群,并使用haproxy负载均衡

一、创建rabbitmq的data目录 mkdir data mkdir data/rabbit1 mkdir data/rabbit2 mkdir data/rabbit3 二、创建.erlang.cookie文件（集群cookie用） echo "secretcookie" > .erlang.cookie 三、创建haproxy.cfg配置文件 global log stdout fo…
阅读更多...
深度学习基础—正则化

深度学习基础—正则化

正则化：解决模型过拟合的手段，本质就是减小模型参数取值，从而使模型更简单。常用范数如下： 使用最多的是L2范数正则项，因此加入正则项的损失函数变为： 使用梯度下降法的权重调整公式： 推导后得到…
阅读更多...
项目实战：Qt+Opencv相机标定工具v1.3.0（支持打开摄像头、视频文件和网络地址，支持标定过程查看、删除和动态评价误差率，支持追加标定等等）

项目实战：Qt+Opencv相机标定工具v1.3.0（支持打开摄像头、视频文件和网络地址，支持标定过程查看、删除和动态评价误差率，支持追加标定等等）

若该文为原创文章，转载请注明出处 本文章博客地址：https://hpzwl.blog.csdn.net/article/details/141334834 长沙红胖子Qt（长沙创微智科）博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、OpenCV、Op…
阅读更多...
二十二、状态模式

二十二、状态模式

文章目录 1 基本介绍2 案例2.1 Season 接口2.2 Spring 类2.3 Summer 类2.4 Autumn 类2.5 Winter 类2.6 Person 类2.7 Client 类2.8 Client 类的运行结果2.9 总结 3 各角色之间的关系3.1 角色3.1.1 State ( 状态 )3.1.2 ConcreteState ( 具体的状态 )3.1.3 Context ( 上下文 )3.…
阅读更多...
Airtest 的使用

Airtest 的使用

Airtest 介绍 Airtest Project 是网易游戏推出的一款自动化测试框架，其项目由以下几个部分构成 Airtest : 一个跨平台的，基于图像识别的 UI 自动化测试框架，适用于游戏和 App ， 支持 Windows, Android 和 iOS 平台&#xff0c…
阅读更多...
解决银河麒麟V10登录循环的方法

解决银河麒麟V10登录循环的方法

解决银河麒麟V10登录循环的方法 一：进入命令行二：删除.Xauthority文件三：重启系统 💖The Begin💖点点关注，收藏不迷路💖 在使用银河麒麟桌面操作系统V10时，有时可能会遇到一个令人头…
阅读更多...
【题解】—— LeetCode一周小结32

【题解】—— LeetCode一周小结32

🌟欢迎来到 我的博客 —— 探索技术的无限可能！ 🌟博客的简介（文章目录） 【题解】—— 每日一道题目栏 上接：【题解】—— LeetCode一周小结31 5.不含连续1的非负整数 题目链接：600. 不含连续…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023