大家好,我是烤鸭:
之前玩爬虫的时候,看到过video标签中src属性引入的blob:http:xxxx,当时没找到解决思路,今天又遇到类似问题,就试着找了一下。
这是有人问过 https://vimeo.com/ 这个网站的视频怎么下载。
How to download video with blob url? - Super User
1. 分析
以这个网址为例:
美天合集团CFO汪润怡谈制胜新兴市场的战略-高顿公开课
看video标签中的src属性,发现
src="blob:https://open.gaodun.com/b9d3366f-87ef-4328-9d97-31110de519a1"
复制这个地址去浏览器什么也找不到。
2. 找真实地址
不管上面的问题。先去看一下视频到底从哪来的。以谷歌浏览器为例,选择XHR,发现加载了m3u8文件。
m3u8是一种视频格式,看response中返回的.ts文件,直接复制ts文件的路径打开,就是视频片段。
到这,文件其实已经找到了。但是video中的blob:https://xxxx是什么呢,是怎么找到的文件。
这篇文章给了解释。
视频网站中video标签中的视频资源以blob:http呈现的探索_云涛89114的博客-CSDN博客_blob:
简单来说就是视频对象做了个标记,src指向的是标记。
3. 找关联
当我对着源码和请求的response对照的时候,发现播放器周围的html标签都是后生成的,找到了一个比较“可疑”的js文件。
发现播放器代码附近的:
<div class="playDiv" id="divid"> <script type="text/javascript" src="https://s.gaodun.com/web/static-player/loader.js?13p9Wv580v1a!!fs-3"></script> </div>
看了js的源码,再跟了下debug。
找到了这个网页请求的m3u8地址是这个:https://vod.gaodun.com/13p9Wv580v1a!!fs/SD/1.m3u8。
直接浏览器访问就可以获取,就可以获取ts文件。ts文件就是一段段的视频,可以下载下来之后拼接成一个完整的文件。
4. 总结
至此,关于video 标签 src 带有blob:http的 抓取的就写完了。但是每个网站的情况都不一样。
这里只是提供一种思路,比如刚开始写的 https://vimeo.com/ 这个网站就不是js,而是json里边包含的视频地址。
欢迎有想法的朋友多交流。