几天前一个同学说想下载一个网站的视频找不到连接,问我有没有什么办法,网站抓取m3u8链接 网页抓取m3u8链接。当时一听觉得应该简单,于是说我抽空看看。然后就分析目标网页,试图从网页源码里找出连接,有的源代码直接有,但是有的没有, F12调出开发者工具,进NetWrok看到网页是通过ajax发起xhr请求拿的视频连接,怪不得页面元素里没有下载地址,请求的是m3u8格式文件,查了一下这是一种分片的流媒体文件,然后到处找下载这种格式文件的工具,都不是很理想。很多都是直接下了分片后的ts文件,但是这个网站的是加了密的,不能直接播放,最后找到ffmpeg这个视频插件神器,视频转码、剪切、合并、播放都不在话下,还支持多平台。 ffmpeg FFmpeg介绍和入门 ffmpeg开 FFmpeg官方网站 有了神器何不自己写个工具来下载呢,准备动手时首先就被连接怎么获取这个问题给拦住了, 数据不在网页元素里, 拦截网页所有请求肯定就拿到了。筛选后得到三种方案: 首先试了WebBrowser,目标网站直接打不开网页,让换谷歌浏览器,修改了UserAgent可以打开,但是网页显示不全,放弃 。最后用C#Sharp测试达到了预期目标, 然后就是写代码了: 视频地址获取只要继承集成默认的抽象类 DefaultRequestHandler就可以了.
public class MyRequestHandler : DefaultRequestHandler{public override CefReturnValue OnBeforeResourceLoad(IWebBrowser browserControl, IBrowser browser, IFrame frame, IRequest request, IRequestCallback callback){//拿到url后再判断下是不是视频文件string url = request.Url;} }
然后在初始化浏览器时指定下就行了。
chromeBrowser.RequestHandler = new MyRequestHandler(callback);
这里我是把url中的文件名提取出来,然后判断扩展名来判断是不是视频文件,不知道有没有更通用的方法。判断ResourceType == ResourceType.Media是不行的,很多时候这个值返回的是xhr。
FFmpeg部分就是直接命令行调用下,有时间再研究下这个神器的lib方式。
以下是折腾了几天出来的结果。
浏览器界面,解析m3u8链接后 可以看到需要下载的视频文件数量。 点击 开始下载按钮,来到如下界面。 可以在这里进行下载,播放等操作,界面美观,功能齐全 不管是网页解析m3u8链接, 还是网页批量下载等 如果需要下载一整部电视剧或者动漫,可以直接解放双手。 下载支持分片选择下载删除特定项目。 实时显示下载进度, 更新下载的数据大小。 一般情况下ts文件不用去下载,直接下m3u8就可以了,程序会自动分析ts分片文件全部下载完后自动合成一个mp4文件。
星尘库m3u8下载器下载地址:星尘库M3U8下载器编辑https://sky.lanzouv.com/b0kn8uhti
软件下载:链接:星尘库M3U8下载器 提取码:6666 如果运行不了,请下载并安装NET Framework 4.6.1