目标：爬影视网站ts文件到本地，合并成mp4文件

下载ts文件

本着不重复造轮子的精神(好吧其实是我懒)，想用迅雷批量下载爬取，但是迅雷提供的通配符过于简单无法构造URL，只能自己写脚本

如下：

# -*- coding: utf-8 -*-

import os

import requests

from multiprocessing import Pool

OVER_INDEX = 1600

L = 6

def download(url, n):

try:

r = requests.get(url)

if r.status_code != 200:

print("Requests Failed Code:{},Msg:{}".format(r.status_code, r.text))

print("{}.ts DownLoading...".format(n))

with open("./video/{}.ts".format(n), "wb") as f:

f.write(r.content)

print("{}.ts DownLoad Over...".format(n))

except Exception as e:

print(e)

if __name__ == '__main__':

po = Pool(100)

for i in range(OVER_INDEX):

distance = L - len(str(i))

n = "{}{}".format("0" * distance, i) if distance != 0 else i

url = "https://youku.cdn7-okzy.com/20200204/16986_7277c4b6/1000k/hls/ac79fd06c1b{}.ts".format(n)

po.apply_async(download, args=(url, n))

po.close()

po.join()

print("Over File DownLoad...")

异常

爬取二进制文件使用

r.content()

多进程池爬取后期表现为，顺序执行(跟单进程无异)

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}

查看发现 TIME_WAIT 79，查看监视器，并不是网络资源耗尽，查看multiprocessing发现，猜想池中维持指定个数进程，一个任务结束才会执行下一个任务，如果达到平衡状态，一段时间内进程池内只有一个空位，那么表现就会想像同步执行。尝试扩容进程池改，运行正常

po = Pool(100)

爬取文件结束，开始合并

因为是Mac环境，无法使用Win自带copy命令，各脚本不是失效就是报错，软件也寥寥无几

经查文档，采取如下方案

安装 FFmepg

brew install ffmpeg

各种库一堆装，忘记了换源，下载编译了好几小时，还好没报错。

合并

ffmpeg -f concat -i file_list.txt -c copy output.mp4

其中file_list为如下格式文本文件

file 'input1.ts'

file 'input2.ts'

file 'input3.ts'

采用脚本生成

filePath = "/Users/ls/project/DownVideo/video"

file_list=sorted(os.listdir(filePath))

with open("./video/file_list.txt","w+") as f:

for file in file_list:

f.write("file '{}'\n".format(file))

结束

到这里倒腾结束了，写脚本没有花太多时间，主要查找合并ts到mp4的办法，如果是win copy是真的简单，格式工厂这类软件也多，但在Mac下就要自己动手丰衣足食，各有各的好处。后面可以利用tqbm扩展进度条，和利用retry增加爬取异常时重试机制。