LLM实现视频切片合成前沿知识调研

1.相关产品

产品	链接
腾讯智影	https://zenvideo.qq.com/
可灵	https://klingai.kuaishou.com/
即梦	https://jimeng.jianying.com/ai-tool/home/
Runway	https://aitools.dedao.cn/ai/runwayml-com/
Descript	https://www.descript.com/?utm_source=ai-bot.cn/
Opus Clip	https://www.opus.pro/not-available?utm_source=ai-bot.cn/
Wondershare Filmora	https://www.wondershare.com
AI Podcast Clips	https://app.simplified.com/social-media
Vadoo AI	https://ai.vadoo.tv/
WUI.AI	https://www.wui.ai/zh-CN/clip-settings
FunClip	https://github.com/modelscope/FunClip
AutoCut	https://github.com/mli/autocut

2. 功能

产品	功能
腾讯智影	支持在线剪辑、素材库比较多、文生视频、视频解说、数字人播报
可灵	文本生成视频、图片生成视频、文字生成图片
即梦	文本生成视频、图片生成视频、文字生成图片
Runway	图片生成视频、文本生成视频、文本转语音（提供大量音色）、文本生成图片
Descript	基于文本剪辑视频
Opus Clip	视频切片:自动从长视频中提取精彩片段,生成短视频。AI分析:使用人工智能技术分析视频内容,识别亮点和重要时刻。一键生成短视频:提供快速生成短视频的选项,简化编辑流程。片段选择:允许用户手动选择或调整Al挑选的片段,以确保最多视频符合预期。视频编辑:提供基本的视频编辑功能,如裁剪、排序和调整片段。
Wondershare Filmora	AI助手剪辑：使用个人AI助理编辑视频（分段，有点短），改善编辑流程。AI文字型编辑：将视频转换成文字，并使用基于文字的AI编辑，像编辑文件一样方便。AI缩略图制作：使用有效的缩略图吸引观众目光。AI音乐生成器：立即创作各种风格、情感和节奏的音乐。10,000+高质视频模板：告别枯燥的编辑工作，提升影片品质。创意资源拓展：超过1,500万个文字、音频、转场、特效和贴纸等资源。跨平台支持：在电脑、iPad和手机上编辑、存储和分享内容。
AI Podcast Clips	自动分析视频：识别关键时刻和说话人变化。长视频变短视频（精华）：自动生成带有字幕的短视频剪辑。提供视频编辑器以调整视频比例和分辨率。预测视频剪辑在社交媒体上的潜在表现（分数）。支持最大500MB的视频文件。
Vadoo AI	长视频变短视频
WUI.AI	长切短、总结、拆分章节、增加字幕
FunClip	阿里开源的基于LLM的智能剪辑
AutoCut	基于Markdown的可视化剪辑

3. 使用体验

目前国内大多数聚焦于大模型实现文生图和文生视频，很少有基于LLM实现智能剪辑的应用。国外关于LLM实现智能剪辑的产品较多，如WUI.AI、 Opus Clip（国内不能访问），智能剪辑体验起来比较丝滑，但存在剪辑视频断头断尾、技术不开源的问题。国内阿里开源的FunClip提供了智能视频剪辑的解决方案，但同样存在剪辑视频断头断尾、文字和时间戳不在同一轨道的情况。

4. FunClip底层技术

阿里开源的Funclip技术如下：
1）将视频转化为音频（ffmpeg）；
2）使用ASR模型完成音频的转录；
3）基于转录的字幕使用LLM完成精华的提取；
4）根据LLM提取的内容，使用movie完成基于时间戳实现视频的剪辑。
在这里插入图片描述

5. Autocut底层技术

AutoCut 对你的视频自动生成字幕。然后你选择需要保留的句子，AutoCut 将对你视频中对应的片段裁切并保存。你无需使用视频编辑软件，只需要编辑文本文件即可完成剪切。采用的ASR模型是Open AI开源的whisper模型。
在这里插入图片描述
在使用AutoCut的时候，剪辑需要基于Markdown进行点击（费时费眼），且需要自己对视频理解的十分透彻。为此我们可以基于LLM完成精彩片段的提炼，然后编写正则表达式对Markdown内容进行自动点击。