Stable Diffusion Temporal-Kit和EbSynth 从娱乐到商用
- 1. Temporal Kit 和 EbSynth
- 1.1 提取关键帧
- 1.2 关键帧风格迁移
- 1.3 生成序列帧
- 2. 真人转卡通
- 3. 卡通转真人
- 4. 编辑技巧
- 5. ControlNet + TemporalNet + 达芬奇Fusion
- 6. Rerender A Video
- 7. DiffSynth-Studio
基于SD的风格化编辑主流方式:
- ControlNet-M2M
- ControlNet img2img
- Mov2mov extension
- SD-CN Animation extension
- Temporal Kit
- Temporal Kit + EbSynth
- EbSynth插件
问题:重绘幅度调整太小,基本上和换脸视频差不多,服装通过lora调整加入,关键词权重调很高,基本上不能把视频中的衣服换掉。尝试各种参数设置,效果可能都不是很好。
减少虚影:减少动画插帧数量。
1. Temporal Kit 和 EbSynth
Temporal Kit 和 EbSynth 都是视频风格转换的工具,用于提取关键帧、补全非关键帧。配合各种SD模型的使用方法:
- TemporalKit / Ebsynth提取关键帧
- Stable Diffusion 风格迁移
- TemporalKit / Ebsynth补全重绘后的关键帧图片之间的序列帧,并拼合出了视频。
区别:用Ebsynth进行补帧和合成,相比于Temporal-kit插件Ebsynth utility生成步骤清晰,后期还能指定更换背景。但Ebsynth utility插件生成的重绘效果有些图片会有阴影,需要单独挑出来再次