DiffSynth 是一个新的 Diffusion 引擎,可以实现图片和视频的风格转换。
拉取源码
git clone https://github.com/Artiprocher/DiffSynth-Studio/
创建环境
conda env create -f environment.yml
conda activate DiffSynthStudio
下载模型
将Stable Diffusion模型、AnimateDiff模型、Lora模型、ControlNet模型、Annotators预处理模型放到models对应目录下
- 下载AnimateDiff模型
https://huggingface.co/guoyww/animatediff/
- 下载ControlNet模型
https://huggingface.co/lllyasviel/ControlNet-v1-1/
- 下载Annotators预处理模型
https://huggingface.co/lllyasviel/Annotators/
启动WebUI
python -m streamlit run Diffsynth_Studio.py
也可以通过代码的方式实现图片视频风格转换,参照DiffSynth-Studio\examples目录下的示例。