截至2023.12.8号,目前市面上有两款适用于SDXL的文生视频开源工具,分别是AnimateDiff和hotshot-xl。
一、工具下载链接
(1)AnimateDiff的webui版本的git链接:
GitHub - continue-revolution/sd-webui-animatediff: AnimateDiff for AUTOMATIC1111 Stable Diffusion WebUI
在文档中直接指出了这两个工具。
(2)hotShot-XL的webui版本的git链接:
GitHub - hotshotco/Hotshot-XL-Automatic1111
二、工具模型安装
1、AnimateDiff
分为SD1.5和SDXL两个模型。
模型下载链接为:
https://huggingface.co/guoyww/animatediff/tree/main
mm_sd_v15_v2.ckpt适用于SD1.5
mm_sdxl_v10_beta.ckpt适用于SDXL
模型下载后放到 stable-diffusion-webui根目录/extensions/sd-webui-animatediff/model
2、hotshot-xl
模型下载地址:
https://huggingface.co/hotshotco/Hotshot-XL/tree/main
下载949MB的那个模型,下载后放到:stable-diffusion-webui根目录/extensions/Hotshot-XL-Automatic1111/model
三、工具使用
AnimateDiff的效果比Hotshot-XL的效果要好
1、AnimateDiff
注意:FPS=16
2、Hotshot-xl
注意:FPS=8
参考配置: