条件:
需安装2.0及以上版本的torch
即可。
优势:
根据模型和GPU的不同,torch.compile()
在推理过程中可以提高多达30%的速度。
使用方式:
vae_config = OmegaConf.load("kl-f8/config.yaml")vae_model = load_model_from_config(vae_config, "latent_diffusion/models/LDM.ckpt")vae_model = torch.compile(vae_model)
可能引起的问题:
torch._six 的问题
只需要修改部分的代码即可:
from torch._six import inf
改为
from torch import inf
解决No module named ’torch._six‘问题_torch six-CSDN博客