IP-Adapter还可以通过Inpainting自动管道和蒙图方式生成目标图片。

# 以下代码为程序运行进行设置，使用Inpainting 的自动管道，

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

from diffusers import AutoPipelineForInpainting

# 程序需要能够支持加载图片

from diffusers.utils import load_image
import torch

# 以下代码加载模型，但是用的是Inpainting的自动管道

pipeline = AutoPipelineForInpainting.from_pretrained("diffusers/stable-diffusion-xl-1.0-inpainting-0.1",
torch_dtype=torch.float16).to("cuda")

# 同时加载IP-Adapter模型

pipeline.load_ip_adapter("h94/IP-Adapter", subfolder="sdxl_models", weight_name="ip-adapter_sdxl.bin")

# 设置IP-Adapter影响力

pipeline.set_ip_adapter_scale(0.6)

# 以下代码加载原始图片，参考图片和蒙图

mask_image = load_image(

"ip_adapter_mask.png")
image = load_image(
"ip_adapter_bear_1.png")
ip_image = load_image(
"ip_adapter_gummy.png")
 

generator = torch.Generator(device="cpu").manual_seed(4)

# 以下代码加载并处理提示词,基于原始图片，参考图片和蒙图生成图片

images = pipeline(
prompt="a cute gummy bear waving",
image=image,
mask_image=mask_image,
ip_adapter_image=ip_image,
generator=generator,
num_inference_steps=100,
).images

images[0].show()

原图的效果是这样的

参考图片的效果是这样的

蒙图的效果是这样的

生成的图片的效果是这样的（如果真有这么一个软糖北极熊，真能舍得吃吗？）