AI绘画Stable Diffusion | 如何利用SD垫图实现照片风格转换，动漫真人互转教程

“ 小红书上有很多用AI做卡通头像的，大概思路是你拍一张个人照片发给博主，博主利用midjourney的垫图功能转换成卡通形象，一张收取一定费用……”

稍微了解AI绘画的人都应该知道，midjourney是付费的软件，而且需要一定魔法上网能力。

今天给大家分享，利用免费的AI绘画工具Stable Diffusion（以下简称SD）的垫图功能，实现真人照片风格转换。

虽然SD用起来没有midjourney体验好，但是软件免费，而且可控性好，因此就选它了。

01、工具准备

准备好SD webui工具，contronet版本要在V1.140以上，也可以直接升级到最新版本V1.440。（如果你的SD没有ControlNet插件，请看文末扫描获取插件安装包哦）

ControlNet等插件升级，依次点击SDwebui界面上的扩展，已安装，检查更新，出现升级检查进度条，然后勾选最新版本，如下图。

我们利用contronet控制类型IP-Adapter来垫图，提前下载对应模型，放入stable-diffusion-webui\models\ControlNet目录。（模型已备好，请看文末扫描获取IP-Adapter模型文件）

02、案例讲解

2.1 书写提示词，描述你想要的内容

模型这里选择的是大模型xxmix9realistic_v40，没有使用lora模型，

在文生图界面，第一个输入框，输入以下正向提示词，也就是你想要的内容描述：

masterpiece,best quality,hyper quality,8k,insane details,intricate details,hyperdetailed,high detail,ultra detailed,

大师级，最好画质，高品质，8K，疯狂的细节，复杂的细节，超详细的，高细节，超细节

Realistic, RAW photo, dslr, soft lighting, film grain,Fuji film XT3, Screen Space Refraction, high detailed skin, natural skin texture,cartoon, eye facing lens

真实感，RAW照片，dslr，柔和照明，胶片颗粒，富士胶片XT3，屏幕空间折射，高细节皮肤，自然皮肤纹理，卡通，鱼眼镜头

1 girl,solo,Grape Purple long curly hair,light proof,gentle smile,silver gray background,

1个女孩，独自，葡萄紫长卷发，耐光，温柔的微笑，银灰色背景，

第二个输入框，输入以下负向提示词，也就是你不想在AI生成图片中看到的内容，画人物一般都是通用的提示词。

NSFW, nude, naked, porn, (worst quality, low quality:1.4), deformed iris, deformed pupils, (deformed，distorted, disfigured:1.3), cropped, out of frame,poorly drawn, bad anatomy, wrong anatomy, extralimb, missing limb, floating limbs, cloned face, (mu-tated hands and fingers:1.4), disconnected limbs,extra legs, fused fingers, too many fingers, longneck, mutation, mutated, ugly, disgusting, amputa.tion, blurry, jpeg artifacts, watermark, water-marked, text, Signature, sketch,symbol，

2.2 尺寸以及参数设置

采样方法sampler选择，DPM++ 3M SDE Karras，老版本可以选择DPM++ 2M SDE Karras

迭代步数steps输入30步，高分辨率修复Hires.fix先不打开（等后边生成自己满意图片再打开）

图片宽度输入688，高度输入400，后边contronet打开，拖拽图片后，也可点击向上箭头自动填充这里。

总批次数1，单批数量1，如果你想同时生成多张，也可以把总批次数改为4，单批数量1，反过来也可以

提示词引导系数CFG Scale输入7，这里值越大表示图片生成参考提示描述的权重越大，换句话就是严格按照提示词描述来生成

随机种子Seed默认是-1，这样AI会随意发挥，当你看到自己满意的图片时，把该图片的seed值复制到这里，保证图片一致性。

2.3 打开SD垫图功能

在生成界面上，向下找到contronet选项卡，点击该选项卡，选项卡自动向下打开，

可以看到有几个contronet的单元，每个单元可以利用一种控制类型，本次教程我们只选一种控制类型。

在contronet第一个单元里面，提前准备的图片（客户发给你的个人照片）拖拽进去。

可以看到会自动勾选启用，同时你要手动勾选完美像素，点击控制类型IP-Adapter。

预处理器选ip-adapter_clip_sd15，也可以选无。模型选择ip-adapter_sd15（上边提前下载好的模型）。

我这里是在网上随便找的一张金晨照片，用来模仿是客户发给你的照片，原图是这样的

利用垫图功能之后，感觉相似度还是有几分相，可调整控制权重值来影响最终成品，我的权重是0.6，生成的成品图如下

当然，你也可以把图片宽度高度调整成你想要的，比如6寸尺寸照片分辨率是1200*1800，开始生成时先调低分辨率除以2是600*900

等你生成出自己满意的图片后，复制图片seed值，把随机中子数的-1值改为刚复制的seed值

再打开高分辨率修复Hires.fix，放大算法选R-ESRGAN 4x+，重绘幅度调到0.2，放大倍数2倍，其他参数不变

最终图片分辨率由600*900放大为1200*1800，生成的成品效果图如下

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述