AIGC在天猫商品海报生成上的探索没有灵感GPT，画不出来SD。
https://mp.weixin.qq.com/s/_CkkqoWmHDZ0YqAhmAhL1A天猫在海报图生成上的探索。
技术路线：
初看不觉得什么，细看还真有点不一样，通常我们用canny controlnet是为了控制商品图的边缘生成，此方案用canny控制先验的背景图，第一次生成出来不错的图再作为reference二次生成。
既要商品不变，又要增加泛化性，保证可用率：
1.离线模块通过文生图产生一个背景图库，背景图库提供一些先验给reference，这一步可以由sdxl去做。
2. 离线模块预置多角度商品图，实际上商品图应该是由用户自己上传的，可能还需要走一遍抠图得到mask和商品图。
3.从背景图库中选择一张和当前商品图最相关的图作为引导图，解决商品和背景不协调的问题，提高出图率。
4.由商品图和背景图一起，生成canny图，inapinting的原图和mask是由一张商品白底图和对应的mask产生的，大小和背景图一致，产生的位置则是由背景图抠图出来的主体底部对应贴出来的。
5.通过sd inpainting，输入图就是商品白底图+mask，canny controlnet输入是商品图和背景图融合产生的canny生成初步的商品海报。这里有很大不同，一般做法是商品原图+sam抠出来的mask融入inpainting出结果的，这里是商品白底图+mask，以及一个canny，注意canny的边缘是商品和背景的边缘。
6.使用sam扣出一次生成的商品图mask，用这个mask使用lama去掉，防止后面贴图时出现边缘对不起的现象。
7.将抹去商品的图和步骤4中的商品白底图、对应的mask作为输入，用reference模式，合成新图。
8.将商品图贴回去，得到最终海报图。
总结一下：
-
通过Copy&Paste的方式，保证无差别还原。
-
通过预置引导图解决了完全随机性，提高了出图率。
-
通过两步生成解决了倒影等问题。图像精美，具备高级感。
-
通过擦除重建以及图像融合技术，缓解了商品边缘的毛刺问题。
-
通过从生成图上提取光影，映射到贴图，解决了光影不和谐的问题。
