先找一找有没有直接生成小红书图片的项目。这个项目和图片生成项目还是有一点区别的,小红书的图片不仅关注图片上的商品,可能一篇文章中,有商品的图片可能就一张,更多还是带有文字的图片,那么就是对文字进行替换,目前的图片生成,很少有这块的能力。1.目前的图像生成在电商领域的场景图生成中还是以前景和背景的融合为主,主要关注点还是商品本身,主要就是sd重绘和controlnet,外挂一些lora,2.从完整的创意图角度讲,阿里妈妈提出了AI for 底图生成,图片智能布局,图上文案生成,这三步结合起来才是一个完整的图片,本项目在小红书这个场景就很关注图片智能布局和图上文案生成这些步骤,因为单纯的场景图其实和商品绑定的是不少的。
1.模版替换
可以制作原始的模版,如果是走photoshop合成的话,肯定是要psd的,当然不用psd也可以,只要能有模版就可以,模板其实就是json,用木牛的话,就是psd->json->插入图片文字->渲染,或者全套就掉ps的api也可以。
2.布局+图上文案生成
有一张白底图,然后输出布局和图上文案,图上文案可以由大模型产生,核心在于布局如何产生。
CVPR 2023 | 基于无监督域自适应方法的海报布局生成本文分享我们在图文广告