在英伟达自18年宣布光追技术之后，RTX显卡也成了目前Steam游戏的常客。就连 AMD、Intel 和 Apple Silicon 都宣布要在GPU上支持光追算法。这次我要介绍的是huggingface上比较火的relight技术—— ic-light
介绍
IC-Light 是一个操纵图像照明的项目。
IC-Light "是 "Imposing Consistent Light "的缩写（我们将在本页末尾对此进行简要介绍）。
目前，我们发布了两类模型：文本条件重照明模型和背景条件模型。这两种模型都将前景图像作为输入。
https://github.com/lllyasviel/IC-Light
安装
显存大小：能支持 sdxl 就够了
git clone https://github.com/lllyasviel/IC-Light.git
cd IC-Light
conda create -n iclight python=3.10
conda activate iclight
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
python gradio_demo.py
效果
Prompt: beautiful woman, detailed face, warm atmosphere, at home, bedroom
Lighting Preference: Left
Prompt: beautiful woman, detailed face, sunshine from window
Lighting Preference: Left
Prompt: beautiful woman, detailed face, sunshine, outdoor, warm atmosphere
Lighting Preference: Left
Prompt: beautiful woman, detailed face, shadow from window
Lighting Preference: Left
营造一致的光线
在 HDR 空间中，照明的特性是所有光传输都是独立的。
因此，混合不同光源的外观等同于混合光源的外观：
以上述灯光舞台为例，"外观混合物 "和 "光源混合物 "的两幅图像是一致的（理想情况下，在 HDR 空间中数学等价）。
在训练重新照明模型时，我们强加了这种一致性（使用潜空间中的 MLP）。
因此，模型能够产生高度一致的重光效果，其一致性甚至可以将不同的重光效果合并为法线贴图！尽管这些模型都是潜扩散模型。
也有网友说希望ComfyUI也能支持就更好了。
