BRIA.AI团队于HuggingFace开源了一个基于ISNet背景移除模型RMBG-1.4,它可以有效对前景与背景进行分离。RMBG-1.4在精心构建的数据集上训练而来,该数据包含常规图像、电商、游戏以及广告内容,该方案达到了商业级性能,但仅限于非商业用途。关于所用到的训练数据:12000+高质量&高分辨率像素级精度手工标注。更详细的数据分布介绍请移步[RMBG-1.4]
著名的HuggingFace上已有该背景移除模型的体验Demo,见:https://huggingface.co/spaces/briaai/BRIA-RMBG-1.4,用户只需要上传图片即可体验。
基于RMBG生成的掩码设置背景颜色
Alpha融合
Alpha融合是一种将前景通过透明度叠加到背景上的过程。透明度通常是图像的第四通道,当然也可以被分离出来成为一个单独的图像。这个透明的掩膜通常被称为alpha掩膜 𝑚𝑎𝑠𝑘
𝑜𝑢𝑡𝑝𝑢𝑡=𝑓𝑜𝑟𝑒𝑔𝑟𝑜𝑢𝑛𝑑 ∗ 𝑚𝑎𝑠𝑘+𝑏𝑎𝑐𝑘𝑔𝑟𝑜𝑢𝑛𝑑 ∗ (1−𝑚𝑎𝑠𝑘)
以上的 𝑚𝑎𝑠𝑘 的像素值实际计算的时候会从[0, 255]被归一化到[0, 1]
- 当 𝑚𝑎𝑠𝑘=0 ,输出的像素值属于背景
- 当 𝑚𝑎𝑠𝑘=1 ,输出的像素值属于前景
- 当 0<𝑚𝑎𝑠𝑘<1 ,输出像素值是前景和背景的融合
融合代码
for (int i = 0; i < roi.rows; i++){for (int j = 0; j < roi.cols; j++){auto maskVal = (float)mask.at<uchar>(i, j)/255;for (size_t n = 0; n < 3; n++){ roi.at<cv::Vec3b>(i, j)[n] = fgImg.at<cv::Vec3b>(i, j)[n]*maskVal + roi.at<cv::Vec3b>(i, j)[n]*(1-maskVal);} }}
放大图像也看不出边界颜色差
生活照融合
融合后的图像效果