换脸的关键在于人脸对齐,人脸对齐主要包括以下几点:
1、人脸可能存在一定的角度,因此需要先将倾斜方向进行对齐
2、大小对齐,将模板人脸的大小缩放到同一大小
3、要想有好的效果,关键点选取很重要
4、人脸对齐后,使用seamlessClone函数可以最大化的融合,还可以通过addWeighted函数进行调节比例,让图像看起来更自然。
人脸融合实现
cv::Mat FusionFace(const cv::Mat& srcImg, const cv::Rect& srcBox, const cv::Mat& destImg, const cv::Rect &destBox, std::vector<cv::Point>& vecDstPointRoi)
{auto destFace = destImg(destBox);cv::Mat destAlignFace;cv::resize(destFace, destAlignFace, srcBox.size());std::cout << "srcBox:" << srcBox << std::endl;auto center = (srcBox.br() + srcBox.tl())/2 ;std::vector<cv::Point> vecDstPointKey = vecDstPointRoi;vecDstPointKey.erase(vecDstPointKey.begin() + vecDstPointKey.size() - 8, vecDstPointKey.end());//获取旋转矩阵掩码auto rotateRect = cv::minAreaRect(vecDstPointKey);cv::Point2f pot[4];rotateRect.points(pot);std::vector<cv::Point> rotatePoints{pot[0], pot[1], pot[2], pot[3]};cv::Mat maskRect(srcBox.size(), CV_8UC1, cv::Scalar(0));cv::fillConvexPoly(maskRect, rotatePoints, cv::Scalar(255));//获取圆形掩码cv::Mat maskCicle(srcBox.size(), CV_8UC1, cv::Scalar(0));float radius = std::min(rotateRect.size.width, rotateRect.size.height);cv::circle(maskCicle, rotateRect.center, radius, cv::Scalar(255), -1);//去并集,最小化掩码区域cv::Mat maskArea(srcBox.size(), CV_8UC1, cv::Scalar(0));cv::bitwise_and(maskRect, maskCicle, maskArea);cv::Mat tmpDestImg;cv::Mat srcRoi = srcImg(srcBox);cv::seamlessClone(destAlignFace, srcImg, maskArea, center, tmpDestImg, cv::NORMAL_CLONE);//图像增强return FaceEnhance(srcBox, tmpDestImg, srcImg, vecDstPointKey);
}
融合效果
对图像进行增强后的效果