引子
近期，文生图，wav2lip很火，文生图，见识的太多，不多说了。wav2lip其通过语音驱动唇部动作并对视频质量进行修复，里面一般涉及到三个步骤，文本到语音转化，语音驱动唇部动作，图像质量修复。最后一步骤涉及到图像质量修复，考虑到之前做过基于GFP-GAN相关的工作，在此，总结汇总下。本文主要介绍腾讯在人像复原、超分等方面的佳作 GFP-GAN。在 wav2lip 中扮演视频质量判别器的任务，负责对嘴唇修复后的图像帧进行质量修复，提供更高质量的视频效果。虽然是三年前的成果，目前来看效果依然还是十分不错的。OK，让我们开始吧。
一、环境搭建
conda create -n GFPGAN python=3.7
conda activate GFPGAN
# 克隆源码
git clone GitHub - TencentARC/GFPGAN: GFPGAN aims at developing Practical Algorithms for Real-world Face Restoration.
cd GFPGAN
# 安装 basicsr，训练和测试中都需要用到
pip install basicsr -i Simple Index
# 安装facexlib用于人脸检测以及人脸重建的助手
pip install facexlib -i Simple Index
pip install -r requirements.txt
python setup.py develop
# 安装realesrgan包，用于增强没有人脸情况下的背景，项目刚好需要，就安装了
pip install realesrgan -i Simple Index
#模型下载
https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.4.pth
二、测试
python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.4 -s 2
测试效果如下：
