快手在AI视频这领域还真有点东西,视频生成工具“可灵”让大家玩得不亦乐乎。
现在又开源了一个超好玩的表情同步(表情控制)项目。
一看这图片,就充满了娱乐性。发布没几天就已经有8000+Star。
项目****简介
LivePortrait 是一款由快手团队开发的高效肖像动画工具,通过隐式关键点框架,从静态图像生成动态视频。该工具可以让用户通过驱动视频生成逼真的面部表情和头部动作。这款工具不仅可以用于人脸动画,还能扩展到动物肖像,提供了广泛的应用场景。
该项目主页核心介绍其实就一句话“Bring portraits to life!” 可以理解为让“ 将肖像变得栩栩如生!”。
下面先简单说一下这个项目的特点,然后分享一下本地安装方法,最后是一件包和使用方法!
只要配置不是太差,人人都可以玩转!
项目特点
表情神同步
这个项目的表情同步非常传神,这也是这个项目最大的特点。
嘴巴和眼神的同步,比较惊艳。
可以驱动图片和视频
可以用一段带有人物脸部表情的视频去驱动一张图片,同时也可以用视频驱动视频。
前者高效,只要你能拿到一张脸部照片,就可以让这张照片开口说话,做出各种表情。
后者高能,用视频驱动视频,会显得效果更加自然。
素材支持广泛
只要是带脸和五官的东西,基本都能玩。
“肖像”可以包括 真人照,动漫人物,名画中的人物,甚至是兵马俑和动物。
单独修改眼睛和嘴巴
除了视频生成之外,还可以“一键P图”。
就是那种一键闭眼一键睁眼。一键闭嘴一键张嘴那种。当然也可以,闭上眼张开嘴,有一定的可玩性。
电脑配置要求低
AI视频和AI绘画是非常消耗配置的项目,比如很多基于SDXL的AI绘画类项目,模型动不动就是10G+,显存需求动不动就是16G+甚至24G。但是这个项目好很多,预训练模型才600M+。模型小就意味着显存需求也很低!
安装配置比较简单
这个项目配置起来非常简单。只需要根据项目主页的命令一行一行复制、粘贴、运行即可。Windows下安装依赖无需踩坑,直接装就可以了。除了Windows之外也支持基于M系列的macOS系统。
本地安装
**云端的都是别人的,本地的才是自己的。**下面来说一说如何本地安装,如果看过我之前的安装配置文章,这个项目的安装会非常简单。
先保证本地电脑已经具备如下软硬件:
-
NVIDIA中高端显卡
-
Windows11系统
-
Python环境
-
Git工具
外加,懂一点CMD命令。就可以立马开干了。
克隆代码
使用git命令克隆源代码。
git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait
克隆源代码之后,使用cd命令,进入到项目文件夹。
创建虚拟环境
使用conda工具创建一个虚拟环境,做本地隔离。
conda create -n LivePortrait python=3.10
conda activate LivePortrait
创建一个名为LivePortrait的基于Python3.10的虚拟环境,并且激活这个虚拟环境。
安装依赖
Python环境创建之后之后,通过req依赖文件,一键安装依赖。
# 针对 Linux and Windows 用户
pip install -r requirements.txt # 针对macOS M系列
pip install -r requirements_macOS.txt
注意,Windows和Linux用户用上面的命令,使用requirements.txt里的依赖列表来安装。macOS用户使用专属的macOS.txt文件来安装。
安装之前要保证网络通畅,或者设置好了pip镜像。
下载模型
经过上面的步骤,安装配置就已经完成了。接下来是要获取模型。
通过命令获取:
#安装lfs,已经装过可以忽略
git lfs install #下载模型
git clone https://huggingface.co/KwaiVGI/LivePortrait temp_pretrained_weights
mv temp_pretrained_weights/* pretrained_weights/
rm -rf temp_pretrained_weights
这些命令会从huggingface上下载模型,并放置到pretrained_weights文件中,由于HF已经被嗝屁了,所以局域网用户可能不是太方便。
通过网盘获取:
项目主页给出了百度盘,谷歌盘,我也会整理好放在我的网盘,见文末。
模型文件的目录结构如下:
pretrained_weights
├── insightface
│ └── models
│ └── buffalo_l
│ ├── 2d106det.onnx
│ └── det_10g.onnx
└── liveportrait ├── base_models │ ├── appearance_feature_extractor.pth │ ├── motion_extractor.pth │ ├── spade_generator.pth │ └── warping_module.pth ├── landmark.onnx └── retargeting_models └── stitching_retargeting_module.pth
模型并不是很大,网络好的话,下载起来很轻松。
快速运行推理
模型下载完成,并放置到指定路径之后,就可以运行了。
无界面运行:
# Linux and Windows
python inference.py # For macOS with Apple Silicon, Intel not supported, this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py
直接用Python运行推理文件,这样软件会自动找演示素材,自动合成视频。
这种方式适合开发者快速验证环境,但是使用起来不是很方便。所以推荐第二种运行式。
使用网页版:
# For Linux and Windows users (and macOS with Intel??)
python app.py # For macOS with Apple Silicon users, Intel not supported, this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python app.py
运行上述命令之后,就会使用基于Gradio的WEBUI了。
安装配置运行完成之后,下次要再次使用,输入如下命令即可:
切换到项目文件夹所在盘,比如E盘,
然后使用CD命令进入文件夹,
然后激活虚拟环境,
然后运行app.py。
网页版使用说明
运行成之后,复制URL地址到浏览器打开,就可以看到界面了。
①左边上传源(Source)素材
②右边上传驱动(Driving Video)视频
③点击动画按钮(Animate)开始合成
这里的源素材,可以是图片,也可以是视频。而驱动视频自然自能是视频。界面上有一些参数,默认即可。
视频处理完成之后,就会显示在下面了。
左边是被驱动的图片,右边的是效果对比图。界面上只有三个头像的对比视频。
如果需要合成的最终视频,就是包含整个人物的完整视频,可以在文件夹中找到。
文件夹路径为:LivePortrait\animations
RTX3060上面,整个过程消耗了5.8G显存,125秒时间。
除了视频功能,还有一个改变图片表情的功能。
网页往下滚动,找到Retargeting功能。
通过调整target eyes-open ratio和target lip-open ratio这两参数,可以得到不同程度的表情。
0为闭合,0.8为张开,可以取一个极端值,或者中间值。
①左边的Retargeting Input里面选择或者上传一张图片。
②然后修改一下参数,比如把眼睛和嘴巴的参数设置为0.8。
③最后点击Retargeting运行
最后就可以获得一张传世名作《蒙娜丽莎的惊讶》了。
另外通过相对俯仰(Relative Pitch)、相对偏航(Relative Yaw)和相对翻滚(Relative Roll)等参数可以改变 人脸的朝向。
这么一来,蒙娜丽莎就惊掉下巴了。
一键运行包
安装配置使用都说完了,最后简单说一下一键运行包。
一键运行包就是把上面的所有命令,模型,环境全部放在一起,省去了配置下载的过程。
只需要下载,解压,双击运行即可。
通过网盘可以下载到一个叫tonyhub-liveportrait-v1.0.0.7z的压缩包文件。
解压这个文件,在解压后的文件夹中找到run.exe。
双击exe文件启动软件。
看到Runing on local URL 表示启动成功,同时浏览器会自动打开,并显示表情同步生成的界面。然后根据上面操作来,就可以轻松制作一个表情同步的视频了。
这个项目是比较适合做搞笑短视频的,也可以用自己的表情嘴型去控制别人的表情和嘴型,配合上AI变声器,也是有非常大的可玩性。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。