目录

audio2face

FaceFormer 语音驱动 3D人脸动画

MODA 基于人脸关键点的语音驱动单张图数字人生成（ICCV2023）

sadTalker 从音频中生成3DMM的头部姿势和表情

Media2Face 还没开源 

---

audio2face

https://github.com/FACEGOOD/FACEGOOD-Audio2Face/tree/main

FaceFormer 语音驱动 3D人脸动画

FaceFormer阅读笔记-CSDN博客

[audio2face]FaceFormer: 基于Transformers的，语音驱动的3D人脸动画生成 - 知乎

直观感受：

1. 输入raw audio，人的语音，在线的或者录音好的；
2. 输出=一帧一帧的人脸，一秒应该是输出24帧或者更多帧；
3. faceformer是采用自回归的结构，即前面的若干frame（图像的frame），会参与到后续的frames的生成上来。
4. 眼球没有画出，看来重点在于面部肌肉和嘴型的变化，而且没有舌头可见。。。

GitHub - psyai-net/EmoTalk_release: This is the official source for our ICCV 2023 paper "EmoTalk: Speech-Driven Emotional Disentanglement for 3D Face Animation"

MODA 基于人脸关键点的语音驱动单张图数字人生成（ICCV2023）

【数字人】2、MODA | 基于人脸关键点的语音驱动单张图数字人生成（ICCV2023）_moda face-CSDN博客

sadTalker 从音频中生成3DMM的头部姿势和表情

数字人解决方案— SadTalker语音驱动图像生成视频原理与源码部署_sadtalker 调参-CSDN博客

Media2Face 还没开源