1、营销应用:AI生成生成带手势(手部动作)的数字人视频
(1)一个基于扩散模型的数字人生成框架,专注于生成具有全身动作的主播风格视频。该系统通过仅需一分钟的个人视频片段进行训练,便能自动生成具有精确躯干和手部动作的主播风格视频。 (2)定位:该框架定位于解决现有仅基于头部动作的数字人生成解决方案无法直接生成全身动作视频的挑战,旨在提供一种高效、高质量的全身动态视频生成技术。
(3)核心功能
1、结构引导的扩散模型:通过微调输入视频,将3D网格条件渲染到人类外观上。
2、两阶段训练策略:有效结合特定外观的动作。
3、3D风格扩展:将2D U-Net扩展到3D风格,无需额外训练成本即可生成任意长度的视频。
4、批量重叠时间去噪模块:在推理过程中克服视频长度的限制。
项目主页:GitHub - ICTMCG/Make-Your-Anchorhttps://github.com/ictmcg/make-your-anchor