[paper | code | proj]
- 本文提出INSTA。INSTA是一种backward mapping方法。该方法基于NeRF建立标准空间，形变空间（任意表情）通过映射回标准空间，实现渲染。
- 为实现形变空间中任意点向标准空间的映射，对形变空间中的任意点：1）找到最近邻三角面片；2）通过该三角面片和对应标定空间中的三角面片计算形变梯度；3）通过形变梯度将该点映射回标准空间；
- 给定一段单目RGB肖像视频，该视频记录了目标人物的不同表情和视角，实现对未见表情和视角的渲染。
快速可变形神经辐射场
- 任务设置：给定单目视频
、相机内参
、FLAME meshes
、FLAME表情系数
和FLAME相机位姿
，生成基于神经辐射场（NeRF）表征的可控制头部虚拟人
- 本文方法属于Backward Mapping。本文基于NeRF建立标准空间，为了渲染特定面部表情，将形变空间中采样的点，映射回标准空间中。相较而言，经典的Dynamic NeRF是将不同时间的点映射回标准空间。
体渲染
其中，
是透明度，是密度，
是
位置的颜色。任意点
，在预测其密度和颜色时，会受该帧对应的3DMM表情系数
影响。
标准空间
本文通过计算形变梯度（deformation gradient），将形变空间中点映射到标准空间中。
- 给定第
个形变空间中的任意点，其FLAME最近邻三角面片（triangle）是
，对应标准空间中的FLAME三角面片是
；
- 通过三角面片切向量（tangent vector）、双切向量（bitangent vector）和法向量（normal vector），计算旋转矩阵
；
- 通过三角面片顶点可以计算位移
- 通过旋转矩阵和位移矩阵，可以计算Frenet坐标系统帧
和
，两者大小都是
：
- 考虑到三角面片在形变空间和标准空间中的差异，本文通过对应三角面片的面积比，计算各向同性的放缩变量
：
- 最终，形变梯度
定义如下：
- 为了避免变化的不连续性，本文额外执行了相邻面片转换的指数加权平均：
- 其中，
，A是T的相邻面片，其中心点为。
- 值得一提的是，所有顶点的位置都以米为单位（FLAME的度量单位）
为了加速渲染，本文借助经典的bounding volume hierarchy (BVH)，提高最近邻三角面片的搜索速度。同时，为了减缓FLAME中高度密集区域的三角面片搜索，本文简化了研究和眼睛区域；
训练目标
任意点颜色为：
其中，
，
，
借助FLAME模型，实现脸部区域的深度损失：
最终损失为：
实验
实验结果
消融实验
