神经辐射场（NeRF）2023最新论文及源代码合集

神经辐射场（NeRF）作为一种先进的计算机图形学技术，能够生成高质量的三维重建模型，在计算机图形学、计算机视觉、增强现实等领域都有着广泛的应用前景，因此，自2020年惊艳亮相后，神经辐射场也成为了人工智能领域的热门研究方向。

这种热门自然也体现在论文上，近年各大顶会中神经辐射场相关的论文数量增长迅速，CVPR 2021年发表了不到10篇NeRF论文，到了2022年就有超过50篇关于该主题的论文，所以我建议有想法发顶会的同学抓紧时间。

为了帮大家快速找到idea发出paper，我这次精选了17篇神经辐射场（NeRF）相关的高分论文，论文成果也都简单分享给大家了，论文原文与源代码看文末领取。

1.Neural Radiance Fields: Past, Present, and Future

标题：神经辐射场:过去、现在和未来

内容：本文作为一份教程，从数学、几何、计算机视觉和计算机图形学的基础开始，介绍这些学科交叉领域中隐式表示所面临的挑战。文中概述了渲染、隐式学习和NeRF的历史，NeRF研究的发展，以及NeRF在当今世界的潜在应用和影响。论文按数据集、目标函数、应用和评估指标对NeRF相关研究进行分类。

2.SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields

标题：SPIn-NeRF:使用神经辐射场进行多视图分割和感知补全

内容：神经辐射场(NeRF)已成为新视图合成的流行方法，但直观编辑NeRF场景仍是一个挑战。本文目标是从3D场景中移除不需要的物体，使替换区域视觉连贯。作者首先快速获得目标物体的3D分割掩码。然后利用该掩码，提出一种基于感知优化的方法，利用2D图像补全器的信息进行3D补全，同时确保多视角一致。作者还构建了包含真实复杂场景的3D补全评估数据集。实验表明，本文方法取得了最先进的3D补全性能。

3.NoPe-NeRF: Optimising Neural Radiance Field with No Pose Prior

标题：NoPe-NeRF: 在没有姿态先验的条件下优化神经辐射场

内容：最近的研究进展表明，在正向场景中可以联合优化NeRF和相机姿态。然而，当相机剧烈运动时，这些方法仍面临困难。作者通过结合无畸变的单目深度先验来解决这个难题。这些先验是通过在训练过程中校正尺度和偏移参数生成的，可以用它们约束连续帧之间的相对姿态。作者提出了新颖的损失函数来实现这种约束。在实际室内外场景上的实验表明，作者的方法可以处理复杂的相机运动轨迹，并在新视图渲染质量和姿态估计精度方面优于现有方法。

4.Cross-Ray Neural Radiance Fields for Novel-view Synthesisfrom Unconstrained mage Collections （ICCV 2023 oral）

标题：使用交叉射线神经辐射场从非约束图像集合中进行新视图合成

内容：神经辐射场(NeRF)通过对每个像素采样一条射线进行渲染，能够从静态场景图像中合成高质量新视图。但是从非约束图像集合中恢复NeRF面临两个挑战：1)不同拍摄时段的图像外观变化；2)图像中存在遮挡物体。传统NeRF通过单条射线合成颜色，而人类通过全局信息感知场景。为此，本文提出交叉射线NeRF，通过多个射线的交互信息合成无遮挡新视图。具体来说，利用新颖的交叉射线特征表示多条射线，通过射线特征的全局统计信息恢复图像外观，同时设计遮挡处理模块滤除遮挡物体。

5.Efficient Region-Aware Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis

标题：高保真说话肖像合成的高效区域感知神经辐射场

内容：本文提出条件神经辐射场框架ER-NeRF用于说话肖像合成。主要特点是：1)引入基于区域注意力的机制,聚焦在面部关键区域,提高动态头部重建的准确性；2)提出自适应姿势编码，优化头部和躯干的分离；3)可以实现实时渲染和高保真合成效果。相比已有方法，该框架可以更高效生成唇形同步的高质量说话肖像。

6.NeRF:Neural Radiance Field in 3DVision, Introduction and Review

标题：NeRF: 3D视觉中的神经辐射场，介绍与综述

内容：本文综述近两年发表的神经辐射场(NeRF)论文。NeRF作为新视角合成和3D重建方法，在计算机视觉领域广为关注。作者从架构和应用两个维度分类整理NeRF论文，介绍NeRF的基本理论，比较关键NeRF模型的性能，希望为研究人员提供有价值参考，并激发未来研究方向。本综述全面概述NeRF的发展历程、应用和前沿进展。

7.Interactive NeRF Geometry Editing with Shape Priors

标题：带有形状先验的交互式NeRF几何编辑

内容：本文提出了一种NeRF几何编辑方法，首先从NeRF中提取三角网格表示的几何结构。该网格可以通过任意3D建模工具进行修改(我们使用ARAP网格变形)。然后将网格变形扩展到形状周围的体积变形，在变形的NeRF和原始NeRF之间建立射线查询的映射。通过为NeRF形状生成框架抽象提供直观界面，可以将基本的形状编辑机制扩展到更强大和更有意义的编辑手柄。通过附加语义标签，我们甚至可以识别和组合不同对象的部分。

8.DiffusionNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models

标题：DiffusionNeRF:用去噪扩散模型正则化神经辐射场

内容：在良好条件下，神经辐射场(NeRF)在新视角合成任务中表现出了令人印象深刻的结果。NeRF通过最小化训练视角和场景可微渲染之间的照度差异来学习场景的颜色和密度场。一旦从足够多的视角训练完成，NeRF可以从任意相机位置生成新视角。然而，场景几何和颜色场是高度欠约束的，这可能导致伪影，尤其是在用少量输入视角进行训练时。为了缓解这个问题，作者使用去噪扩散模型(DDM)学习场景几何和颜色的先验知识。DDM在合成Hypersim数据集的RGBD补丁上进行训练，可以用于预测颜色和深度补丁的联合概率分布的对数的梯度。

9.SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views

标题：SC-NeRF: 用稀疏视角自我修正的神经辐射场

内容：论文基于多头注意力机制提出了几何修正模块和外观修正模块。对渲染的深度进行归一化，并将其与光照方向组合作为注意力机制中的查询。该网络有效地纠正了户外场景中的不同场景结构和几何特征，从对象级很好地泛化到未见的户外场景。此外，作者使用外观修正模块来纠正外观特征，防止由于视点变化导致的渲染伪影，如空白边框和残影。通过组合这些模块，该方法成功解决了户外场景泛化的挑战，生成高质量的渲染结果。

10.ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields

标题：ViP-NeRF: 神经辐射场稀疏输入的可见先验

内容：最近通过提供从预训练网络估计的稠密深度作为监督，对稀疏输入NeRF进行了正则化，以实现优于稀疏深度约束的性能改进。然而，作者发现这种深度先验由于泛化问题可能不准确。相反，作者推测不同输入视图中的像素可见性可以更可靠地估计，以提供稠密的监督。在这方面，作者通过使用平面扫描体积计算可见性先验，不需要任何预训练。通过使用可见性先验正则化NeRF训练，作者成功地用少量输入视图训练NeRF。作者重新表述NeRF，也直接输出3D点从给定视点的可见性，以降低使用可见性约束的训练时间。

11.SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis

标题：SparseNeRF: 为少样本新视图合成提炼深度排名

内容：论文提出了一种新的稀疏视图NeRF(SparseNeRF)框架，利用来自真实世界不准确观测的深度先验。粗糙的深度观测要么来自预训练的深度模型，要么来自消费级深度传感器的粗糙深度图。由于粗糙深度图不严格按比例缩放到真值深度图，作者为NeRF提出了一种简单有效的约束——局部深度排序方法，使NeRF的期望深度排序与局部补丁中的粗糙深度图一致。为了保持NeRF估计深度的空间连续性，作者进一步提出空间连续约束，以鼓励NeRF的期望深度连续性与粗糙深度图的一致性。

12.SHERF：Generalizable Human NeRF from a Single Image

标题：SHERF：从单张图像通用人体NeRF

内容：在本文中，作者提出了SHERF，第一个从单个输入图像中恢复可编辑3D人体的通用人体NeRF模型。SHERF提取和编码规范空间中的3D人体表示，实现自由视角和姿势的渲染和动画。为实现高保真的新视角和姿势合成，编码的3D人体表示既要捕捉全局外观，也要捕捉局部细粒度纹理。为此，作者提出了一组感知3D的分层特征，包括全局特征、点级特征和像素对齐特征，以促进信息丰富的编码。全局特征增强了从单个输入图像中提取的信息，并补充了从局部2D观察中缺失的信息。

13.Tensor4D : Efficient Neural 4D Decomposition for High-fidelity Dynamic Reconstruction and Rendering

标题：Tensor4D : 高保真动态重建和渲染的有效神经4D分解

内容：论文提出了Tensor4D，一种高效且有效的动态场景建模方法。该解决方案的关键是一种高效的4D张量分解方法，这样动态场景可以直接表示为一个4D时空张量。为了解决随之而来的内存问题，作者通过首先将其投影到三个时间感知体积，然后九个紧凑的特征平面来分层分解4D张量。通过这种方式，时空信息可以以紧凑和内存高效的方式同时捕获。在将Tensor4D应用于动态场景重建和渲染时，作者进一步将4D场按照不同的尺度进行分解，这样结构运动和动态细节变化可以从粗到细地学习。

14.Reference-guided Controllable Inpainting of Neural Radiance Fields

标题：引用指导的可控神经辐射场填充

内容：作者使用单目深度估计器将填充的视图反向投影到正确的3D位置。然后，通过一种新颖的渲染技术，双边求解器可以在非参考视图中构建视角依赖的效果，使填充区域从任何视角看起来都一致。对于单个参考视图无法监督的非参考遮挡区域，作者设计了一种基于图像填充的方法来指导几何形状和外观。

15.Removing Objects From Neural Radiance Fields

标题：从神经辐射场中移除对象

内容：论文提出了一个框架，可以从RGBD序列创建的NeRF表示中删除对象。该NeRF填充方法利用了最近的2D图像填充工作，并由用户提供的遮罩进行指导。作者的算法由基于置信度的视角选择过程支撑。它选择哪些单独的2D填充图像用于NeRF的创建，以使最终的填充NeRF在3D上一致。

16.DE-NeRF: DEcoupled Neural Radiance Fields for View-Consistent Appearance Editing and High-Frequency Environmental Relighting

标题：DE-NeRF:用于视角一致的外观编辑和高频环境重照明的解耦神经辐射场

内容：论文提出了DE-NeRF，它使用混合照明表示来解耦场景中的视角无关的外观和视角相关的外观。具体来说，作者首先训练一个签名距离函数来重建输入场景的显式网格。然后，一个解耦的NeRF通过在其顶点上定义表示几何和视角无关外观的可学习解耦特征，来学习将视角无关的外观附加到重建的网格上。对于照明，作者用一个显式的可学习环境贴图和一个隐式的照明网络来近似它，以支持低频和高频的重新照明。通过修改视角无关的外观，渲染的结果在不同的视点之间是一致的。

17.Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields

标题：Blended-NeRF: 在现有神经辐射场中进行零样本对象生成和混合

内容：论文提出了Blended-NeRF，这是一个稳健且灵活的框架，可以基于文本提示和3D ROI框来编辑现有NeRF场景中的特定感兴趣区域。该方法利用预训练的语言-图像模型来驱动合成朝向用户提供的文本提示，以及在现有NeRF场景上初始化的3D MLP模型来生成物体并将其混合到原始场景中的指定区域。作者通过在输入场景中定位3D ROI框来实现局部编辑，并使用新颖的体素混合技术将ROI内合成的内容与现有场景进行混合。为了获得自然的视角一致的结果，作者利用现有和新颖的几何先验知识和3D增强来提高最终结果的视觉保真度。