前言

NeRF是NeRF系列的开山之作，将三维场景隐式的表达为神经网络的权重用于新视角合成。
MipNeRF和Instant NGP分别代表了NeRF的两个研究方向，前者是抗锯齿，代表着渲染质量提升方向；后者是采用多分辨率哈希表用于加速NeRF的训练与推理速度。

NeRF

Title：NeRF: Representing Scenes asNeural Radiance Fields for View Synthesis
Code：nerf-pytorch
From：ECCV 2020 Oral - Best Paper Honorable Mention

神经辐射场

辐射场可以理解光线场，给定多张带有相机内外参的二维图片，从摄像机出发，引出到每一个像素的光线，通过对这条光线经历过的空间点的颜色$c$和体密度体密度$\sigma$进行累积，以得到二维图片上像素点的颜色，从而实现端到端训练。在这个过程中，没有显式的三维结构，如点云、体素或者Mesh，而是通过神经网络的权重$F_{\theta }$将三维场景连续的存储起来，通过空间位置（三维点$[x,y,z]$）和视角方向（球坐标系下的极角和方位角$[\theta ,\varphi ]$）作为查询条件，查询出给定摄像机下的光线所经过的空间点颜色$c$和体密度$\sigma$，通过**体渲染（Volume Rendering）**得到该条光线对应像素点的颜色。

体渲染

沿着视角方向的光线上的点P可以用上图来表示，尽管论文中提到视角方向是使用$\theta ,\varphi$来表示的，但代码中还是使用单位向量$d$来表示的。

连续体渲染

体渲染实际上就是将视线r上所有的点通过某种方式累计投射到图像上形成像素颜色$C(r)$的过程：
$$\begin{gathered} C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)\sigma (\mathbf{r}(t))\mathbf{c}(\mathbf{r}(t),\mathbf{d})dt \\ \text{where }T(t)=\exp \left(-{\int }_{t_n}^t\sigma (\mathbf{r}(s))ds\right)\text{\hspace{1em}(1)} \end{gathered}$$

其中，$\mathbf{c}(\mathbf{r}(t),\mathbf{d})$为三维点$r(t)$从$d$这个方向看到的颜色值; $\sigma (\mathbf{r}(t))$为体密度函数，反映的是该三维点的物理材质吸收光线的能力；$T(t)$反映的是射线上从$t_n$到$t$的累积透射率。tn和tf首先确定了nerf的边界，而不至于学习到无穷远；其次避免了光心到近景范围内无效采样。
直观上理解σ，可以解释为每个三维点吸收光线的能力，光经过该点，一部分被吸收，一部分透射，光的强度（可以理解为$T(t)$） 在逐渐减小，当光强为0时，后面的三维点即便可以吸收颜色，也不会对像素颜色有贡献。指数函数保证了随着σ的累积，光的强度从1逐渐减为0。

体渲染离散化

其实就是函数离散化的形式，将tn到tf拆分成N个均匀的分布空间，从每个区间中随机选取一个样本ti:

$$t_i\sim \mathcal{U}\left[t_n+\frac{i-1}{N}\left(t_f-t_n\right),t_n+\frac{i}{N}\left(t_f-t_n\right)\right]i\text{ 从1到N}$$

然后将连续体渲染公式离散化：

$$\begin{gathered} \hat{C}(\mathbf{r})=\sum _{i=1}^N{T}_i\left(1-\exp \left(-{\sigma }_i{\delta }_i\right)\right){\mathbf{c}}_i \\ \text{where }{T}_i=\exp \left(-\sum _{j=1}^{i-1}{\sigma }_j{\delta }_j\right)\text{\hspace{1em}(2)} \end{gathered}$$
where $T_i=\exp \left(-{\sum }_{j=1}^{i-1}{\sigma }_j{\delta }_j\right)$
其中， ${\delta }_i=t_{i+1}-t_i$ 表示相邻采样点之间的距离

但均匀采样有明显的问题， 比如体密度较大的点如果在两个采样点之间，那么永远不可能采样到。从上图中可看出，左半张代表均匀采样，右半张代表真实分布，左边由于表面两侧被采样到，只能反应这个区间内可能存在表面，但估计的σ不一定准确。
作者提出了分层采样来试图解决这个问题。

方法

位置编码

网络结构由如上图所示全连接网络组成，输入x，d分别分三维点的空间位置和视线方向。该三维点的体密度只与空间位置相关，颜色还和视角相关。

$$\gamma (p)=\left(\sin \left(2^0\pi p\right),\cos \left(2^0\pi p\right),\cdots ,\sin \left(2^{L-1}\pi p\right),\cos \left(2^{L-1}\pi p\right)\right)$$

还可以注意到γ(x)和γ(d)分别是对位置坐标和方向坐标的位置编码（标准正余弦位置编码），这是由于单纯坐标只能体现低频信息，位置编码可以有效的区分开两个距离很近的坐标（即低频接近但高频编码分开【但或许也有问题，离得特别近的两个点或许低频信息也不相似，私以为mipnerf考虑三维点邻域的区间，在一定程度上可以缓解】），从而帮助网络学习到高频几何和纹理细节。如下图所示，视角信息有效反应高光信息，位置编码有助于恢复高频细节。

分层采样

除了上述提到的均匀采样可能导致i真实表面难以正好采样到，还有均匀采样带来了很多无意义空间的无效采样，简单来说，只有空气的地方没必要进行采样，或者被遮挡区域（可见性问题，不可见区域也没必要采样，需要提前判断累积透射率是否为降为0）。

首先均匀采样可以得到crose color，wi可以理解为同条射线被采样的$N_c$个三维点颜色的权重：
$${\hat{C}}_c(\mathbf{r})=\sum _{i=1}^{N_c}{w}_i{c}_i,w_i=T_i\left(1-\exp \left(-{\sigma }_i{\delta }_i\right)\right)$$

根据均匀采样点的权重值归一化后按重要性重新采样得到新的$n_f$个位置

$${\hat{w}}_i=w_i/\sum _{j=1}^{N_c}{w}_j$$

最后损失函数可以表示为：

$$\mathcal{L}=\sum _{\mathbf{r}\in \mathcal{R}}\left[{\Vert {\hat{C}}_c(\mathbf{r})-C(\mathbf{r})\Vert }_2^2+{\Vert {\hat{C}}_f(\mathbf{r})-C(\mathbf{r})\Vert }_2^2\right]$$

这里为什么选用两个网络来分别做粗糙采样和精细采样，参考大佬【
】。crose网络是用于均匀采样的，包含更多的是低频信息的查询，而fine网络用于重要性采样，适用于三维点高频细节的查询，两个网络起到了类似滤波器的作用。

「待做实验验证！！！Todo」

体渲染推导公式（1）到公式（2）

首先，光线通过区间 $[0,t+dt)$ 的概率：
光线通过区间 $[0,t+dt)$ 的概率：
$$\begin{array}{rl}\mathcal{T}(t+dt)& =\mathcal{T}(t)\cdot (1-dt\cdot \sigma (t))\end{array}$$
可以得到
$$\begin{array}{rl}\frac{\mathcal{T}(t+dt)-\mathcal{T}(t)}{dt}& \equiv {\mathcal{T}}^{\prime }(t)=-\mathcal{T}(t)\cdot \sigma (t)\end{array}$$
$1-\mathcal{T}(t)$ 为光线在区间 $[0,t)$ 被终止的累积分布函数(CDF)；
$\mathcal{T}(t)\sigma (t)$ 为其对应的概率密度函数 (PDF)

其中，$\mathcal{T}(t)$ 为光线通过区间 $[0,t)$ 透射率，也就是没被终止的概率，从1->0； $\sigma (t)$ 为体密度函数；$dt\cdot \sigma (t)$ 为光线在 $[t,t+dt)$ 区间被吸收的概率，也就是被终止概率。
$$\begin{array}{rl}{\mathcal{T}}^{\prime }(t)& =-\mathcal{T}(t)\cdot \sigma (t)\\ \frac{{\mathcal{T}}^{\prime }(t)}{\mathcal{T}(t)}& =-\sigma (t)\\ {\int }_a^b\frac{{\mathcal{T}}^{\prime }(t)}{\mathcal{T}(t)}dt& =-{\int }_a^b\sigma (t)dt\\ {\log \mathcal{T}(t)|}_a^b& =-{\int }_a^b\sigma (t)dt\\ \mathcal{T}(a\to b)\equiv \frac{\mathcal{T}(b)}{\mathcal{T}(a)}& =\exp \left(-{\int }_a^b\sigma (t)dt\right)\end{array}$$
$\mathcal{T}(a\to b)$ 表示光线通过 $a$ 到 $b$ 区间没被终止的概率，假设$[a,b)$ 共享$a$点体密度和颜色

$$C={\int }_0^D\mathcal{T}(t)\cdot \sigma (t)\cdot \mathbf{c}(t)dt+\mathcal{T}(D)\cdot {\mathbf{c}}_{\mathrm{bg}}$$
$c_{bg}$ 表示背景色彩

$$\begin{array}{rl}\mathbf{C}(a\to b)& ={\int }_a^b\mathcal{T}(a\to t)\cdot \sigma (t)\cdot \mathbf{c}(t)dt\\ & ={\sigma }_a\cdot {\mathbf{c}}_a{\int }_a^b\mathcal{T}(a\to t)dt\\ & ={\sigma }_a\cdot {\mathbf{c}}_a{\int }_a^b\exp \left(-{\int }_a^t\sigma (u)du\right)dt\\ & ={\sigma }_a\cdot {\mathbf{c}}_a{\int }_a^b\exp \left(-{{\sigma }_{a}u|}_a^t\right)dt\\ & ={\sigma }_a\cdot {\mathbf{c}}_a{\int }_a^b\exp \left(-{\sigma }_a(t-a)\right)dt\\ & ={{\sigma }_a\cdot {\mathbf{c}}_a\cdot \frac{\exp \left(-{\sigma }_a(t-a)\right)}{-{\sigma }_a}|}_a^b\\ & ={\mathbf{c}}_a\cdot \left(1-\exp \left(-{\sigma }_a(b-a)\right)\right)\end{array}$$

$$\begin{array}{rl}\mathcal{T}(a\to c)=& =\exp \left(-\left[{\int }_a^b\sigma (t)dt+{\int }_b^c\sigma (t)dt\right]\right)\\ & =\exp \left(-{\int }_a^b\sigma (t)dt\right)\exp \left(-{\int }_b^c\sigma (t)dt\right)\\ & =\mathcal{T}(a\to b)\cdot \mathcal{T}(b\to c)\end{array}$$

$${\mathcal{T}}_n=\mathcal{T}\left(t_n\right)=\mathcal{T}\left(0\to t_n\right)=\exp \left(-{\int }_0^{t_n}\sigma (t)dt\right)=\exp \left(\sum _{k=1}^{n-1}-{\sigma }_k{\delta }_k\right)$$

$$\begin{array}{rl}\mathbf{C}\left(t_{N+1}\right)& =\sum _{n=1}^N{\int }_{t_n}^{t_{n+1}}\mathcal{T}(t)\cdot {\sigma }_n\cdot {\mathbf{c}}_{n}dt\\ & =\sum _{n=1}^N{\int }_{t_n}^{t_{n+1}}\mathcal{T}\left(0\to t_n\right)\cdot \mathcal{T}\left(t_n\to t\right)\cdot {\sigma }_n\cdot {\mathbf{c}}_{n}dt\\ & =\sum _{n=1}^N\mathcal{T}\left(0\to t_n\right){\int }_{t_n}^{t_{n+1}}\mathcal{T}\left(t_n\to t\right)\cdot {\sigma }_n\cdot {\mathbf{c}}_{n}dt\\ & =\sum _{n=1}^N\mathcal{T}\left(0\to t_n\right)\cdot \left(1-\exp \left(-{\sigma }_n\left(t_{n+1}-t_n\right)\right)\right)\cdot {\mathbf{c}}_n\end{array}$$

$\mathcal{T}\left(0\to t_n\right)\cdot \left(1-\exp \left(-{\sigma }_n\left(t_{n+1}-t_n\right)\right)\right)$表示光线正好在 $t_{N+1}$位置的颜色的权重（**透射率*该点的颜色吸收率=该点颜色的贡献率，对应代码中的weights，代码中的$\alpha$指代$1-exp(-\sigma \ast \delta )\ast \ast$）

$$\begin{gathered} \mathbf{C}\left(t_{N+1}\right)=\sum _{n=1}^N{\mathcal{T}}_n\cdot \left(1-\exp \left(-{\sigma }_n{\delta }_n\right)\right)\cdot {\mathbf{c}}_n, \\ \text{where}{\mathcal{T}}_n=\exp \left(\sum _{k=1}^{n-1}-{\sigma }_k{\delta }_k\right) \end{gathered}$$

部分代码解读

相机变换（重要！）

• 关于nerf相机方向的解读

• 关于llff格式数据使用的NDC空间解读
  简单来说就是针对不同种类的数据在不同的空间进行计算，如360度合成数据lego（直接从相机坐标系变换到世界坐标系下）或者无界数据llff（NDC空间能将近远景范围限制在0-1之间）

Mip-Nerf

To do

Instant-NGP

To do