一.原理
球谐光照实际上是一种对光照的简化,对于空间上的一点,受到的光照在各个方向上是不同的,也即各向异性,所以空间上一点如果要完全还原光照情况,那就需要记录周围球面上所有方向的光照。注意这里考虑的周围环境往往是复杂的情况,而不是几个简单的光源,如果是那样的话,直接用光源的光照模型求和就可以了。
如果环境光照可以用简单函数表示,那自然直接求点周围球面上的积分就可以了。但是通常光照不会那么简单,并且用函数表示光照也不方便,所以经常用的方法是使用环境光贴图,比如像这样的:
上面的图是立方体展开得到的,这种贴图也就是cubemap,需要注意的是一般的cubemap是从里往外看的。
考虑一个简单场景中有个点,他周围的各个方向上的环境光照就是上面的cubemap呈现的,假如我想知道这个点各个方向的光照情况,那么就必须在cubemap对应的各个方向进行采样。对于一个大的场景来说,每个位置点的环境光都有可能不同,如果把每个点的环境光贴图储存起来,并且每次获取光照都从相应的贴图里面采样,可想而知这样的方法是非常昂贵的。
利用球谐函数就可以很好的解决这个问题,球谐函数的主要作用就是用简单的系数表示复杂的球面函数。关于球谐函数的理论推导与解释可以参考wiki( https://en.wikipedia.org/wiki/Spherical_harmonics )。如果只是要应用和实现球谐光照,不会涉及到推导过程,不过球谐基函数却是关键的内容,球谐基函数已经有人在wiki上列好了表格,参考( https://en.wikipedia.org/wiki/Table_of_spherical_harmonics ),前3阶的球谐基函数如下:
这里值得注意的是很多资料用这张图来描述球谐基函数:
我刚开始看到这张图的时候简直觉得莫名其妙,实际上这里面每个曲面都是用球坐标系表示的,球谐基都是定义在球坐标系上的函数,r(也就是离中心的距离)表示的就是这个球谐基在这个方向分量的重要程度。我是用类比傅里叶变换的方法来理解的,其实球谐函数本身就是拉普拉斯变换在球坐标系下的表示,这里的每个球谐基可以类比成傅里叶变换中频域的各个离散的频率,各个球谐基乘以对应的系数就可以还原出原来的球面函数。一个复杂的波形可以用简单的谐波和相应系数表示,同样的,一个复杂的球面上的函数也可以用简单的球谐基和相应的系数表示。
由于球谐基函数阶数是无限的,所以只能取前面几组基来近似,一般在光照中大都取3阶(Unity中就取3阶),也即9个球谐系数。这里讲一下我自己认为比较核心的几个点的理解:
1、蒙特卡洛积分:
将计算机尤其是GPU上非常难以计算的积分简化为了加法,这是球谐光照的前提
2、投影:
球谐光照的实质就是将复杂的光照信号投影到基函数上存储,然后在使用的时候再将基函数上的数据加起来重建光照信号
3、伴随勒让德多项式
想比如正弦信号,伴随勒让德多项式作为基函数不仅是正交的,而且是归一化的, 这意味着其具有旋转不变性,适用于动态物体
综合说来球谐光照的基本框架如下所述:
连续的光照方程 -> 离散的光照方程 -> 分解后的光照方程 -> 球谐变换得到球谐系数 -> 利用球谐系数还原光照方程
二.实验
我们先考虑简单的情况,比如说定义一个光照函数:
在球坐标系下,将该函数的值当做光照强度值,可以画出光照在球面上的分布情况:
不过由于这种方式可视化方式对于亮度变换不是很敏感,所以我们把强度当成球坐标系的r,画出来是这个样子:
现在要将这个函数转换成球谐系数表示,首先要做的就是对其进行采样,采样的目标是确定在某个球谐基方向上强度的大小,也即求得每个球谐基Yi对应的系数ci。具体的采样方法如下:
其中N为采样次数。也就是说在计算某个球谐系数ci的时候,首先在球面上采许多点,然后把这些点的光照强度和球谐基相乘(在那个方向上,球谐基函数的分量或者说重要程度就是Yi(xi)),通过这些采样点,从而得到了在每个球谐基函数上光照的分布情况。由于某个球谐基只能大致代表它那个方向上的光照强度,所以需要组合很多个球谐基函数才能近似还原出原光照。需要注意的是:采样时必须要在球面上均匀采样,如果在CubeMap的每个图像上面逐像素采样,将会导致每个面边角亮度提高,中心亮度降低。关于如何在球面上均匀采样方法有很多,比如用正态分布随机生成x,y,z,然后归一化成单位向量。
还原的过程比较简单,通过球谐基与对应的系数相乘得到:
这里L’是还原后的光照,s是球面上的一点(也可以看成某个方向),n是球谐函数的阶数,n^2也即球谐系数的个数。
值得注意的是采样和计算ci是预先进行的,比如说复杂场景中,某个位置预先用光线跟踪方法计算环境光,从而采样出ci,这样这个位置的光照信息就压缩成几个ci表示了。但是重建光照的过程是在运行时实时进行的,从重建光照的过程中可以看出该式非常简单,其中Yi的计算从球谐基函数的表中就可以看出只涉及到简单的乘法和加法,完全可以在shader中实现(球谐基函数中的r一般默认都设置成1)。所以如果给我们一个点的球谐系数,利用上面的公式马上就等得到每个方向上的光照强度。
计算好了球谐系数之后,我们就可以利用这些系数来还原原光照了,利用第二个公式还原之后的效果如下:
从左至右分别是原光照、0~2阶球谐光照、0~5阶球谐光照,从中可以看出到第5阶球谐光照与原光照已经很接近了,只是有小部分的高频信息不同。说明球谐系数越多,还原的效果越好,同时还原光照时能够较好地保留低频部分,而高频信息则丢失得比较多。不过对于光照来说,一般都是比较低频的信息,所以3阶,也就是到l=2时就已经足够了。
抛开简单的函数,如果是复杂的环境光贴图,过程也是一样的,比如对于一个这样的环境光:
对它进行采样并还原之后,得到了这样的结果:
效果还不错,只是高频丢失了很多。不过这是对光照的还原,因此丢失了高频信息关系也不大。
如果把这两个光照投射到球面上进行可视化,就是这个样子:
三.实现
参照该文章 https://lianera.github.io/post/2017/sh-lighting-apply/
四.Unity中实际使用
Unity中,不管是预计算GI与烘培GI,都不会对非静态模型计算间接反射,光探头(LightProbe)的加入,可以使非静态模型得到周围静态模型的幅射光,主要技术原理就是使用的球谐光照的技术,注意light probe一般不会对静态模型有影响,你看到的影响,只是因为非静态模型的颜色变化大造成的反差。
Unity通过烘培时的光线追踪计算出其光照原始信号,然后投影到基函数并存储其系数,Unity 使用了三阶的伴随勒让德多项式作为基函数,我们在Shader中可通过 ShadeSH9 函数获取重建信号,ShadeSH9 实现在 UnityCG.cginc 文件中,具体代码如下:
// normal should be normalized, w=1.0
half3 SHEvalLinearL0L1 (half4 normal) {half3 x;// Linear (L1) + constant (L0) polynomial termsx.r = dot(unity_SHAr,normal);x.g = dot(unity_SHAg,normal);x.b = dot(unity_SHAb,normal);return x;
}// normal should be normalized, w=1.0
half3 SHEvalLinearL2 (half4 normal) {half3 x1, x2;// 4 of the quadratic (L2) polynomialshalf4 vB = normal.xyzz * normal.yzzx;x1.r = dot(unity_SHBr,vB);x1.g = dot(unity_SHBg,vB);x1.b = dot(unity_SHBb,vB);// Final (5th) quadratic (L2) polynomialhalf vC = normal.x * normal.x - normal.y * normal.y;x2 = unity_SHC.rgb * vC;return x1 + x2;
}// normal should be normalized, w=1.0
// output in active color space
half3 ShadeSH9 (half4 normal) {// Linear + constant polynomial termshalf3 res = SHEvalLinearL0L1(normal);// Quadratic polynomialsres += SHEvalLinearL2(normal);if (IsGammaSpace())res = LinearToGammaSpace(res);return res;
}
三阶的基函数系数分别用了两个子函数来读取,其中
// SH lighting environmenthalf4 unity_SHAr;half4 unity_SHAg;half4 unity_SHAb;half4 unity_SHBr;half4 unity_SHBg;half4 unity_SHBb;half4 unity_SHC;
是 UnityShaderVariables.cginc 中的内置变量,用来存放存储的系数,在实际使用中,我们直接调用 ShadeSH9,配合LightProbe 即可读取到 precompute bake 生成的自发光信息
五.应用与局限
球谐光照最早出现应该是在2002年的Siggraph上,距今还是有些时间了,而且关于其的研究也还有不少学者在做。 最近高调发布的BattleField3所使用的Frostbite2引擎中使用了Enlighten实时GI解决方案,其效果令人印象深刻,其中若干部分就用到了球谐光照的技术。但是观察其它的主流引擎却较少使用该技术(这里是指直接对全部场景做SH来代替LM的模式,不过在生成Light Probe等操作时SH的应用却是必需的),应该说其还是有不少局限的:
- 由于球谐变换需要在光照方程中的函数上进行,故而一些需要进行变换的信息首先需要进行参数化,然后再投影并得到SH系数,这就涉及到整个引擎中材质、光源的存储、表述等诸多问题;
- 当前对于球谐参数的存储多是逐顶点进行的,因而对于整个场景要想得到较为平滑、细腻的着色效果需要对场景进行较细粒度的细分。
- 虽然球谐系数的变换是在预处理阶段生成,但是对于较多的离散采样点、较细的场景细分粒度(对应较多的顶点数)整个预处理的时间代价还是很大的。因这其中涉及到光线跟踪等高密度计算,甚至在使用GPU进行加速之后仍是重量级的时间耗费。
- 要想在光照方程重建时获得较高的质量就需要存储较多的SH系数,而这些额外的空间无论是对于传输的带宽,还是设备存储的占用均是劣势所在。
参考文章链接:
https://lianera.github.io/lianera.github.io/post/2016/sh-lighting-exp/(本文多摘录于此,感谢前人写这么好的文章)
https://lianera.github.io/post/2017/sh-lighting-apply/
https://gameinstitute.qq.com/community/detail/101099
https://blog.csdn.net/NotMz/article/details/78339913