Notifications
Article
Unite 2019 | Unity中的实时光线追踪技术剖析
Published 8 months ago
624
2
高性能实时光线追踪通过NVIDIA RTX平台,提供了逼真的图像质量和光照,适用于对视觉保真度要求很高的任务与项目。该技术模拟了光线的物理属性,帮助开发者能够制作并动态调整作品,使实时效果和现实画面的界线变得模糊。
为了展示实时光线追踪所能实现的效果,Unity与NVIDIA和宝马集团进行合作,在现实对比虚拟:Unity实时光线追踪功能演示中展示了2019宝马8系列车型。
在Unite Shanghai 2019大会中,英伟达的技术工程师李元亨将为你剖析《Unity中的实时光线追踪技术》。

演讲内容

大家好,我是李元亨,来自英伟达,今天分享的主题是《Unity中的实时光线追踪技术剖析》。在开始之前先请大家欣赏一段视频。
在视频中,我们可以看到有二组宝马汽车,一组是我们和Unity合作使用实时光线追踪技术渲染出来的,另一组是直接在影棚使用摄象机拍摄的影片。
相信大家看到二者的差别已经很小了,这充分展示了光线追踪技术在渲染照片级真实图像上的强大实力。
我的演讲主要分三个部分:NVIDIA RTX微软DXR光线追踪渲染管线以及Unity现已实现的一些光线追踪功能
NVIDIA RTX
我们在去年正式推出了基于新的Turing架构的RTX系列显卡,除了全新的架构之外,我们还引入了一个全新的硬件单元叫RTCcore,主要是用来加速射线和几何体求交,为实时光线追踪奠定硬件上的基础。除此之外,我们还加入了Tensor Core用来加速AI计算。
今天我们关注的重点是RTCore及光线追踪。
光线追踪需要快速的找到射线和场景中物体的交点,所以快速对场景进行遍历求交就显得尤为重要。
为了加速这个过程,通常我们需要对场景里面的物体建立加速结构,就像普通的剔除一样,对场景中的物体建立八叉树之类的结构进行管理。
这里以BVH也就是层次包围盒子举例,我们来看一看射线和几何体求交的大概过程。
如下图所示,左侧四张图是演示如何找到一条射线和兔子头部的交点。
第一步,先找到包含整个兔子头部的大的包围盒,然后发现这个包围盒的子节点是更小的包围盒。
第二步,看射线与哪个子包围盒相交。如果找到了相交的子包围盒,就重复递归以上过程,直到找到子节点里包含的不再是包围盒而是具体的图元信息,图元信息一般为三角形,我们就开始求交三角形与射线的交点,并返回交点信息。
在Turing之前这些步骤都是在Shader里面模拟的。右侧的图可以看到Shader里面先产生一条射线,然后射线进入到加速结构遍历求交的过程。
首先取出包围盒数据,包围盒解码。然后判断下一级是子包围盒还是三角形,如果是包围盒就重复以上过程,直到找到三角形,然后进行射线三角形求交计算并返回交点。
黄色的部分就是加速结构的遍历求交过程,这一部分通常需要上千条指令,是比较耗时的一个过程。在Turing中就把黄色的这块加速结构遍历求交的计算,放在全新的硬件单元RTCore上去执行,所以速度会提升很多,而Shader还是在SM上执行的。
那么光线追踪的过程就变成了执行在SM单元上的Shader里面产生射线信息,然后将这条射线的求交查询请求发往RTCore,RTCore收到请求后就进行加速结构的遍历及相交测试,如果找到交点就将交点信息返回到SM单元里面的Shader进行着色计算。所以在Turing中RTCore是放在SM旁边的,这就是硬件的架构图。
RTCore极大的提升了射线与物体求交的速度,性能方面我们这边有组数据,上图中,在1080Ti上,我们使用Shader模拟大概支持的射线是每秒1G左右,在2080Ti上有RTCore可以达到每秒10G,所以性能提升了大概10倍。
在光线追踪接口方面,去年微软正式宣布在DirectX中加入光线追踪的接口DirectX Raytracing,简称DXR。在Vulkan下面,我们通过拓展的方式对光线追踪接口进行了支持,所以开发者可以自由选择适合自己的接口来实现光线追踪技术。
在光线追踪中,我们通常会使用一种叫做蒙特卡罗随机采样的方法来求解渲染方程。实时的情况下样本数量可能会不够,所以通常情况下是会有很多噪点的。
针对这个问题我们去年推出了Gameworks Raytracing Denoiser。这个库里面包含了有三种Denoiser,第一种是针对反射,第二种是针对阴影,第三种是针对环境遮挡(AO)。
我们打算把这个库做成独立的SDK叫RTX DENOISER SDK,会制作成C++及HLSL库的形式,并且不依赖于具体的图形API,预计在今年5月发布,以供开发者使用。
上图右侧是反射降噪前后对比。上面这张带噪点的图是1SPP光线追踪生成的,1SPP就是每个像素只使用一条光线,1SPP对于非常光滑的表面还好,因为它的反射lobe范围比较小,反射光线的方向基本固定。
如果对于粗糙的表面1SPP是不太够的,所以会有很多的噪点,这就依赖于降噪器来降噪。下方就是降噪后的效果,效果还是非常不错的。
下图是阴影,上面是1SPP降噪前的结果,下面是降噪后结果。
下图是AO降噪前和降噪后的效果对比,也是1SPP,降噪效果很好并且性能也完全可以满足实时应用的需求。
自RTX技术发布近一年来,根据开发者在实际使用过程中的反馈,我们做了很多优化工作,光在Compiler方面,就有25项以上大改进,同时在内存方面,还有加速结构的异步构建方面也做了很多工作。
下图数据是二个版本的性能对比,我们可以看到性能提升比较大。
为了让广大拥有GTX 10系列显卡的玩家也体验到实时光线追踪特效,4月的时候,我们正式发布了新版本的驱动,可以让GTX1060 6GB以上的显卡支持光线追踪。
我们支持光线追踪的显卡大概分为三类:
  • GTX系列的显卡。
  • 包含Turing架构但是没有RTCore的1660系列以及VOLTA系列。
  • 最新的RTX系列显卡。
在GTX系列上,因为是软件模拟的,所以只能支持很少量的光线,因此只能跑一些很简单的光线追踪特效。
在RTX显卡中,因为有RTCore的加持,支持的光线数量会多很多,所以可以运行比较复杂的光线追踪特效,而且可以支持同时运行多种特效,例如:同时开启光线追踪的反射和阴影等。
微软DXR光线追踪渲染管线
下面介绍微软的DXR。从上层来看DXR主要分为三部分:光线追踪管线、加速结构、着色器表。
光线追踪的管线:主要包含光线追踪所需要的所有Shader及一些状态配置,它控制着光线追踪的流程。
加速结构:为了快速找到射线与几何体的交点,我们通常需要对场景里的几何体重组划分,建立树状的层次结构。
着色器表:包含了一次光线追踪需要的所有物体引用的资源,可以理解为每个物体的材质。包括使用的Shader的ID及所引用的资源,这些都需要放在着色器表里面。
我们具体看一下光线追踪管线,它主要控制着光线追踪的整个过程,分为以下部分:
发射光线:在DXR种加入了一个新的函数DispatchRays( ),这是API端的入口函数。还加入了新的Shader类型Ray Generation Shader。同时HLSL里加入了新的函数TraceRay( )用于实际追踪一条光线。
场景遍历与求交:这是RTCore的工作范畴,主要的工作是遍历加速结构,并找出射线与几何体的交点。新的类型是Intersection Shader用来计算交点。
交点处理:我们可以判断交点有效性,计算光照,选择是不是继续发射新的光线。这里有二种新的Shader类型:Closest Hit Shader在找到的距离最近的那个交点上触发。Any Hit Shader则是只要找到有效的交点就会触发。
无交点处理:我们可以终止射线的追踪或者选择继续发射新的射线。例如:反射的光线没有找到任何的交点时,通常我们需要采样天光或者环境贴图,这就需要使用到Miss Shader。
下面这张图描绘了光线追踪的大概过程。
首先调用DispatchRays就会触发Ray Generation Shader,这会通过TraceRay( )函数产生一条射线,进入到加速结构遍历求交的过程。
这个过程会调用Intersection Shader来计算交点,如果有交点需要通过ReportHit( )函数来报告一个交点。每条射线会一个有效范围T-Min及T-Max,这类似于相机的近远裁剪面的概念。如果ReportHit报告的交点在有效范围内,Any Hit Shder就会被触发。
在Any Hit Shader中,我们可以选择是否忽略这个交点。如果忽略则会跳过交点的信息,如果不忽略,这个交点就会被提交为目前为止距离最近的交点,也就是更新成为新的T-Max。
在Any Hit Shder中,我们还可以选择要不要终止射线。例如:制作阴影,只需要查询遮挡信息。我们向光源方向发射一条光线,只要被任何物体遮挡,那么当前点就是阴影之下,所以不需要继续,可以终止当前射线。
如果Any Hit Shader里没有终止射线,则遍历求交的过程会重复进行直到遍历结束返回。
如果有交点,那么最后提交的这个点就是距离最近的点,触发Closest Hit Shader。我们一般在Closest Hit Shader中进行着色计算,可以理解为类似于光栅化里Pixel Shader里的所做的工作,当然着色也可以放在Ray Generation Shader里完成。
Miss和Closest Hit Shader可以再次调用TraceRay发射新的射线。例如:制作GI需要光线多次反射。找到当前光线最近的交点,产生一条反射射线,再找到下一个最近的交点然后再产生一条新的反射射线,最终实现GI里的光线多次反射的效果。
反射可以做多次递归,但递归深度是有限制的,目前DXR限制的最大递归深度是32层。但是我们可以在Ray Generation里面实现类似的多次反弹效果,从而避免递归,跳过32次的限制,当然反射的次数越多做性能损耗越大。
现在看一下发射光线。DispatchRays函数可以与普通的Draw,Dispatch函数放在同一个队列中,可以放在Graphics Cotext中,也可以放在Compute Context中。
DispatchRays与普通的Compute Shader的Dispatch函数类似,一般是发起一个2D的阵列,对阵列里的每一个元素调用一次Ray Generation Shader。
这个2D的阵列一般跟一个Viewport相对应。例如:要做反射效果的话,2D阵列的大小一般与GBuffer相对应,阵列里的每一个元素对应GBuffer里的一个像素,所以在Ray Generation Shader中,我们可以根据当前像素的位置和法线信息,计算反射射线的原点和方向,然后通过TraceRay这个函数发起一条射线追踪的请求。
在TraceRay时,一个射线可以携带一个自定义的Payload的结构,在Payload中可以存储任意需要的信息,例如:交点处材质贴图的颜色或者光照的结果等。Payload是与各自的射线绑定的,它的生命周期跟所属的射线一样。
在交点处理方面,有一个叫Hit Group的概念,由Closest Hit,Any Hit,Intersection三种Shader而构成的,当然这三种Shader都不是必需的。
如果不是半透明的物体,不需要Alpha Test/Blend之类的操作,就不需要提供Any Hit Shader。这里有一个优化是如果使用了Opaque标记,就算提供了Any Hit Shader,它也不会被调用。
因为Any Hit Shader是在加速结构遍历过程中调用的,它会打断RT Core的当前遍历进程,所以使用它的代价还是比较大的。而且只要有效的交点找到了,Any Hit Shader就会被触发。如果不做Shading,例如:当前是Shadow Ray,那么也可以不提供Closest Hit Shader。
Intersection Shade用来处理射线与自定义几何体求交,一般使用较少,三角形和射线的求交是RTCore里内置的而且速度非常快,所以我们一般推荐使用三角形。
Intersection Shader通过计算,如果发现射线与几何体有交点,则需要通过调用Report Hit报告交点,同时传递交点的属性Attributes给Hit Shaders。Any Hit Shader是射线有任一交点时被触发,但是它不保证触发顺序,也不保证在每个可能的交点上都会被触发。
如上图所示,有三个交点。如果首先就找到这个最近的交点,那么该交点就会被更新为T-Max,那么后面的交点就不在射线范围内,从而会被丢弃。
同时也不能保证每次Trace时,这三个交点一定是先找到最近点还是先找到最远点,没有顺序,不能对交点触发的顺序有任何假设。
Closest Hit Shader是针对最近的有效交点触发,并且每条射线最多触发一次。
下面我们看一下加速结构。DXR分二层加速结构,底层的加速结构包含了基本的几何体信息,包括三角形或者是包围盒数据。
顶层加速结构里包含了指向底层几何体的实例,包含了相应的资源索引和坐标变换数据。每个顶层加速结构的叶子节点中,都有一个字段用来指向它在着色器表里的位置,即该Instance用到那些Shader的ID及资源的索引。
我们可以简单理解为这样就把几何体和它所使用到材质进行了绑定,否则遍历时找到了相交的几何体,我们怎么知道它使用的是什么材质呢?
顶层加速结构这样设计比较类似于光栅化下面的Instance Draw。因为这样的设计可以让顶层加速结构共享底层加速结构。
如上图所示,有三个底层加速结构,顶层加速结构这里有四个叶子节点,其中第一个和第二个节点共享了同一个底层加速结构。虽然它们指向同样的几何体,但是它们指向了不同的资源。所以这二个节点分别是二个Instance,它们用了相同的Mesh,但用了不同的材质。
进行遍历求交的时候,首先通过顶层加速结构找到相交的是哪一组几何体,然后进入对应的底层加速结构,找到相交的是哪个几何体的哪个三角形。
加速结构的格式是应用程序不可见的,我们也不能假设现在底层用的是什么格式的加速结构,也不能依赖于具体的加速结构格式,它对上层应用是透明的。我们只能通过调用接口(BuildRaytracingAccelerationStructure),更新加速结构或者重新构建一个加速结构。
第三部分是着色器表,包含了一次光线追踪所用到的所有资源。在传统的光栅化方式下,我们甚至可以在Draw这个几何体的时候,才把它用到的资源加载进来,但是光线追踪必须要在Trace之前,把所有可能用到几何体的信息全部加载进来。
因为一条射线发射出去,你无法预测它到底会与哪些几何体相交。着色器表是由多条等长的记录构成,每条记录包含了使用的Shader的ID及引用的资源,例如CBV、UAV、SRV等。
顶层加速结中的节点指向着色器表中对应的纪录,这个位置就是这个Instance里引用资源的记录的起始地址。
如上图所示,这个Instance A里有一个几何体,因为有二种射线类型,所以对应二条记录。这边的Instnce B里有二个几何体,所以有四条记录。这就是为了绑定Instance中的各个几何体和它们使用的资源或者说是材质。
最后我们来整体看一下光线追踪的过程,当我们调了DispatchRays时,它会去着色器表里找到Ray Generation Shader并调用,Ray Generation Shader中通过TraceRay函数开始追踪一条射线,进入到加速结构的遍历求交阶段:依次是顶层加速结构,底层加速结构。
如果找到了交点,则从顶层加速结构里找到该Instance在着色器表里的起始地址,然后找到对应的材质资源,然后调用Hit Group进行相应的处理。Hit Group里的Closeset Hit Shader中可以再次产生新的射线来重复这个过程。
这就是如何发起一条射线,找到交点,再找到几何体对应的材质,整个过程就是这样的。
Unity中的光线追踪NITY中的光线追踪
现在,我们了解Unity中的光线追踪。在Unity支持DXR的Experimental版中,目前主要支持:半透明/折射、反射、面光源软阴影及环境遮挡(AO)。
我们对这些特性进行归类,首先是按照初级射线及次级射线来分类。先解释下什么是初级射线和次级射线。
初级射线英文叫Primary Ray,它一般是指从光源或者摄像机(视点)直接发射出去射线。
次级射线的英文叫Secondary Ray,它是指除初级射线以外的射线,也就是初级射线经过反射、折射、散射后的产生的射线。
如果按照这样的分类,半透明/折射效果需要初级射线的支持才可以完成。反射、阴影、AO及间接光照只使用次级射线就可以完成,相当于节省了一次初级射线的Trace。
如果按照是不是需要着色来分类,阴影及AO是不需要着色的,因为它们仅需查询遮挡信息就够了。那么反射、间接光照、半透明/折射则需要着色的。需要着色的Feature一般性能会差一些,因为光线追踪中的着色运算在一致性方面较光栅化差一些。
因为不同的光线有不同的方向,可能击中不同的物体,所以需要同时访问不同的Mesh、不同的材质及Shader。因此贴图的Cache,指令的Cache,以及Shader执行时的Divergence都面临挑战。
有兴趣的开发者可以下载Unity支持DXR的实验性版本:https://github.com/unity-Technologies/Unity-Experimental-DXR
下面分别讲讲每个特性的实现及参数,首先是反射。
Max Reflections Rya length:射线的长度,它定义了射线的范围,就是前面讲的T-Max。射线的范围越大,可能交到的物体就越多,性能相对就会差一些。
Reflections Min Smoothness:最小光滑度,反射是需要着色的,为了性能考虑通常会做一些优化,Reflections Min Smoothness算一个优化。因为对于绝对粗糙的表面,例如纯Diffuse表面,反射效果非常微弱,可以忽略其反射。所以这里定义了一个最小光滑度阈值,如果超过这个阈值就不发射反射射线。
Reflections Clamp Value:为了避免出现亮度异常的值,我们使用Reflections Clamp Value把结果限定在一个合理的范围内。
Reflections Quality:为了性能考虑,我们可以使用Reflections Quality进行一些优化。如果要求高质量就在全分辨率下Trace反射射线。如果是性能模式就可以把分辨率减半,这样光线数量会减少很多,从而提升性能。
Reflections Quality下包含三个子参数。
Reflections Num Samples:每像素发射的射线数量,我们简称为SPP。如果是镜面反射只要一条反射射线就好了,如果是光滑的表面可能就需要多条。
理论上讲,越粗糙的表面需要反射射线越多,但出于性能考虑,通常我们建议的每像素反射射线也就一二条,再加上适当降噪处理,基本上是看不出来什么噪点的。
Reflections Filter Mode:反射的降噪模式。
Filter Radius:降噪器或者过滤器的半径,半径越大可能结果越模糊,但噪点越少。
下面我们看一下效果对比,请注意下图红圈位置。
左侧图是光线追踪的反射,看一下桌面上叶子的反射,上图红圈部分是可以看到反射的叶子的。
如果切换到SSR,这个地方有部分叶子已经反射不出来了。因为SSR是屏幕空间反射,所以只有在屏幕空间内的信息才能反射到。SSR一般只能做比较粗糙一点的反射,不太好做镜面反射,因为它是一个相对粗略的求交模拟。
下面看一下阴影,Shadows Num Samples,Shadows Bilateral Radius等参数与反射中的含义类似。
Split Integration是什么意思呢?因为一般使用光线追踪来做面积光源的软阴影,物理上讲纯粹的点光源,方向光是无法产生软阴影的,但是面积光源的光照计算是一个问题,所以有一种LTC的算法,可以对多边形面光源的光照直接求出解析解。
Unity实现了二种方案,第一种是同时计算面积光的光照和阴影,所有的代码都放在Raytracing的Shader中一次完成。代码比较复杂,指令多,所以比较耗时。
第二种是Split Integration参数控制的Split模式,将面光源的光照及阴影拆开,光线追踪中只计算面光源的阴影,光照放到普通的Pass里去做。所以效果是没有差别的,只是性能上的考量。
我们来看下图效果对比,下图中的电视就是一个矩形面光源,请注意红色部分阴影的变化。
打开光线追踪的阴影后,可以看到椅子下产生的软阴影。
相对于光滑的反射来说阴影可能需要的SPP会多一点,光源面积越大,需要的SPP越多,但一般也不建议使用超过4个。
我们再来看下环境遮挡AO。
AO需要的SPP数量可能相对要多一点,因为AO通常需要在半球上发射射线去检测有没有遮挡。但是它有一个特性是只需要检测很短的范围内,所以射线的长度一般会设置的的比较小。
Unity为AO提供了二种降噪器:Spatio Temporal以及NVIDIA的AO Denoiser供大家选择使用。
我们来看看效果对比,请点击下方大图查看红圈部分。
我们可以看到打开光线追踪的AO的时候,在墙角及窗户边缘的地方,AO的效果比较明显。
现在谈谈初级射线Primary Ray制作的半透明折射效果。
光线追踪渲染半透明类型的物体一定要从视点发射初级光线,Unity里把这个特性叫做Primary Visibility。
Raytracing Maximal Depth:最多能产生的新的射线的次数。例如一次折射就要产生一次新的射线。如果一个有厚度的杯子要完全穿透过去需要4次折射,那么Raytracing Maximal Depth最大深度要设置的大于4,才能穿透一个带厚度的杯子。
我们看一下效果,请注意红色区域的效果变化。
这是玻璃杯,上面的图是光线追踪的,后面这张是普通的光栅化的。经过对比发现效果差距还是非常明显的,光线追踪出来的结果明显更接近真实的玻璃折射。
最后是间接漫反射,这个特性参数与前面类似,就不多解释了。需要注意的是一般的情况下间接漫反射需要的SPP会较多,因为它也需要在半球上进行采样,所以在SPP数量有限的情况,对降噪器要求较高。
我们回到最开始的宝马视频中,看一看视频中有哪些特性是刚才讲过到的。
第一组是反射的对比图,左边的是实际拍摄的照片,右边是渲染的结果,肉眼已经难以区分出哪个效果更好了。
下方的图是阴影,左边部分是带阴影的,右边是没有的。软阴影是由后面这个大屏幕代表的面光源产生的,效果还是非常真实的。
第三组是AO的对比,可以看到座椅靠背的角落的地方,左边也是真实的照片,右边是渲染的结果,已经比较接近真实的效果。
最后是最复杂的汽车的头灯。因为汽车头等里面有很多反射的面片,还有透镜折射,通常情况下除了光线追踪外没有很好的办法。因为要经过多次的反射折射,光路非常复杂。
左边是实际拍摄的照片,右边是Unity实时光线追踪的结果,可以看到效果非常惊艳。
今天我的演讲的就是这些,谢谢大家。

小结

感谢英伟达技术工程师为我们带来关于《Unity中的实时光线追踪技术剖析》的分享。我们将陆续分享Unite 2019部分技术演讲内容,如果你有哪些大会技术演讲希望深入了解,请后台进行留言。
观看部分Unity官方视频,请关注B站帐户:Unity官方。
Tags:
Unity China
729
Comments
hua1
Staff
7 months ago
😁😌
good
0
hua1
Staff
8 months ago
😁😌
good
0