超能课堂(277)：NVIDIA DLSS的进化之路

话说最近这阵子NVIDIA的DLSS应该可以说是无人不知的了。前不久来自Rockstar的神作《荒野大镖客：救赎2》以及Bethesda的《毁灭战士：永恒》都宣布将会加入对光追以及DLSS的支持，一下子就为光追以及DLSS增添了两款大作，让支持这两项技术的游戏增至超过55款。而在接下来的时间，还会有更多游戏加入对DLSS的支持，甚至连Linux的玩家都可以很快享受到DLSS所带来的流畅游戏体验。那么这个DLSS到底是什么东西呢？为什么游戏加入了DLSS之后，帧数可以得以提升呢?

DLSS是什么？

DLSS的全称是Deep Learning Super Sampling，翻译成中文就是深度学习超级采样，它的作用是通过降低游戏内的渲染分辨率，同时以拉伸来提高显示分辨率，例如1080P的渲染分辨率以及4K（2160P）的显示分辨率，来达成提升帧数的目的。

顾名思义，DLSS是由两部分组成的，分别是深度学习，以及超级采样。深度学习这部分其实很好理解，就是让DLSS背后的AI，以机器学习的方式，从海量由超级电脑运行不同游戏得出来的16K超高分辨率图像参考标准（Ground Truth）中学习，让AI可以更加准确地根据有限的画面数据来合成出一帧符合目标显示分辨率的画面。

至于超级采样，指的则是以多个维度采样帧画面数据，从而增加AI可以作为参考依据的数据量。这里是包括了4个方式的采样：一是大家都知道的游戏低渲染分辨率下的帧画面；二是同一帧画面的动态矢量数据（Motion Vectors），这些数据可以让AI“知道”这帧画面中的对象是在往哪个方向运动当中；三是前一帧被DLSS合成增强过的画面；最后是上面提到的海量16K分辨率图像参考标准。

说到这里，那可能会有朋友说：「那DLSS不就是普通的采样基础上加上AI拉伸而已嘛。」其实并不然，因为如果只是一般的采样方式，那么DLSS后面的两字母也不可能被称为超级采样了。我们以NVIDIA自家的Image Sharpening为例，它就是一个利用一般采样方式以及拉伸的例子。在RTX以及GTX 16系的显卡上，Image Sharpening的采样是是通过利用5点缩放器（5 Tap Scaler）均衡相邻的像素点而达成。

这样的采样方式确实可以给出不错的拉伸效果，但由于纯粹只是以游戏渲染的低分辨率影像，在帧画面合成方面的参考数据不多，最终生成的画面肯定是不如DLSS的。而DLSS由于有动态矢量数据，可以更加准确地追踪画面上每个对象的运动轨迹，生成更加稳定的动态图像，以及最大程度地减少画面闪烁或者其他的奇怪现象。

DLSS 的进化之路DLSS 1.0

首先来说说DLSS 1.0，它是随着RTX 20系显示适配器以及首批实时光线追踪游戏同时推出的版本。这个版本的DLSS在帧数方面确实是取得了非常不错的成绩，可以让玩家首次在实时光线追踪下以4K分辨率及60帧来打畅玩游戏。

不过由于是DLSS的初代版本，因此1.0时DLSS的AI仍然不够成熟。一款游戏如果想要加入DLSS 1.0的话，AI首先需要针对不同的游戏进行独立训练，之后才可以加入到游戏内。这也是为什么DLSS推出初期只有少数几款游戏可以支持。

另外，DLSS 1.0虽然在帧数方面表现不错，但是在画面质量方面就是一个截然不同的故事了。同样是由于当时DLSS的AI训练得还没足够完善，因此实际游戏中的画面会经常出现高糊或者一些奇怪的BUG，例如《控制》里的女主，开了DLSS之后转动视角的话，她头上垂下来的头发丝是会消失或者模糊掉的。

DLSS 2.0

从这个版本开始，DLSS可以说是开始被大众玩家接受了。DLSS 2.0与1.0相比，在各方面都有不同的提升，可以说是得到了质的飞跃。

首先DLSS 2.0在效率和处理速度上有很大的提升，NVIDIA宣称其速度可以达到原版的两倍，换到实际游戏中就是同样的设置下可以提高更多的帧数。

接着是更好的图像超级采样质量，DLSS 2.0扩展了超级采样的倍数，可以支持4x的分辨率拉伸，也就是说在1080p的渲染分辨率下通过DLSS 2.0即可拉伸到4K分辨率，大大节约了GPU资源，可以提供更高的帧数。

更加重要的一点是，DLSS 2.0不再需要针对单个游戏进行模型学习推理，从现在开始所有游戏都会使用一个模型，这大大降低了游戏开发商使用DLSS技术的门槛。这也为后面虚幻以及Unity引擎加入原生DLSS支持打下了基础，也让更多游戏可以享受到DLSS的加成。

DLSS 2.1

DLSS 2.1是随着RTX 30系显卡发布同时推出的新版本。与2.0相比，DLSS 2.1在帧数方面并没有多少提升，却是在原有的质量、平衡及性能模式中引入了一个超级性能模式。这个超级性能模式其实可以说是RTX 3090挂钩的，因为NVIDIA正是凭着RTX 3090，首次提出了8K GAMING的概念。而超级性能模式，正正是为了让玩家可以在8K分辨率下游戏而设的。

在超级性能模式下，游戏渲染分辨率为1440P，DLSS 2.1负责把最终的显示分辨率拉伸至8K（4320P）。而从我们之前的评测来看，DLSS 2.1在8K下虽然画面细节略微有损失，但并不明显，帧数也从卡成PPT直接变成60帧流畅可玩。

DLSS 2.2

DLSS 2.2就是今天解禁的最新版本了。与之前的版本相比，DLSS 2.2并没有那么多惊天动地的升级，更多是集中在改善一般画面以及帧率以及修复不同的BUG上。

最近《彩虹六号：围攻》中加入的DLSS其实就是2.2版本。国外有的网友把这款游戏的nvngx_dlss.dll文件拿了出来放到其他已经支持DLSS的游戏中，发现帧数与2.1/2.0的相若，不过看起来确实是修复了一些画面上的BUG，画面质量也有提升。

这其实也说明了，在DLSS背后的AI持续不断的训练升级以及自我完善之下，DLSS的未来依然拥有不错的潜力。

AMD FidelityFX Super Resolution

相信有不少DIY玩家都应该知道，NVIDIA的对家AMD最近也准备要推出一项以拉伸来提升帧数的技术FidelityFX Super Resolution（简称FSR）。虽然暂时不清楚这个技术到底是怎样实现的，但是就ADM在COMPUTEX上的PPT来看，帧数提升幅度是相当大的。当然，这么巨大的帧数提升到底对于游戏画质会有什么影响呢？我们也是拭目以待。

游戏支持

DLSS除了本身的成长空间有不少潜力之外，在游戏支持方面也同样有着巨大的潜力。截止目前为止，已经有超过55款游戏加入了对DLSS的支持，其中不乏《赛博朋克2077》、《使命召唤：冷战》、《看门狗：军团》、《地铁：离去》、《控制》等的3A大作，还有《我的世界》、《机甲战士5：雇佣兵》、《飞去月球》等的游戏。

而得益于DLSS 2.0之后不用针对每款游戏单独训练的设计，现在游戏引擎要加入对原生DLSS的支持也是非常容易了。早在今年2月时，DLSS就率先以插件形式加入到虚幻引擎当中；而在4月中游戏引擎Unity也宣布会从2021.2版之后开始原生支持NVIDIA DLSS。有了这两大游戏引擎的带领，未来将会有更加多游戏支持原生DLSS。

最近加入DLSS的游戏

《彩虹六号：围攻》

而在最近，又有一大批游戏宣布已经/在不久的将来会加入DLSS。大家听到最多的，应该是上面提到过的《彩虹六号：围攻》，这款游戏在不久前才加入了NVIDIA Reflex功能，现在是更进一步，把DLSS 2.2率先加入到游戏当中。在开启了DLSS之后，玩家可以在Vulkan版本的《彩虹六号：围攻》中，在4分分辨率之下以最高画质超过100帧的游戏体验。

《涅克罗蒙达：赏金猎人》

这款在刚刚在6月份推出的游戏在推出首日就已经有原生的DLSS支持。作为《战锤40K》宇宙的一部分，玩家在这款游戏内会扮演一名身处Hive City（超巨型人类聚居地）底层的佣兵。游戏的玩法是有点类似《毁灭战士》的那种畅快到处飞跳无脑突突突，因此拥有高帧数就非常适合这个快节奏的游戏，而DLSS正好就可以给到玩家们所需要的高分辨率下高帧率游戏体验。

《无人深空》

这款经历了工作室被洪水淹没然而浴火重生并且大获好评的游戏在6月初也加入了对DLSS的支持。不过相对于一般游戏，《无人深空》加入DLSS支持可以说是有另外一层意义，那就是DLSS终于来到了VR游戏上面。虽然说《无人深空》并不是专门为VR开发的游戏，但是它可以在VR之下游玩。而DLSS的加入，可以说是解决了长久以来阻碍VR发展的因素之一：低帧率。

即将加入DLSS的游戏

而在接下来这段时间，还会陆续有游戏加入对DLSS的支持，包括几款在全球范围内都很受欢迎的3A大作。

《乐高建造者之旅》

这款原本是在移动平台上的益智解谜游戏，将会在明天，也就是6月22日推出PC增强版。PC版的《乐高建造者之旅》将会加入实时光线追踪以及DLSS，光追的效果将会包括光线追踪环境光遮蔽、全局光照、反射和阴影。在这堆光追效果的加持下，DLSS可以说是一个很有必要的功能了。

为Linux带去DLSS：Proton

同样从明天6月22日起，Linux玩家将可以透过《Proton》现游玩Vulkan版《毁灭战士：永恒》、《无人深空》以及《德军总部：新血脉》等游戏。而在今年稍后时间，DLSS还将会透过Proton加入DirectX游戏中，这无疑将会使DLSS的玩家受众再扩大一圈。

《荒野大镖客：救赎2》

关于这款3A大作无需过多的介绍，大家都知道它是神作。作为《荒野大镖客：救赎》的前传，《荒野大镖客：救赎2》将会在不久的将来加入实时光线追踪以及DLSS。这游戏原本的光栅化已经做得相当出色，在光追的加持下只会更上一层楼。既然加入了光追，那么DLSS当然也是少不了的。在光追以及DLSS双重加持之下，相信游戏可以以更好的光照以及更加的帧率为玩家带来更加真实的美国19世纪西部体验。

DLSS，未来生态会更完善

DLSS作为一项由AI推动的技术，未来的成长空间是巨大的。一方面游戏的画质会随着AI的愈加完善而愈来愈接近甚至反超原生分辨率，二来游戏帧数也会随之而更加优化。最重要的是,未来DLSS在达成这些成就的时候，相信还会对Tensor Core的利用保持在相对合理的水平，可以说是有点“战未来”的味道。未来愈来愈多的游戏加入对DLSS支持，也意味着DLSS以及光追的生态将会愈加完善。