英伟达“视频DLSS”功能有多神奇？至少这种马赛克能干掉了

近几年，深度计算的应用可以说是越来越广泛了。

举个例子，过去几年时间，国内就有科研人员鼓捣着，用 AI 建立机器学习模型，对疫情可能扩散的范围和趋势进行预警，甚至还有科研人员通过训练 AI 深度学习，检测病毒感染情况。

到了电脑领域，深度学习带来的最大变化，可能就是英伟达随着RTX 20系Turing架构GPU引入的NVIDIA DLSS技术了。

通过预先训练好的AI模型，DLSS技术允许用户在渲染一个较低分辨率的画面的基础上，结合深度学习神经网络模型将其上采样到设定的高分辨率，通过降低显卡硬性负载的方式来提升游戏帧数。这样就能在保证用户画面体验的情况下，让游戏更加流畅地运行。

（图源：英伟达）

到了这里，有些思维活络的读者可能已经想到了。DLSS技术本质上是一个提升帧数+画质的技术，如果我们不将它应用到游戏上面，而是通过现有模型对低分辨率视频本身进行超采样呢？

那就是我们今天要聊的主角——RTX视频超分辨率技术。

在线视频之殇

事实上，应该有不少人拥有着和小雷同样的感受，那就是对于视频画质的感知及要求明显比过去高了不少。

以前只要手里端着台手机，似乎480P、720P视频都觉得清晰无比，而现在即便视频网站普及了1080P、1440P甚至4K画质，但是肉眼看上去的感觉似乎总是让人觉得差点意思。

（图源：哔哩哔哩@犬山玉姬）

为什么在线视频网站的分辨率提升了，但是实际画质却变差了？

罪魁祸首，在于视频码率。无论是视频上传时的标准化转码，还是对原始视频进行统一存储、管理直到最后分发到用户的设备上，这一整套流程的成本是十分昂贵的。

现如今，几乎所有视频平台都面临着严峻的营收问题，为了开源节流，他们选择用压缩码率的方式来节约算力、带宽与成本。尽管这样可以维持视频的分辨率，但是因为码率降低，最终呈现出来的视频上不可避免地存在一些肉眼可见的伪影、残像或噪点，这就是信息丢失。

尽管这些信息丢失大概率不会影响观众去完整理解视频，但它们必然会影响到用户的观看体验。在2K、4K显示器开始普及的当下，人们的在线视频体验反而一天不如一天，可谓是当今视频平台的一大原罪。

（图源：知乎@犬山玉姬）

没想到，英伟达成为了第一个看不下去的。

在CES 2023 GeForce Beyond直播中，英伟达宣布了新的RTX视频超分辨率（RTX Video Super Resolution）技术。

根据官方介绍，该技术原理和DLSS类似，可以利用深度学习和神经网络AI技术移除视频压缩的块效应并提高视频分辨率，从而改善通过浏览器观看的任何视频的质量，让人们能够在高分辨率显示器上以原生分辨率观看在线内容。

（图源：英伟达）

当然，类似的技术其实并不是第一次出现，例如anime4k、waifu2x等算法在超分辨率方面已经非常成熟，只可惜这些功能大多只能对本地视频处理，而我们正在经历的却是一个毋庸置疑的流媒体时代。

（Waifu2x技术展示）

作为对比，视频超分辨率技术最大的应用场景，正是流媒体领域，也就是我们平时在各种视频平台观看的直播与视频。根据官方介绍，无论是通过斗鱼，虎牙，哔哩哔哩等平台观看您喜爱的主播的直播，还是观看视频主发布的视频内容，都能借助视频超分辨率技术来获取更高分辨率且高清的画面。

对于狂热的视频爱好者而言，这无疑是喜事一桩。

画质的救世主？

问题来了，技术有了，什么时候才能用上呢？

终于，在2月28日这天，英伟达正式发布了531.18 WHQL驱动程序，该驱动不但为支持DLSS 3的最新游戏提供最佳优化体验，同时还实装了用户期待已久的视频超分辨率技术。

（图源：英伟达）

要想用上视频超分辨率技术，我们需要准备两样东西。首先，是一张RTX 30/RTX 40系显卡，目前仅有全新两代显卡才能使用视频超分辨率技术，而RTX 20系显卡支持将随时间更新。

其次，则是v110版本或者以上的Chorme浏览器。目前只有Chorme浏览器加入了视频超分辨率技术的支持，英伟达表示，未来使用Chormium内核的Edge浏览器等第三方浏览器都会加入支持。

接下来就简单了，我们将驱动更新到 531.18 WHQL 版本，并在英伟达控制面板中打开视频超分辨率选项，就可以在最新版Chrome浏览器中看到效果。

目前视频超分辨率共有4档可调，其中第1档性能要求最低，但画面提升就没有那么显著；第4档性能要求最高，但画面效果也最好。英伟达表示，所有RTX 30/40显卡都可以开启第1档质量模式，但是只有70级及以上的高端显卡才能播放第4档内容，用户可以综合自己的需求选择。

我们先来看看英伟达提供的官方示例，这是一段在城堡上空盘旋的无人机航拍风景视频。

如图所示，在开启视频超分辨率技术之后，原视频中因为信息丢失而缺少立体感的墙体变得十分清晰，每块砖头的缝隙都清晰可见，周围的树叶也从糊成一块变得区分明显，画面细节感强了不止一个档次。

（左：原图，右：VSR，图源：英伟达）

接下来测试流媒体内容，为了尽最大可能展示超分辨率技术的性能，我们将画面原生分辨率设置到360P，超分辨率设置为4档，也就是它能够接受的最低原生分辨率来展示效果。

首先是开箱视频，如图所示，在开启视频超分辨率技术后，刀身的图像质量有了显著提高，不但有效抑制了噪点和锯齿的产生，就连刀上面刻下的署名也变得清晰许多。

（左：VSR，右：原图，图源：youtube）

再来看看在相对复杂的游戏视频中的表现，在这份APEX的游戏录像中，视频超分辨率技术让枪身上的残弹提示和靶子上面的图案都清晰了不少，但是高速移动时的残影显然无法处理。

（左：VSR，右：原图，图源：youtube）

考虑到整体输入画面只有360P，这样的表现还是非常惊艳的。

当然，开启显卡超分辨率功能，自然会存在功耗的提升。根据外媒tomshardware测试，显卡功耗会随着超分辨率挡位的上升而提升，在1档的情况下会增加4W左右的待机功耗，4档的情况下所需功耗则会翻倍。整体来说，功耗增加情况并不明显，但是存在功耗异常增加的情况，希望后续能够修复。

（图源：tomshardware）

普及仍需时日

最后，英伟达的视频超分辨率技术有用吗？

答案是有用的，经过我们实际测试，在开启视频超分辨率技术后，码率不足的视频画质明显提升了一个档次，不仅锐度、亮度都有了显著提升，而且很多视频上传过程之中所丢失的细节也会得到补充，原本的模糊感几乎都不见了。

（图源：英伟达）

但是，这并不意味着视频超分辨率就是万能的。从目前测试的表现来看，这项技术可以让画面变得更清晰，但是并不能够显著提升视频画质，而且对于动态效果显著的画面也会出现失灵的情况。换言之，如果你的想法跟我一致，希望利用这项技术重看油管虚拟主播的打枪录播的话，那体验其实并不会很好。

不仅如此，受到英伟达产品战略的影响，目前视频超分辨率技术仅支持RTX40系列和RTX30系列GPU，而这两个系列的GPU在市面上的占比仅有不到20%。换言之，目前超过80%的用户都无法享受到该功能，即便理论上RTX20系显卡也能在未来通过驱动更新支持这一功能亦是如此。

好消息是，除了高贵的RTX 30、40系显卡，根据Chorme更新的代码显示，其实英特尔的显卡同样支持这项功能。如果你拥有英特尔的核显/独显，特别是Iris架构的核显，那么不妨马上更新Chrome浏览器试试，说不定就能省下一张RTX 30系列显卡的价钱。

至于AMD ，目前是无缘了。

本内容为作者独立观点，未经允许不得转载，合作事宜请联系linxiuliu@leikeji.com