Oculus新研究：用AI技术大幅提升移动芯片图形性能

Esther｜编辑

凭借571g重量（比Rift S超出71g），Oculus Quest VR一体机以接近PC VR级体验感、6DoF Inside Out定位、手势识别等强大功能和相对可以亲民的价格，一跃成为当代VR领域最具潜力的VR产品之一。

作为一款独立一体式VR头显，Oculus Quest从多方面降低了C端用户对VR的使用门槛，同时也兼容包括《Vader Immortal》、《Beat Saber》、《Superhot》、《Espire 1：VR Operative》许多优质的VR游戏，甚至通过Oculus Link方案运行PC VR游戏。

与自家PC VR相比，Quest分辨率更高（两块1440x1600分辨率OLED屏），而Rift S所采用的单块LCD显示屏的分辨率仅2560x1440（与Oculus Go相同）。但考虑到一体机所使用的处理器与PC VR支持的电脑处理器相比，有许多性能局限，因此Quest的刷新率比Rift S略低（72Hz vs. 80Hz）。

Quest搭载高通骁龙835处理器，集成Areno 540显示芯片，而Rift S对电脑配置的最低要求则为NVIDIA GeForce GTX 1050Ti/Radeon RX 470或更好的显卡。高通骁龙835是什么概念呢，它是高通在2016年11月就发布的移动平台，除了VR一体机外，也用于手机，考虑到同系列处理器已经迭代865（XR2），骁龙835在现在来看确实不算是高端性能的处理器，其集成的显卡与电脑显卡更是难以比较（尽管GTX 1050 Ti也是在2016年推出）。

与PC游戏在手机端运行一样困难，Quest是如何运行《Vader Immortal》等对算力、图形处理能力要求较高的VR游戏呢？对此问题，Oculus内容生态总监Chris Pruett曾透露，Oculus对Quest的硬件配置做出了大量改动，尤其是它所搭载的骁龙835芯片的运行时钟频率要远高于搭载同款芯片的其他设备，持续运行时间也长得多，因此在有限的硬件基础上，得以提升性能表现力。

而VR内容方面，通常Quest游戏会使用与Rift版相同的图形数据，不过采用不同的格式化方式，对有限的GPU进行优化。也就是说，图形渲染流程中所使用的的所有数据都足够高效，同时也能实现画面所需的复杂感。

另一方面，近期Facebook在SIGGRAPH Asia公布的论文显示，其科研人员正在研究一种全新的集成式机器学习框架，可将Quest等VR一体机的GPU处理能力提升67%，尽管目前还在研究阶段，但足以让我们对未来的VR充满期待。

据了解，这种新技术的原理是利用机器学习算法对分辨率进行实时优化，也就是说视觉中心以超高分辨率进行渲染，而余光部分则以较低分辨率渲染，类似于注视点渲染或是Quest已经在使用的动态固定中心点渲染方案，不过使用AI算法来提高分辨率的效果更好。

注：固定中心点渲染（FFR）是VR一体机常用的显示解决方案，好处是可降低渲染为GPU等硬件带来的压力，提升显示效率。

Oculus Quest，动态渲染方案（非常高）

用AI算法来提升图像分辨率（数字图像处理）并不是一项新的技术，比如近几年曾被用于修复老照片，或是无损放大模糊照片等等。而在VR中，使用足够数据训练的AI算法可大大提升图像的细致度，远超传统分辨率提升方案。

不过，考虑到算力、电量和延迟等方面的局限，在VR一体机系统中集成和运行机器学习模型具有一定挑战。因此，Facebook科研人员研发了这样一款可以在移动设备上低延迟运行的机器学习框架，希望以此来为计算图形学带来更多应用，VR分辨率优化只是其中之一。

Facebook在论文中指出，通常移动VR系统渲染图形的流程是，首先获取头部/眼球追踪数据，用这些信息来为用户双眼渲染图像，并对光学畸变、色彩差、显示扫描输出顺序、VSync（垂直同期）时机等问题进行优化和调整。比如，通过将VSync信号提前几毫秒来降低延迟，或是通过扭曲图像来弥补光学畸变和色差，以及利用空间/时间扭曲和late latching技术来预测和调整图像。

为了呈现流畅的VR体验，通常头显屏幕的刷新率需要高于普通屏幕20%到50%，因此双眼图像渲染流程的延迟需要控制在11到14毫秒之间。目前提出的一些解决方案包括：异步时空扭曲算法，通过降低渲染延迟的观感，提升渲染速度；注视点渲染技术，通过识别视网膜最高分辨率注视点来调整分辨率。

然而，即使使用上述方式，移动VR使用传统渲染方法依然无法达到预期中的高清画质，因此需要从架构层面改变渲染流程，通过AI算法来提升效果。

在VR一体机中，SoC负责全部的图像渲染和处理任务，传统SoC中的CPU、GPU、NPU、DPU、DSP等处理单元通常使用相同的物理内存。而使用特殊硬件来运行机器学习网络时，效率可能比传统CPU提升3到10倍。但考虑到在传统图形渲染流程中，GPU不仅要运行经过训练的机器学习模型，同时会运行渲染系统，这对于大多数移动VR应用来讲比较困难（GPUS没有足够空间去运行机器学习模型）。

相比之下，Facebook科研人员提出的机器学习框架通过将AI算法在特殊的处理器（比如数字信号处理器DSP，或者神经处理单元NPU）中异步运行，然后GPU会对得到的缓冲数据进一步处理，在补偿延迟后传输到显示屏。这样做的好处是，渲染速度可提升5到10倍，而且还省电。

考虑到Quest搭载的骁龙835 SoC的DSP算力有限，Facebook认为可以采用快速卷积网络来渲染中心视觉分辨率。而至于搭载更强大SoC的移动设备（DSP/NPU算力翻了约30倍），则可使用功能更更强大和丰富的深度学习网络。

科研人员发现，实现这样一种机器学习运行框架，需要解决两大挑战，即：1）降低跨处理器协作的计算开销（在读取相同内存时避免产生额外的重复计算）；2）流水线和延迟补偿。于是，通过修改图形内存分配系统（使用特殊的ION分配算法），以及同时渲染两帧图像（将第一帧发送给NPU、GPU后，开始渲染第二帧），和额外的排列式渲染方案（加上旋转扭曲和late latching等传统方式），分别缓解这两个问题。

据悉，使用上述框架在VR一体机中运行机器学习算法后，可实现足够连贯和令人视觉愉悦的VR观感。此外，使用该框架的DSP/NPU的计算效率，比于最新SoC技术提升10倍以上。

也就是说，如果将余光部分的分辨率降低70%，大约可缩减40%GPU渲染时间，开发者便可利用省下的算力来提升内容质量。对于VR观影场景，节省的GPU算力可用于提升电池续航。

尽管不用眼球追踪数据，使用这个框架也能渲染出一个比较统一的高效率图像。但与注视点渲染系统结合后，能够进一步降低延迟和伪影，提升注视点高分辨率重建的效果，将高分辨率与低分辨率区域融合得更自然。如此一来，眼球的移动时间延迟可降至约1帧，加上机器学习算法重建时间（一小部分）。

除了优化VR分辨率外，Facebook研发的这个框架还可用于优化AR画质，或是压榨内容串流过程中去伪影、预测帧、特征分析和指导性注视点渲染反馈等任务的算力。

当然，Facebook并没有透露这项技术是否会用于Quest，还是下一代VR头显，只表示：目前这只是纯学术研究，只是希望通过机器学习技术来提升移动图形计算和VR。总之，可以看出机器学习对于提升VR一体机画质将会是关键，也为下一代移动图形学打开了许多可能性。

参考：

https://dl.acm.org/doi/10.1145/3355088.3365154

（END）

 

   推荐阅读    

 

每天五分钟，轻松了解前沿科技。    
         —— 青亭网