只需LED无需摄像头，NVIDIA公布轻量级VR眼球追踪方案

前沿科技新媒体 青亭网 昨天
hi188｜编辑
虽然眼球追踪方案在VR中拥有极高的优势，除了直观的眼神交互具备自然和快速等特性外，眼球追踪还可用于改善图型渲染能力，降低对显卡的依赖等，好处多多。眼球追踪对于VR功能的相关阅读：《微软新XR研究成果（二）：除了注视点渲染，眼球追踪还能做什么》。
但即便到现在，眼球追踪并没有成为VR中的主流技术，当然也受到成本和设备体积等众多因素影响。
据青亭网了解，为了进一步降低VR眼球追踪模组的成本，让这项技术变得更加普及，NVIDIA作为计算机图形显卡制造商，其也在参与多项VR项目，例如此前的VRS、和VRSS。
关于眼球追踪技术，NVIDIA提到：现阶段眼球追踪技术存在很大的挑战：

  1. 传统眼球追踪技术依赖于成像技术，这对设备功耗要求很高，不适用于VR一体机等移动平台；

  2. 成像设备往往需要复杂的软件体系，这也会额外增加GPU压力；

  3. 传统眼球追踪使用高分辨率图像，会在捕捉、通讯传输、和图像处理等方面存在延迟。


NVIDIA研发小组公布了一套眼球追踪模组的论文，其特点是降低硬件和软件复杂性，从而实现低成本、低功耗（同时带来发热量更低）、计算量低的优势。和其它基于摄像头的方案不同，NVIDIA眼球追踪方案采用一圈红外LED用于向眼镜投射光线，无需摄像头捕捉，而是通过LED光线感知能力实现。
据悉，这套方案的核心就是LED。我们平时可能会认为LED是一种发光设备，但LED实际上具有双向性，即：即可发光，也可感光。采用LED的优势就是，成本低廉、且可选颜色种类很多，而且无需定制电路模组就能进行控制。
原理方面，其通过将高刷新率的红外光线从不同角度投射到用户眼睛，同时用感光LED从多个角度检测眼睛反射红外光的强度，结合其自适应监督模型，从而计算出人眼在VR显示图像中注视的区域。据悉，这也是首个采用LED作为感光系统的眼球追踪方案。
根据论文描述：这套方案是目前体积最小，成本最低的眼球追踪方案。论文中公布了两套原型方案。
整套系统包括1台智能手机、2个微控制器和少量LED灯组，运行时智能手机屏幕上可实时显示VR佩戴者眼球注视的区域。
细节方面，第一套原型机单眼追踪模组共有9个LED灯组，其中3个红外LED、6个LED感光模组；第二套原型机单眼共有6个LED，这6个LED均可作为光源，也均支持感光。这也是利用了LED的双向特性，可以同时发光和感光。
目前处于原型阶段，技术商用还有一段距离。目前，NVIDIA表示该方案LED中测量误差为0.7度，平均误差1.1度；而目前主流的基于摄像头的方案平均误差0.5度，精度较高，因此存在一些差距。
关于其它局限和不足，NVIDIA表示：由于LED感光性相对没有那么精准，因此暂时不适合对于经确定要求较高的VR应用，例如：阅读研究、神经和心理研究等场景；同时和基于摄像头的方案相比，这套LED方案需要更多前期校准工作，初始适配阶段较长；在用户快速移动中如果头显和眼睛位置发生相对位移，也会导致一定误差。
综合来看，NVIDIA这套LED眼球追踪方面就是面向移动VR设备而来，其特点很明确，低功耗、低发热量、低运算量，这也给未来VR一体机中搭载眼球追踪技术提供了极大的可能性。
尤其是不少人期待的下一代Oculus Quest，在功能性方面下一代VR一体机势必会将VR体验提升到一个新的层级。
参考：
https://arxiv.org/pdf/2003.08499.pdf

（END）


 
   推荐阅读    






 
每天五分钟，轻松了解前沿科技。    
         —— 青亭网