高通XR芯片重燃AR/VR希望，6DoF空间定位增强游戏体验

过去的十年，虚拟现实(VR)和增强现实(AR)可以说是市场发展最火爆但消退也最快的电子创新。VR是完整的沉浸式交互，而AR则在现实环境中叠加增强的虚拟对象。这些由处理器计算生成的虚拟对象会以多种形式呈现，例如图像、视频或交互式数据，这类融合的技术统称为扩展现实(XR)。2019年似乎是AR和VR重新恢复元气的一年，用户体验和内容方面都取得了很大的进步，驱动着用户需求的激增。进入2020年，伴随着新冠病毒疫情在全球蔓延，5G网络也开始在全球铺开，网络速度的大幅提升将为VR/AR提供低延时的保证，同时也会改变VR/AR设备的连接和设计。

市调机构Digi-Capital 去年发布的报告显示，在未来 5 年中，AR/VR 将迎来高速增长。预计到 2023 年，AR 市场规模将达 700~750 亿美元(包含移动端 AR 和 AR 眼镜)，而VR 市场规模将达到 100~150 亿美元。根据另一家机构的数据，全球对XR的需求在2020-2026年间的复合年增长率高达45.0%，到2026年将达到3463.9亿美元。

科技巨头加大AR/VR投资和研发

昙花一现的Google眼镜虽然是一个失败的尝试，但Google并没有停止VR/AR的探索。为了实现其无处不在的“环绕计算”(ambient computing)愿景，Google最近收购了加拿大智能眼镜初创公司North。同时，Facebook、苹果、微软、HTC，以及Magic Leap和 Snap等大小公司都在争抢下一代智能设备市场的有利位置，无论通过手机还是专用硬件设备。

Facebook于2014年花费20亿美元收购VR头盔初创公司Oculus，但由于显示、传输速率等多种技术的不成熟，VR设备的用户体验比较差，难以为大众消费者所接受。然而，Facebook并没有放弃探索下一个能够替代手机的技术产品，反而投入更多资金和人力研发VR/AR技术。

Oculus Quest是一个独立的VR硬件设备，具有两个六自由度(6DOF)控制器，主控芯片采用高通骁龙835和Adreno 540 GPU，配备两个钻石Pentile OLED显示屏。

Facebook正在开发代号为Orion的AR眼镜，预计将于2023年发布。鉴于用户无法使用传统的触屏和键盘输入方法来控制AR眼镜，Facebook正在大力投入开发一种称为人脑-计算接口的全新技术，利用可穿戴传感器来检测佩戴者头脑的想法并用简单的语句表达出来。

微软的最新MR(混合现实)产品HoloLens 2瞄准的不是大众消费者，而是专业人士和企业用户。结合微软的Windows操作系统和云计算平台，HoloLens可以为商用用户提供传统软件和视觉系统无法呈现的视觉效果。只要通过手和眼睛，用户即可在显示玻璃上跟踪和滑动凸显，特别适用于医疗、科学研究和工厂设备检视等场景。

2017年苹果CEO Tim Cook在一次访谈中表示，AR市场将会像智能手机一样庞大，但现在还没有合适的技术来构建适合消费者使用的AR眼镜。擅长创新但不会第一个吃螃蟹的苹果在AR上也开始加大力度，预计将于2022年发布一款AR头盔产品，而AR眼镜要到2023年才能发布，但苹果计划2021年就开始构建开发者生态来开发AR头盔APP。

苹果AR头盔项目代号为N301，据称将混合AR和VR功能，它类似Facebook Oculus Quest，但会更轻巧，摄像头绑定在设备外面，可以让用户看到并与周围环境互动。苹果的AR眼镜项目代号为N421，比头盔的技术难度更高，因此预期发布日期也会晚一年。现在的原型看起来像一个高端太阳镜，厚厚的镜框内置芯片和供电电池。要让用户整天佩戴，轻便小巧是必需的，在所用材料和配件上还有太多的技术挑战需要克服。

高通和华为海思围绕XR芯片构建新的生态

高通最近发布XR2芯片，并联合全球15家合作伙伴一起打造XR Viewer生态，其中包括中兴、VIVO和一加等手机厂商，以及VR/AR开发商和电信运营商等。高通还为此专门推出了Qualcomm XR眼镜适配计划，其中包括XR Viewer与智能手机的六自由度(6DoF)头部追踪性能适配认证。

华为海思也推出了首款 XR 芯片，支持 8K 解码能力，并集成了 GPU和NPU处理器。华为携手Rokid开发全新的双目一体AR眼镜Rokid Vision，备受行业关注。

VR/AR能否流行进入主流大众市场，关键还在于用户体验。影响VR体验的三大因素包括：

1. 显示的清晰度：人眼视网膜分辨率的极限是60PPD(Pixels Per Degree, 每度像素数)，用户使用4K VR头显观看4K分辨率的VR全景视频，其清晰度远低于人眼舒适的PPD。需要同时提高显示屏和视频内容的分辨率才能显著提高VR清晰度;

2. 画面的流畅性：显示屏幕刷新率和VR视频帧率都会影响画面的流畅性，屏幕刷新率一般要高于72Hz，而VR帧率要求在90FPS以上;

3. 交互的延迟：从运动到成像的时延MTP(Motion-to-Photons)要低于20ms，VR才不会让人产生眩晕感。要降低传输时延才能保证用户交互感，提供较好的用户体验。

目前VR设备主要是连接到PC的头显，或者像Facebook Oculus Quest之类的独立头显。除用户体验不佳外，这类设备的成本和使用操作也不太能为大众用户所接受。5G网络可以解决传输速度和延迟问题，显示屏、主控芯片和VR/AR视频内容也可以支持8K分辨率，与5G手机配套将成为VR/AR新的出路。

6DoF空间定位是增强XR用户体验的关键技术

在VR领域，无论是inside-out还是outside-in追踪方案，都需要对controller进行实时定位和追踪，要求无论controller的移动速度有多快，有没有被遮挡，都要准确定位、稳定追踪、不能丢失。6DoF空间定位技术是支持VR/AR沉浸式体验的关键。无论采用高通XR芯片，还是华为的8K解码芯片，VR/AR设备都必须支持高分辨率显示和先进的六自由度(6DoF)追踪功能。

目前，HTC、Oculus和索尼都提供了基于激光、单目视觉和双目视觉的outside-in controller及其追踪方案，微软的Holographic项目也提供了inside-out的controller及其追踪方案。虽然现有方案已经对定位精度做得比较好了，但是成本一直居高不下。在保持现有定位精度不降低甚至进一步提高的条件下，如何提供更低成本的定位方案?这是目前VR业内巨头们正在努力解决的难题。

位于深圳的VR初创公司欢创科技(Camsense)自主研发出一种多传感器融合技术，配合多个单目相机系统来实现outside-in 或者inside-out VR追踪体系，该系统可实现对头盔和手柄六自由度的高性能追踪定位。这家公司现在正与多家业内一线品牌厂商合作，为其VR/AR设备提供基础空间定位技术。

《电子工程专辑》主分析师顾正书专门采访了欢创科技创始人兼CEO周琨先生，就VR/AR的市场趋势及其核心追踪技术进行了深入探讨。下面是针对VR/AR关键技术和Camsense解决方案的问答要点，以及欢创科技采用的单目测量空间定位原理解释。

一、请谈谈对VR/AR未来3-5年的市场发展看法

● 5G商业部署带来网络传输速度的提升，为VR/AR实时交互体验提供了基础保障

● VR头盔的摄像定位从Outside-in转向Insider-out，方便用户操作使用

● Facebook Oculus、Microsoft、HTC等VR巨头加大投资研发力度，推动VR/AR市场重新焕发活力

● VR/AR内容更为丰富，特别是沉浸式交互游戏，比如美国Valve公司开发的游戏

● VR和AR融合为XR，交互式娱乐+垂直2B应用(教育、旅游、培训等)是重点应该领域

● VR/AR将成为手机的用户体验增强功能，未来市场规模高达10亿台/年

二、Camsense针对VR/AR应用的技术方向和产品规划

● 核心技术在于单目精准空间定位算法

● 欢创科技自从2014-15年以来已经有多年VR技术积累

● 与多家业内一线品牌厂商合作，打磨六自由度空间定位算法和技术

● 采用Camsense技术的VR/AR设备2021年出货量有望达到100万台

● 一旦进入量产，公司会提供包括ASIC、算法和模组在内的完整方案

三、公司的技术定位和市场战略

● Camsense凭借高性能VR追踪系统积极参与确定市场和技术方向。Camsense HPP SDK是一套业内领先、基于自主知识产权的红外光学定位算法，将内置于公司研发的芯片、传感器和模组中。

● 团队目前有50余人，其中研发人员40余人

● 目标是树立国内第一的视觉空间定位行业地位，致力于成为全球计算机视觉空间定位领先企业

● 主要竞争包括亚洲光学和加拿大NDI等。

四、为什么选择单目测量?

单目测量比激光和双目的测量方式难度都大，因为它没有激光那么高精度的测量元件，同时所采集的信息量又不如双目那么多，所以要实现三维空间定位，必须要采用不同的方法。一般来讲，有两种方式可实现单目定位。一是采用结合IMU传感器的多帧定位方法，让摄像头在运动过程中连续不断的采集多帧信息，通过IMU信息和多帧图像对比来计算摄像头自身的运动参数，并估计物体位置，常见的单目SLAM算法就是这么做的。二是进行单帧测量，就是基于PnP原理进行定位和测量。单帧测量不需要借助IMU作为辅助传感器，但需要预先知道被测量物体的几何模型。几何模型掌握的越精确，定位精度就越精确。在测量时，首先需要提取出被测量物体上至少4个不共面的兴趣点，然后再根据这几个点之间的几何模型约束，唯一反解出物体的空间位置、姿态以及几何尺寸。

相比其它测量方式，基于单帧的单目测量需要预先知道被测量物体的几何模型，从而可以在计算过程中引入约束进行校验，因此可以非常精确的测量出物体的空间位置和姿态。例如，Oculus Rift定位系统的定位精度就可以达到2-3mm，比起Sony PSVR的双目摄像头来讲，精度提高了一个数量级。

但这种方式也有一定的限制，需要预先估计或者掌握被测量物体的几何模型。在很多场景下，这个也不是大问题。例如，在工业领域中，被测量物体都是预先知道的。甚至在家用环境下，如果被测量物体是一个已知的大致模型，也可以用于估计位置和姿态，只是精度没有那么高而已。单目的优势很多，包括运算量相对比较小、FoV视场角大、不像双目视觉会有盲区等。

为了更加清晰直观地讲解VR/AR设备及其核心6DoF空间定位技术，我们专门举办一场“硬件创新”直播讲座，特邀请高通中国VR/AR业务负责人郭鹏，以及欢创科技创始人兼CEO周琨，与观众分享即将伴随5G手机进入大众市场的VR/AR头显市场趋势、生态发展、核心技术和设计方案。

↓↓ 点击阅读原文，报名看直播 ↓↓