从iPad Pro的ToF摄像头说起，ToF前途未卜还是一片光明？

近两年的趋势预测中，似有许多媒体资料和分析机构提到了ToF(Time of Flight)技术的即将爆发，但却似乎又后劲乏力的消息。比如有人认为掣肘ToF发展的主因是应用场景受限，所以ToF迄今似乎都没有什么惊人的市场爆发现象。

在本文中，我们不想刻意琢磨统计机构的数据，而是尝试从ToF技术本身的原理，及其在手机市场的应用出发，来探讨这些年有关ToF技术的传言是否可靠，尤其是在今年新版苹果iPad Pro面世以后，后置新增的那个LiDAR模块是否有机会带动ToF技术发展;且包括华为手机在内的不少智能手机已经连续数年将ToF模组应用于前摄。

本周四(5月21号)本文作者将会对其撰写的《消费电子ToF技术与市场分析报告》进行一次线上解说，同时也专门邀请到了英飞凌的技术专家。届时技术专家将对ToF技术的部分细节做更为清晰明了的讲解，并与技术爱好者、市场参与者，以及所有关注ToF技术的人们，做一次深入交流和探讨。

2015年ToF在手机上的发展

如果用简单的话来解释ToF，无非就是飞行时间(Time of Flight)。从我们翻阅的资料来看，ToF并不限于光学领域，利用微波、超声波的“飞行时间”来计算对象距离的，都可以认为是ToF技术的应用。那么实际上普通的微波雷达也可说是应用了ToF技术的典型设备。如此，ToF涵盖的技术领域也就变得非常广，而且ToF存在的历史又可以往前推几十年。

若将ToF限制在光学测距范畴，则ToF也就特指“光的飞行时间”，这也是目前我们对于ToF的狭义理解方式，或者特指“ToF摄像头”。相对简单的解释是：若要测得ToF模组与场景中某个对象(或某个点)的距离，则由ToF模组的光源向该对象发出光(子)。光在发出后抵达该对象，并反射回来，由ToF模组的传感器获得。计量此间“光的飞行时间”，在光速已知的前提下，即可得到距离数据，如图1所示。

图1

这是个十分简化的模型，但也基本阐述了ToF技术的核心。而且它也至少透露了ToF模组在硬件实现上，至少需要包括发射端和接收端，当然另外还需要处理信号的芯片、算法与软件。

近两年ToF话题火热的主因，似乎是3D感知、3D视觉应用的崛起。典型的如iPad Pro所用的后置LiDAR激光雷达。这在我们探讨的ToF范畴内，如果不考虑汽车LiDAR这种能量级别，则iPad Pro的ToF应用已经相对高级和复杂，看起来和消费用户的距离似乎也稍远。在谈这种技术之前，不妨先看看更早以及更贴近生活的ToF应用。

手机对于“测距”的典型需求是前面板的距离感应：这是多年前功能机时代就存在的特性，即通过距离感应，在接打电话时，耳朵贴近屏幕就让屏幕自动熄屏。早年的距离感应只通过简单的一个光电二极管实现，这种简单的方案在某些场景下会失效，因为它是通过测定外部亮度级变化实现所谓的“距离感应”的。

从2015年前后，主动光学测距开始应用到手机上：这种测距系统结合了一枚LED，与光传感器。LED会主动发光，如果传感器获取到的反射光强度超过预设的阈值，手机就熄屏。这几乎可以认为是ToF的雏形了，iPhone 6s时代已经在采用这种技术。从TechInsights的拆解分析来看，iPhone 7真正落实了ToF传感器：即不再依赖于反射光强度级变化，而开始计量来自激光二极管的光子飞行时间。

更早将ToF模组应用于前面板的手机，可追溯至2014年的LG G3、黑莓Passport等。TechInsights的显微拆解显示，当时这些手机普遍开始应用意法半导体的早期VL6180方案。从分析来看，这是一个三合一的光学模组，其中包含了距离传感器、环境光传感器，以及VCSEL光源(垂直腔面发射激光器)。

图2，来源：TechInsights

尤为值得一提的是，其中的距离传感器实质是SPAD(单光子雪崩二极管)构成的——有关SPAD后文还会更具体地提及。至少，这颗模组里就已经有了完整的ToF发射端和接收端。2016年意法半导体发布VL53L0，其中去除了环境光传感器，SPAD阵列也发生了变化。虽然从现有拆解资料并不能确定，不过iPhone 7的前置光学模组实际上和VL53L0非常相似，只是更紧凑(图2)。

在此，这颗ToF模组实际扮演的角色可能至少包括了距离感应，以及应用于前置摄像头的精准测距(对焦)。当时意法半导体在宣传资料中也有特别提及“第二代激光测距传感器”VL53L0X，是“世界上最小的飞行时间测距传感器”。意法半导体的ToF方案选择的皆为SPAD技术，如最新VL53L1、V53L3以及VL53L5相较更早的产品提供相对更远的测距能力和更具弹性的软件配置。目前的很多手机和消费电子产品，多见意法半导体的激光对焦方案。

意法半导体大中华区及南亚区影像事业部技术市场经理张程怡表示：“过去5、6年时间，意法半导体的ToF传感器出货量超过了10亿，应用到了超过150款手机摄像头中;另外当然还有消费级、工业级应用，如平板、投影仪、机器人、闸机等。”

到此便不难发现，ToF在电子科技领域，乃至窄化到移动设备方向的应用，就不仅是这两年才出现的。如手机的距离感应，摄像头激光对焦这些前两年的热点，实则都是ToF的典型应用。我们认为，ToF技术这两年又热起来，大致与消费市场的再炒作有关;所谓的“应用场景受限”“后劲乏力”从以上探讨看来，也属于绝对的伪命题，因为这片市场本来就非常繁荣。“从整个市场的角度来看，它和生活很接近，对于ToF效果的争议，几年前也早就结束了，现在大家都很认可。”张程怡说。

在这种ToF光学测距的“单点”之外，这两年ToF的火热更来自于当这些“单点”形成多点，甚至到“面”和深度图(depth map)的时候，它在3D感知，以及对计算摄影的辅助。华为P/Mate系列手机、苹果iPad Pro平板即是其后的典型应用。这可能才是更多人关注的话题。

由点到面的ToF

在谈今年移动设备ToF发展前，有必要将ToF技术在光学测距技术中的存在位置做个梳理。这里我们主体上采用2001年 Optical Engineering(《光学工程》)一书中的分类方法，如下图所示。

图3，光学测距技术的分类，来源：T. Bosch, Laser ranging: a critical review of usual techniques for distance measurement, Optical Engineering

光学测距的方法整体上分成主动和被动两种。其中被动(Passive)包括了立体视觉(Stereoscopy，比如人们常说的“双摄测距”)、聚焦合成(Depth-from-Focus，典型的类似技术比如光场相机);而ToF被归类到主动光学测距技术中——主动技术还包括了三角测量(Triangulation，典型的如iPhone中Face ID的结构光)、干涉量度分析法(interferometry)。

值得一提的是，这个分类方法或许仍然不够全面。比如在不同切分维度中，三角测量这种方法本身就可以分成主动和被动两种，双摄测距的立体视觉就属于被动三角测距方案。再比如说在被动光学测距技术分类上，在深度方面做文章的不仅有depth from focus，还有depth from motion、depth from shape等。由于篇幅限制，我们无法展开探讨各种技术的优劣。这部分内容将在我们未来发布的ToF行业与技术报告中更具体地阐述。

由于ToF技术这两年异常受关注，ToF测距大方向分成dToF(直接ToF)与iToF(间接ToF)两类也逐渐被更多的人所知。前文提到的ToF简化版原理，以及意法半导体的这类方案实际上说的就是dToF，即发射端发射一个激光脉冲，在碰到场景中的对象后反射，回到接收端的传感器——或者说光电探测器。此间就有个“计时器”电路用于测量时间。从原理上来说，dToF是一种十分直接的技术。不过由于这种技术对于光电探测器、光源和时间检测相关电路有着很高的技术要求，所以其实现相对比较晚。

也因此dToF所用的传感器常见APD(雪崩光电二极管)——这种二极管有着较高的增益和量子效率，采用APD比较典型的ToF图像传感器厂商有松下。传统的图像传感器，在单光子进入到像素中以后一般仅转为单电子，在光信号比较弱的时候，就有感光能力的问题。简单地说，APD传感器是实现电子倍增。

就脉冲调制光的方案来看，可采用较低工作周期的照明，主动照明光可以短脉冲宽度以及高峰值输出功率，同时兼顾人眼安全。由于峰值功率较高、SBNR(signal-to-background-noise ratio)也就极大提升，探测距离也就可以比较远;而且APD可以避免多径干扰之类的问题。不过APD像素尺寸一般也非常大，要实施像素大阵列，或者说高像素也就很有挑战。很多选择APD像素的ToF装置也因此需要有包含机械动作的扫描。这就不属于我们要探讨的移动设备或者手机范畴了。

图4，SPAD横截面，来源：Wikipedia

dToF方案里另一个比较有代表性的传感器技术是前文就提到的SPAD(单光子雪崩二极管)，它和APD的差别在于：它比APD更敏感，一个光生载流子就能触发大量雪崩电流;另外APD的dToF方案里，TDC(time-to-digital converter)的触发信号是由一个互阻抗放大器(TIA)产生的，而SPAD一般能够直接产生数字触发信号，也就是所谓的像素内TDC(in-pixel TDC)。SPAD相比APD得以实现小像素尺寸，而且与CMOS全兼容，SPAD像素阵列芯片级高度集成也就可行了。除了更低的时间抖动，单光子检测属性让脉冲宽度很短，输出功率也就可以比较高，SBNR自然可以更高。

图5

在我们常说的LiDAR固态方案里，实施SPAD光电探测器，主动光源通过diffuser器件实现光线的漫射，而不需要真正的机械扫描动作，dToF就能实现并行的每个像素测量，以实现3D感知，从过去ToF仅用于单点测距，到如今3D视觉、建模这样的应用(图5)。当然APD技术实际上也在发展中，比如松下今年才发布了一种名为VAPD(垂直堆栈APD)的技术，以实现像素的小型化，能够实现远距离、高测距精度和更高的像素。

只不过由于SPAD传感器包括淬火电路在内的各种电路仍然比较复杂，如TDC需要占到很大的片上尺寸，像素也不可能做到像传统摄像头CIS图像传感器那么小——这些都是限制如今dToF传感器尺寸的原因。

图6，来源：TechInsights

从TechInsights近期公布的消息来看，iPad Pro 2020应用的LiDAR传感器可能来自索尼(但索尼已公开的DepthSense 3D Sensor似乎只有iToF方案)，尺寸是18.0mm²，单像素大小10μm，分辨率具体为3万像素(图6)。虽然我们无法明确这颗传感器具体所用的是何种像素工艺及结构，但考虑到iPad成像模组的大小，这个像素数量在dToF类别中应该已经相当高了。iFixit公布的拆解视频中，也提到其LiDAR红外照明点的密度也远低于前置结构光的Face ID——这当然也是必然的。

从iPhone 7到iPad Pro 2020的发展，实则就是ToF从测距到3D感知的发展史，仅在短短的这些年间。

当然不止是苹果，LG、黑莓、华为等一众手机厂商实际也早就开始应用ToF方案了。华为Mate 20 Pro手机在距离感应方案上就应用了来自ams的ToF模组。从System Plus Consulting的拆解来看，这款手机的前置成像模组中包含了一个来自ams的128像素SPAD光电探测器，像素尺寸15μm;当然还有VCSEL光源。

比较有趣的是Mate 20 Pro的前置光学模组中的3D感知系统实际并不仅有ToF。主要用于面部识别的应该是个典型的结构光模组，其中的VCSEL激光光源都有两个，分别用于点阵投射器(DOT projector)和泛光照明器(flood illuminator)，而且来自不同的供应商。当然这是题外话了。

3D感知正在普及的iToF

到了华为P30 Pro，后摄方案中也开始应用ToF技术，整体方案来自索尼。这应该是个iToF方案，图像传感器相对常规，像素尺寸10μm，4.7万像素;用于泛光照明的VCSEL光源来自Lumentum。

像iPad Pro那样在小尺寸移动设备上选择dToF做较大范围的3D检测，现在看来似乎仍是个比较奢侈的方案。因为如前文所述，dToF原理虽然直接，而且更为精确，但它对各组件的时间抖动要求是比较高的，且要求更大的输出功率。相对的iToF精度更低，却更容易实现高帧率，对各部分组件的技术要求也会相对低一些。

图7，iToF方案中的cwToF连续波方法，来源：ADI

回顾图3光学测距技术的分类，我们认为这个分类方法在针对iToF的分类上可能也是不够全面的。参照ADI和英飞凌的官方资料都将iToF分类为pToF(基于脉冲的ToF)和cwToF(连续波ToF，图7)。或许cwToF还可以进一步细分，即调频连续波和调幅连续波。cwToF是由光源发出周期性调制信号，接收端检测反射光的相位偏移;而pToF则是由光源发出一系列的短脉冲，接收端的传感器会有个电子快门——电子快门在一系列短时间窗口中捕获反射光。这两者也各有自身的优势和缺点。比如ADI就在自家pToF方法中，选择配备CCD传感器，而非CMOS，这对于实现小像素、更高分辨率，和全局曝光实现快速移动目标检测都有优势。

需要注意的是，本文探讨ToF模组时，更偏向于探讨接收端的传感器部分，VCSEL属于发射端。如前文所述，dToF对于发射端和接收端都提出了很高的要求。ams业务发展总监徐冰博士也确认道：“ToF的发射和接收技术要求都很高，特别是用于dToF的应用。”ams高级市场经理蔡郑志强也告诉我们，VCSEL发射器在整个系统设计中尤其关键，均匀性、发散角、温飘等因素都很重要;而且由于小型化需求，更对散热等问题提出了更高的技术要求。

且整个ToF模组也不仅限于这两个部分，另外还至少包含接收端镜头、发射端diffuser在内的光学组件，以及可能包括像ADI这样独立于传感器之外的模拟前端芯片，用于数字化和输出深度数据(如图8)，便于快速获取整体图像深度信息。

图8，pToF方法中，位于CCD传感器之后的ADI前端处理芯片，来源：ADI

当然我们没有必要仔细去研究某个产品具体应用了何种方法，这里我们看一个相对有代表性的iToF方案：LG G8 ThinQ手机。这款手机的ToF摄像头采用的是英飞凌/pmd的REAL3图像传感器。整体解决方案由英飞凌/pmd设计，模组主要包括了REAL3图像传感器(近红外传感器)以及一个泛光照明器——即VCSEL die来自ams。

System Plus Consulting的拆解报告显示，这颗传感器的分辨率为224x172(约3.9万像素);相较2016年应用于联想Phab2Pro的同分辨率传感器，尺寸缩减了40%——这大概也能说明移动设备上ToF摄像头模块正在变小，像素正在变小的趋势;另外，VCSEL激光die部分实则也有12%的体积缩减(图9)。

图9，LG G8 ThinQ的ToF摄像头模组中的VCSEL die，来源：System Plus Consulting

与前些年手机将ToF应用于距离感应、激光对焦一样，如今实现3D感知的ToF的确越来越成为手机的标配。到这里，即便不观察市场规模的增长数据，我们也基本可以确认，ToF从来不存在所谓的“应用场景受限”或者前景未知的困惑，手机的ToF市场一直都发展得不错。

抛开测距不谈，3D ToF在手机上的应用至少包括了面部识别(即便或许精度不及结构光)、掌纹识别、隔空手势识别，以及配合计算机成像用于判断场景深度，并配合做到模拟浅景深——也就是模拟单反那样的背景虚化，其准确性会远高于双摄这样的立体视觉方案。

另外，在移动设备上搭载ToF摄像头，还可进一步促成AR现实增强技术的发展，这也是市场对iPad Pro搭载LiDAR的一个预判。iOS生态的AR开发无需多言，Android平台的ARCore实际上是值得一谈的。这两年一直有传言说，谷歌很快就要为ARCore引入ToF的原生支持。这则消息到去年Google I/O似乎还未有成型，不过在去年12月更新的ARCore API版本中，谷歌的新闻稿提及，“有专门摄像头即ToF传感器的设备，将能够获得更好、更精准的体验。”

手机之外的更多应用

受限于篇幅，我们只能以梗概的方式谈手机ToF的应用，有关ToF系统的技术点仍有很多问题未曾涉及。比如在不同的应用场景中采用ToF技术有各自的挑战，如对手机而言，空间限制是个重要因素。英飞凌电源与传感系统事业部大中华区射频及传感器部门总监麦正奇告诉我们：“在像素尺寸缩小，分辨率提高的情况下，如何保证低功耗的要求，是英飞凌和技术开发合作伙伴pmd technologies携手，在相关不同的设计层级，对REAL3 ToF产品进行优化的方向。”

图10，来源：英飞凌

以及我们采访的数家ToF企业均提及ToF模组红外传感器技术难点中的背光干扰抑制，SPAD在这方面理论上本身应该是有天然优势的。对于iToF来说，户外场景下ToF摄像头面对十分明亮的背景光，对画面主体的距离测量会产生不良影响(过曝无法提供深度信息)。

比如英飞凌在传感器中“采用专有SBI(背景干扰抑制)电路，这是一种像素内电路技术，旨在克服各种光照条件带来的影响。”麦正奇说。SBI背光抑制专利似乎一直都是英飞凌对外的宣传重点，实现据说提升“近20倍的动态范围”(图10)。ADI系统应用工程经理李佳也表示，ADI的ToF技术方案“可支持940nm光源，并且每个像素都有独特的背景照明抑制电路。”

对于ToF，在手机市场之外，我们也有必要探讨其发展前景。徐冰博士说：“市场是需要时间去接收和验证的，ams对于自身的3D技术有着充分的信心。”“ams的ToF相关产品主要应用方向是手机市场、车载市场，安全和支付领域。”

麦正奇则表示：“尽管智能手机绝对是ToF传感器非常吸引人的一个应用，但其实ToF技术已经在游戏机、智能汽车、智能家居、工业领域和虚拟现实眼镜中得到了应用，还有很多潜在的应用。”

意法半导体的态度也很明确，张程怡说：“过去5年，到今天以及未来，我们还是相当侧重在消费电子市场，除了像是智能手机的自动对焦，从应用来分还有已经发展起来且在持续发展的投影仪的自动对焦。”“第二是使用者的检验：今年的情况很特殊，我们也发现在检测体温、闸机管制这些场景应用中，ToF也有很大的需求;还有像是智能家居面板，商用电脑、儿童教育面板等。”“第三部分，我们还侧重在障碍物检测，像是家用扫地机器人、酒店展馆的服务机器人等;工厂里的机器人避障也需要使用。”

ADI在针对非消费市场中，“我们认为下面这些领域ToF可以快速导入：智能建筑领域、用于人脸识别的身份安全验证、汽车倒车影像应用、确保工业自动化操作的安全性、AGV(自动导航车辆)等自动驾驶车辆。”李佳表示。显然，无论是测距还是3D感知，ToF技术的发展都是相当有序的，无论是移动设备，还是其他领域。

作者：黄烨锋

责编：Amy Guan

本文为EET电子工程专辑原创文章，如需转载，请留言

↓↓ 点击阅读原文，观看直播 ↓↓