2021年4月6日，丰田在SAE上发表了Teammate Advanced Drive System Using Automated Driving Technology，详细介绍了自己的Teammate Advanced Drive（简称TAD）系统。2021年4月12日，丰田汽车在日本市场推出丰田新款Mirai和雷克萨斯新款LS 500h，配备了TAD系统。前者起售价格为860万日元（约合人民币51.5万元），后者起售价格为1794万日元（约合人民币107.5万元），TAD系统仅增加了66万日元硬件成本（仅约4万人民币），未来丰田的每辆车都应该可以选装。

　　TAD是一个不折不扣的L4系统，但丰田谦虚称其为L2系统，这套系统具备两套完全独立不同的自动驾驶系统，特别是在执行器方面，丰田发挥自己供应链优势，执行器方面也是两套系统，这需要对底盘领域做深入改动，这是传统汽车大厂才能做到的，科技类公司和新兴造车企业都做不到，这也是保证Fail-Operation的关键，也是L4的关键，仅凭这一点，丰田就已超越Waymo，Waymo只能采购捷豹路虎的I-PACE或大捷龙混动版，底盘领域无能为力，而I-PACE是麦格纳代工的，就算捷豹路虎想要动底盘也不是太容易。

　　上图为丰田TAD系统框架图。蓝框部分是新增加的部分，红框是标配Mirai和雷克萨斯LS 500h的ADAS部件。

　　来看传感器的具体参数

　　远焦摄像头传感器应该是索尼的IMX490，IMX490性能优异，EMVA标准下动态范围可达140分贝，是目前动态范围最广的摄像头，还达到了ASIL-D级功能安全，也是首个取得ASIL-D级的摄像头，能够祛除LED频闪。AD10比特精度可达40帧每秒，12比特可达30帧每秒，像素分辨率2896*1876，有效像素2880*1860，即540万像素。标配的立体双目相机从未公布过详细资料，由丰田关联公司电装提供，实际是电装联合日本理光提供。立体双目摄像系统要求超高尺寸稳定度，德国奔驰和大陆汽车采用高成本的青铜铸造。还有在线标定问题也是双目使用的障碍。再有就是立体双目以传统几何算法为主，很少使用黑盒子的深度学习，这种人才非常罕见。电装最早的立体双目用于自动驾驶的研究论文发表在2001年(https://www.denso-ten.com/business/technicaljournal/pdf/17-4.pdf)，奔驰则是1996年(https://ieeexplore.ieee.org/document/566403/authors#authors），论文作者Uwe Franke是现奔驰图像理解小组负责人，实际他最早的双目研究论文可以追溯到1987年，Uwe Franke是当今立体双目界的权威)，没有20年技术累积，很难用好立体双目。

　　丰田立体双目相机，像素可能是130万像素，基线长估计22-25厘米，和奔驰差不多，比斯巴鲁的30厘米要短一些。英伟达的Xavier和瑞萨的V3H都有针对双目的硬核处理电路，能够提供视差图和光流图。雷克萨斯LS系列标配立体双目，奔驰、斯巴鲁、大发、铃木、捷豹路虎、Rivian、本田L3都使用立体双目。

　　丰田激光雷达跟奥迪A8上用的法雷奥Scala非常近似，有效距离略远一点，可能是为了节约成本包括运算系统的成本，丰田激光雷达分辨率很低，只有51*3，应该就是3线激光雷达。其余两个摄像头刷新频率也都比较低，通常都是30Hz，显然，丰田运算系统的算力不高。丰田4个ECU的算力合计CPU性能为107.4K，GPU或者说INT8为35.9TOPS。

　　之前笔者估计丰田会用瑞萨的V3U，现在看来不可能，单一个V3U的CPU算力就有96K，INT8有60TOPS。此外，丰田公开宣称有使用英伟达的Xavier，8核版Xavier的CPU平均算力大约94K，其他三个ECU算力只有13K显然太低。因此用的应该是6核版的Xavier NX，6核版的Xavier NX再分10瓦和15瓦两个版本，15瓦的可能性更高，15瓦的CPU平均算力为49K，峰值算力至少70k，INT8为21TOPS。

　　推测4个ECU的SoC芯片如上表，仅为推测。

　　从图上不难看出这是两套独立系统，一套主系统，传感器主要是立体双目、毫米波雷达和360度环视。另一套后备系统，传感器主要是激光雷达、远焦摄像头和定位摄像头。ADS里应该有一个以太网交换器，将两套传感器连接，也连接ADX。ADS是核心，拥有双重供电。

丰田TAD的定位流程图，图片来源：互联网

　　首先是利用GPS做道路级定位，然后利用定位摄像头检测车道线标识和车道线类型，用毫米波雷达和激光雷达检测周围车辆，再配合高精度地图和周围车辆做车道级定位，根据车道线标识来不断修正IMU预测的横向位置，利用远焦摄像头检测道路曲率半径和道路标识来修正IMU预测的纵向位置。

　　如果没有车道线标识怎么办，那就用周边车辆做冗余定位Redundant Estimation of Lane Parameters（RELP）。日本车道级地图目前已经做到31361公里。

　　感知部分，首先来看激光雷达。激光雷达有三个作用，首先是定位，其次是检测前车与自车之间的距离，最后是判断是否有车辆切入前方车道。也因此，丰田的激光雷达只有3线。

　　通过计算前方车辆的接近角位置和速度来判断前方车辆是不是要插入自车车道。推测丰田的激光雷达也可以检测车道线，因为丰田这里只字未提摄像头检测车道线。根据车道线材料反射激光强度的不同可以检测车道线，但这在中国行不通，因为中国车道线材料没有统一，有些反射强有些反射弱，可能在京藏高速能检测车道线，在沪蓉高速就不行。

　　丰田TAD系统视觉管线，视觉分三个部分，首先是立体双目利用视差图抽出道路表面语义分割。其次是光流预测自车移动轨迹，最后才是用DNN的目标识别与追踪。核心是道路表面语义分割。

　　道路表面语义分割，Road Surface Freespace Segmentation，实际上就是Road surface 3D reconstruction，也可以叫Road surface 3D Representaion。这实际就是无人驾驶中常用的自由空间法。这里除了车道线识别外，没有任何视觉识别聚类。它的主要作用是分出路面、移动物体（障碍物）、固定不动的（Solid）。通常用基于概率的占用网格加动态规划(Dynamic Programming)的算法获取，激光雷达也可以做到，但是需要至少64线最好是128线激光雷达才有较好效果。但即便是256线激光雷达也无法和130万像素双目的稠密像素相当。单目用深度学习理论上也能做到，但是跟双目比其准确度极低，鲁棒性很差，消耗运算资源巨大，成本较高，英伟达有专门教程（https://docs.nvidia.com/isaac/isaac/packages/freespace_dnn/doc/freespace_segmentation.html），单目目前只能在实验室研究，远不到成熟阶段。多个摄像头用SFM也能做到，但一样准确度极低，鲁棒性很差，消耗运算资源巨大。

图片来源：丰田工业大学、电装、SOKEN的双目研发成绩汇报

　　用立体双目视差图加上高度分割可以得出路面、天空和路面上目标，用光流法可以区分移动车辆和固定目标。

图片来源：互联网

　　上图为奔驰的Road Surface Freespace Segmentation流程图，奔驰为缩小运算量，提出Stixel概念，Stixel算法将物体抽象成立在地面上的一根根的Sticks, 这些Sticks将图片分割成Freespace与障碍物。Stixel是一个细长矩形，宽度固定(3px, 5px,...)，高度与障碍物相同。本质上，Stixel是一种超像素抽象，介于像素与物体之间，在性能和算法复杂度上比二者有着明显的优势。

　　因为立体双目具备3D深度信息，因此光流法就比较适合立体双目，特别适合目标追踪。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜（即图像平面），好像一种光的“流”，故称之为光流。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。丰田只用光流做自身位姿预测，实际就是配合IMU做V-SLAM。

图片来源：互联网

　　上图为奔驰的光流法，奔驰用Stixel降低运算量，在量产车上也用了光流追踪。图上箭头就是骑自行车人的0.5秒后的移动位置，右边是0.5秒后的景象，可以与预测位置做一个对比。蓝色代表静态目标。不仅能追踪，预测位置，还能提供目标速度。

　　奔驰推荐四种光流算法，分别是稀疏KLT、Patch KLT、Census和稠密TV-L1。KLT和卡尔曼滤波器配合比较好，稠密TV-L1的精度比较高。颜色编码示意图如左，不仅包括了速度还包括方位角，对移动目标位置预测非常有用。 

　　实际大众和福特也是立体双目的拥趸，上图是福特与大众合资的Argo AI的自动驾驶原型车。

　　丰田的传感器融合，这是个简单的坐标转换到同一体系下的简单融合，与其说是融合不如说是判断车道的另一种方法。复杂的传感器不仅成本高昂，并且出错的几率大增，Uber撞死人事件是最佳例子，激光雷达和毫米波雷达都检测到了正在推车的行人，但融合后置信度太低，车辆未做减速。因此复杂传感器融合只能停留在论文阶段。

　　丰田TAD系统决策控制框架，由于只是高速公路自动驾驶，所以决策控制系统要简单很多。简单分为三个部分，即车道选择、超车选择和换道选择。其中超车选择主要是自车速度、前车速度、临近车道车辆状况决定，遇到长时间速度低于自车速度的车辆选择超车，超车后回到车道中后减速，这说起来简单，实际需要长时间累积的数据做支撑，速度低于多少算低，超车的速度应该是多少，回到车道中间的减速度又该是多少。这些数据丰田累积了超过50年，像AEB公认的TTC时间是2.4秒就是丰田提出的。科技类公司和特斯拉之类采集的都是做深度学习的图像聚类数据，跟这些驾驶者行为数据完全不是一回事，科技类和新兴造车企业在驾驶者行为数据方面与传统欧美车企比至少有20年的差距。在换道时也要考虑驾驶者的注意力状态，注意力不集中是不做换道的。

　　丰田TAD系统的驾驶员状态监测系统，自动驾驶时驾驶员的视线如果落在那些红叉点上系统就会发出警告。丰田声称这是经过54万公里失效操作测试（Fail Operation Test ）得到的方案。即使没有开启自动驾驶，系统也会通过头部位置、口的位置、视线方向、眼球追踪监测驾驶员状态，驾驶员如果持续聊天或视线低垂，就判断为分心。HUD会显示下图，并且找寻最近的服务区然后语音播报。

　　如果检测到驾驶员分心，并且无力接管车辆时，丰田提出了EDSS系统Emergency Driving Stop System (EDSS) ，这是不折不扣的L4设计。

　　丰田EDSS系统，车辆在出现问题需要人工接手，而人工无法接手时，就启动EDSS，车辆会自动开启双闪灯，将速度降低到大约每小时50公里，搜索可以靠边停的区域，搜索到后会打开转向灯减速靠边，将速度降低到每小时10公里，然后持续减速到停止，再打开双闪灯。在没有找到合适的靠边停区域前，车辆还是保持自动驾驶状态。

　　丰田TAD的计算冗余系统，运行传统非深度学习算法的ADS处理器是主处理器，ADX运行深度学习部分，只是锦上添花。ADS使用高等级车规元件，使用传统非深度学习算法也就是可确定性可解释性的算法。ADX以深度学习算法为主，但深度学习不具备确定性和可解释性，因此永远无法通过功能安全认证，但要车辆智能化而不是仅仅保持安全，深度学习必不可少。

　　ADX系统都能胜任90%的自动驾驶任务，但不能保证100%安全，而ADS是保证安全，两套系统联用，既能有智能，也能在主系统失效后依旧正常运行自动驾驶，当然这个自动驾驶的时间段不能太长。这就是丰田与大多数厂家的不同，丰田更注重安全，有些厂家更注重智能。

　　传感器融合需要考虑数据接口和带宽，通常没有合适的芯片，丰田应该使用了一片FPGA来做，R-CAR H3只做决策。在与执行器相连的MCU部分，丰田特别使用了两个，尽管英飞凌TC397X这样的MCU具备锁步校验系统，足以达到ASIL-D的最高安全级别，但丰田还是用了两个保证比ASIL-D还高的安全等级。

　　科技企业过度依赖深度学习，而深度学习是个黑盒子，加之科技企业无法深入底盘领域，难以形成闭环，因此很容易进入高原区，典型例子就是Waymo，始终无法有效提升，Waymo做无人车已经12年，还找不到合适的商业模式，还需要不断融资。再有就是Waymo这种依赖360度激光雷达传感器的自动驾驶方案难以量产，因为无论如何，昂贵的激光雷达都不能放在车外。再有就是过分依赖深度学习导致运算系统功耗巨大，成本高昂，也难以保证可靠性和安全性。

　　AI算力的提升只是加速了深度学习卷积环节的计算速度，跟自动驾驶的安全几乎没有关联，像特斯拉那样依赖三目系统，遇到无法识别的目标算力即便再高的TOPS也是无能为力，一样会不减速撞上去。安全来自非深度学习的传统算法、计算系统冗余和底盘冗余，堆砌算力毫无意义。