“这也是业内首次在智能驾驶域控平台上基于AI-Engine实现产品化的可商用、可落地的双目立体视觉解决方案。”
中科慧眼与华为深入合作，实现基于MDC的双目路面预瞄系统
近年来智能汽车的发展随着智能座舱、智能驾驶的迅速普及，智能底盘成为各大车企新的业务增长点。智能底盘通过各类观瞄感知零部件结合线控悬挂底盘，可以实现车体在垂直方向上的自适应控制，显著提高智能驾驶车辆的行驶平顺性与通过性。
中科慧眼基于双目立体视觉的路面预瞄系统，可以实现路面状态3D重建感知、车轮轨迹高程曲线预测，以及路面类型检测，预先引导车辆的半主动悬架或主动悬架系统实时独立调节各个车轮减震器阻尼的软硬系数、车身的整体高低、以及车辆行驶的模式。基于双目立体视觉的路面预瞄技术系统是实现“魔毯悬挂系统”的关键感知模块与融合决策模块。
图1.路面预瞄系统与车轮轨迹高程曲线预测示意图
在车载域控制器问世之前，每台汽车搭载的电子控制器达几十个以上，它们之间由总线相连，各自完成独立的信号处理功能，并通过预设好的通信协议交换信息。为了控制总线长度、降低电子控制器数量、降低整车制造成本提高信号处理效率，多核高性能的控制器将逐渐进入车载控制系统，因此大型车载域控制器的计算架构将成为未来智能汽车的趋势。
华为MDC（Mobile Data Center，MDC）针对自动驾驶对计算平台的需求，集成高性能SoC，搭载智能驾驶操作系统AOS、VOS及中间件MDC Core，通过底层的软硬件一体化调优，在时间同步、传感器数据精确处理、多节点实时通信、最小化底噪、低功耗管理、快速安全启动等方面领先业界，具有“高性能、高安全、高可靠、高能效、低时延、开放性”独特优势：
高性能：搭载昇腾SoC（集成ISP/NPU/CPU等异构计算模块），算力覆盖48~400 TOPS，可满足L2+~L4级别的自动驾驶算力所需。
高安全：支持系统级ASIL D功能安全，AOS及VOS满足CC EAL5+网络安全要求，支持R-Lock高安全冗余架构。
高可靠：支持-40°C~85°C环境温度，支持IP6K7防尘防水、防凝露、EMC Class 3，多重抗振设计。
高能效：搭载高能效昇腾SoC，整机智能功耗管理，超低待机功耗，配套高效散热技术，整机能效比可达2 TOPS/W。
低时延：基于芯片+OS的底层软硬件一体化优化，用户态分布式OS内核，内核调度时延低于10us，平台级时延低至40ms。
开放性：聚焦于智能驾驶计算平台，硬件接口标准化、软件接口API化，对外开放底层OS、AI、AUTOSAR等服务能力，通过与传感器、执行器、应用软件伙伴密切合作，共同打造不同场景的智能驾驶解决方案。
华为MDC智能驾驶计算平台，具备组件服务化、接口标准化、开发工具化的特性，配套好用易用的工具链，基于此平台可快速开发、调测、运行上层自动驾驶算法与功能应用。
随着智能底盘对高性能路面预瞄系统的需求提升，以及车载域控制器的快速发展，市场上产生了对基于中央域控制方案的双目路面预瞄系统的需求。其目的在于尽量复用既有车载相机成像信号与中央域控制算力，在域控制架构上低成本地实现双目路面预瞄系统。
目前，大部分车载域控制器的架构中缺少立体视觉硬件处理模块。如何在尽量不增加整车硬件配置的前提下，实现基于双目的路面预瞄系统，这其中将双目立体校准与立体匹配算法部署在域控制器现有的计算模块中成为关键点。
针对于以上需求，中科慧眼和华为MDC密切合作，共同推进中科慧眼的双目路面预瞄系统在华为MDC上的方案落地，为各OEM提供更高性价比，更高集成化的智能底盘预瞄与控制解决方案。
这也是业内首次在智能驾驶域控平台上基于AI-Engine实现产品化的可商用、可落地的双目立体视觉解决方案。
路瞄系统的感知模块主要包含三部分，双目成像模块、立体匹配模块以及功能实现模块。
华为MDC域控制中的SOC(片上系统)中主要包含三部分计算资源：
1、ISP模块：实现摄像头传感器的成像信号处理；
2、AI模块：实现感知融合的神经网络算法处理，包含cube、vector、scalar三种计算资源；
3、CPU模块：适合通用计算的感知融合、规划、决策、控制等处理。
4.1 双目成像模块
双目成像模块主要包含ISP调试、相机标定、图像Remap。这三个模块决定了双目相机能够获取合格的左右模组成像。
图2.中科慧眼&华为MDC双目路面预瞄系统双目成像模块示意图
将双目相机的标定参数输入到AI Core中，只利用了其中少量的Vector计算资源进行图像矫正，复用MDC底层的AI算子，避免了复杂的算子部署适配及开发工作。在AI Core中实现图像的矫正，也节省了不同芯片之间的带宽消耗。
4.2 立体匹配模块
立体匹配模块主要包含特征匹配、代价聚合、视差计算三部分，这三部分涉及到大量的并行计算，对硬件性能以及算法的运行效率有很高的要求。
图3.中科慧眼&华为MDC双目路面预瞄系统立体匹配模块示意图
中科慧眼技术团队通过与华为MDC专家团队的紧密合作，根据AI-Engine的计算特性，创新性地设计了适配的立体匹配方案，将大量的并行运算通过MDC深度学习底层AI算子实现，为部署在MDC域控的AI Core上提供了算法及部署方案。
经过双方的联合研发，在只使用其中少量的Vector计算资源的前提下，就实现了基于华为MDC的25FPS以上的稠密高精度双目匹配视差输出。该方案，不仅能够节省立体视觉方案落地的硬件成本，而且大大降低了立体视觉方案在AI平台上的移植与升级难度，可快速投入商用。
4.3 功能实现模块
功能实现模块主要包含融合感知、功能开发两部分。立体视觉方案可以赋予计算系统前融合“点点对齐”的高精度视差信息与高质量图像信息，增加了感知结果的精确性与鲁棒性。
图4.中科慧眼&华为MDC双目路面预瞄系统功能实现模块示意图
中科慧眼借助于华为MDC强大的开发与编译调测工具，将视差和图像的多维感知信息作为输入，完成路面预瞄感知功能的部署。该融合感知模块不仅能够输出高质量的2D以及3D的综合感知信息，而且在单AI Core中的耗时还能够控制在10ms以内，有效降低了整个感知功能的延时，为快速调整底盘参数提供了更宽裕的缓冲时间。
通过华为MDC中的CPU计算能力，将根据综合的感知信息进行功能后处理并输出最终的功能感知信息。功能感知信息包含引导前后轮的独立悬架调整以及调节减震器阻尼系数的路面高程曲线，以及引导悬架高度调整、制动力与动力分配的路面状态类型等。
5.1 高精度立体匹配稠密视差效果
下图为柏油路与减速带的视差效果，以及路面三维重建的效果，视差图颜色越蓝的点，表示实际成像物体离相机系统的物理距离越远。
图5.中科慧眼&华为MDC双目路面预瞄系统视差效果与三维重建示例
5.2 路面预瞄感知效果展示
以下demo展示的是城市道路减速带的检测与三维分析效果，展示了目标的高程曲线以及空间位置。
视频1.中科慧眼&华为MDC双目路面预瞄系统城市道路示例
