智能座舱解决方案及发展趋势解析-自行科技关艳峰博士

佐思汽研 佐思汽车研究 2022-01-28 11:37
近年来,自动驾驶技术发展日新月异,而从事自动驾驶研发的公司和车厂也都在研究智能座舱,根本原因在于智能座舱本身就是自动驾驶的重要组成部分,自动驾驶的发展也要求并且极大促进了智能座舱的发展。  

2021年12月中下旬,由佐思汽研主办的首届2021佐思智能汽车年会暨金智奖颁奖典礼在苏州完美落幕。年会特邀深圳市自行科技有限公司总经理关艳峰博士做《座舱演进与智能座舱解决方案》主题演讲,主要分享了汽车座舱发展背景、座舱发展的技术挑战、座舱感知解决方案以及座舱发展趋势预测等方面的内容。

图片


关艳峰博士预见:智能座舱将给未来的智能汽车带来巨大变化,在安全约束的前提之下,AI等感知技术的快速迭代与进步将会成为有力的驱动力,推动座舱进入隐性感知、拟人化感知时代,并向隐性交互和拟人化交互演进。
 
演讲内容具体如下:

 

汽车座舱发展背景:智能化和个性化双轮驱动


首先,讨论汽车座舱发展背景不可避免要谈到以智能和网联为基础的智能网联汽车发展的趋势和目的,而智能网联汽车发展的目的之一是显著提升驾乘安全及出行效率,同时为驾乘人员提供前所未有的舒适体验。
 
从发展路径角度看,国内外都给出了智能网联汽车的发展方向,以及渐进式的阶段定义。中国的智能网联汽车标准体系也在快速建设中,其中辅助驾驶和自动驾驶发展速度较快,而智能座舱的相关标准比较缺乏,发展较慢。
 
从各国政策角度看,2021年中国的DMS(驾驶员监控系统)国标已经报批国家相关部委审批,预计近期就会发布。2022年欧盟的DDAW(驾驶员监测法规)及2024年的ADDW(高级驾驶员监测法规)都将发布,并在新车注册登记时同步执行。

相对于欧盟,中国的DMS标准起草制定经历了2017-2021年四年时间,在驾驶员监测的功能和评测方法等相关标准制定细节方面,中国比欧盟等进程更快、更深入。而欧盟在标准执行和落地方面的力度更大。同时备受关注的是座舱内儿童在位监测,美国、日本、欧盟等有关组织也在推动相应标准出台。

标准制定过程和具体应用范围可供相关单位参考。


图片


从市场发展角度看,汽车座舱从传统座舱发展到当今主流的信息座舱,正“摆脱”以信息呈现为主的时代,逐渐进入信息智能获取、智能呈现和智能交互的智能座舱时代。然而,近几年智能座舱的概念和落地项目并没有很多质的变化,主要原因是智能座舱在人机共驾状态下的发展刚刚起步,其对座舱内感知技术和技术应用的性能要求在快速提升,这需要给技术发展和产业应用留出足够的时间来成熟和完善,智能座舱演变将会是一个较长的长尾过程。


图片


放眼未来,在面向以机驾为主的自动驾驶阶段,座舱会向什么方向演进?可能的关键词是:拟人化空间和自学习方式


具体而言,在面向未来以机驾为主的高度自动驾驶阶段,在驾驶员从驾驶任务解放出来以后,驾驶员的时间会投向哪里?驾乘人员会有什么新的诉求?在智能座舱时代,OEM快速满足驾乘人员的服务提升基本是车辆改款或者通过OTA升级来实现。


但是,发展到真正无人驾驶阶段,座舱是否可以进行无需后台干预的部分自我学习来满足极度个性化需求,从而逐渐出现真正的“Autobots”呢?我想,这都需要业界同仁共同探讨和探索。


总结一下,究竟是什么在驱动座舱的演变过程?从市场看,是客户和应用在驱动座舱演进,个人认为是座舱接收信息、处理信息以及呈现信息的方式变化驱动着座舱的演变,座舱要能够合理应对并快速处理“涌进”座舱的巨量信息。相比传统汽车,智能汽车需要处理人、车、环境及网络等诸多新的信息类别和信息组合;同时在信息提取和处理方式上也发生了深刻变化,需要深度的信息提取处理以及与智能感知的融合;呈现方式上更具隐秘性,也就是拟人化交互和无感交互,这也是驾乘服务的最高目标。

图片


座舱感知的技术挑战:功能技术边界


总体而言,智能座舱的相关智能应用涉及的边界比较宽。


从功能边界看,座舱应用会涉及特征识别、状态识别、行为识别、及情感识别等安全和非安全类功能。


从区域边界看,座舱应用会涉及舱内、舱外、主副驾及后排等多个区域同时或非同时的工作。


从技术边界看,这些涵盖各种功能和区域边界的应用需要通过图像、雷达、语音和其它车身等传感技术实现,需要更智能的感知技术、更底层的跨域数据互通和多级的数据处理的支撑,才能保证应用的精准性、实时性、同步性和相互融合的合理性。


图片


此外,要保障和提升智能座舱的应用效果,还面临诸如算力、光照、角度、遮挡、假体和感知融合等难题的限制,这也是智能座舱领域目前投入很高但真正能给客户带来好的体验产品并不多的主要原因。视觉、语音和雷达等多传感器技术的介入,对智能座舱的发展起到很好的推进作用,自行科技经多年积累,形成了相对完善的智能化综合解决方案。

 

座舱感知解决方案:立足现在,感知未来


1.控制器形态和方案。舱内智能化解决方案基本上可分为独立控制器和集成域控制器两类。独立控制器适用于快速满足法规、量产和极致的性能追求,尤其在有功能安全和预期功能安全要求的应用场景;而域控制器更适用于高度集成,多域交互和成本共享要求高的应用场景,但开发成本和难度更高。此外,国内外在舱内智能演进方面存在一些差异,国内在OMS为代表的智能娱乐感知方面发展较快,更倾向于域控制器形态,而欧洲的标准强制主要聚焦于DMS的性能和功能安全等方面,目前较多选择独立控制器形态。


总体上,两类控制器都是在集成度、功能安全、成本、功能灵活性等四方面存在差异和折衷。


图片


2.统一感知控制器组件:对于域控级SoC和非域控级SoC,都可以采用统一组件架构,都需要包含最基本的电源管理、数据交换、感知实现、诊断升级等功能,以及图像传感器的输入输出和HMI交互,所有这些算力运算、底层感知的呈现都是为HMI服务的,同时也为功能安全或驾驶安全服务,需要与娱乐域和驾驶域互通,具有比较高的共同属性。


图片


3、统一软件架构:舱内智能化无论基于何种类型和算力的SoC、操作系统、底层中间件,通过算力实现AI感知,到顶层的基本功能模块,都是任何形态的控制器必须解决的基本问题。自行科技针对舱内智能化的功能边界和智能感知所需的多级数据结构将软件架构模块化,通过传感器采集Raw Data,数据进入底层BSP,再进入AI模块,得到底层感知的结构数据,抽象出基本功能底层后,再形成部分底层功能和业务功能,业务功能和安全域、娱乐域、网络按照特定协议形成跨域或域内互通,从而形成相对标准的智能座舱解决方案的软件架构和基本流程。


图片


4、三大关键技术在基本软硬件框架下,座舱智能化还依赖于几个关键问题和方案的不断改进:包括专业图像(预)处理+高效AI运算+多传感器融合。

图片


以图像处理为例,面对非常复杂的光线挑战,如何应对并保障各种光线下图像的稳定和AI可辨识,避免带来算力和成本的巨大堆积,需要对自然光做光路设计,不同波长的单波光线在成像能力有明显差别,如何滤除杂光,去掉光干扰,形成相对稳定的成像条件,也需要诸多试验不断改进提升光路传输条件,同时做成像后的图像处理以提升AI所需的信噪比。又如2D图像与3D之间的转换问题,不管是对安全类头部姿态的准确估计,还是开车门或者业务的解锁方面,人脸识别功能的可靠性、稳定性也需要有比较多的基本图像预处理技术,来解决AI性能及AI算力的平衡问题。
 
借助AI解决泛场景问题:在确定的平衡点上,我们需要借助AI解决感知问题和泛场景挑战问题。如果选择在不含AI加速器的SoC上开发(例如FPGA),潜在的资源利用效率会比较高,对新算法的适应自由度比较高,但开发周期比较长,开发难度比较大和自研工具链。在FPGA方面自行科技也研发了多年,积累了完善的FPGA工具链技术,之前需开发2-3年的前装项目,现仅需9-15个月,大大提高了开发效率。反之,如果使用集成AI Core的SoC,SoC的AI Core与最新模型的结合一定较为滞后,但是开发相对容易,而资源利用效率取决于芯片供应商的工具链效率、成熟度和支持力度,越是大型芯片厂商,开发门槛越高。所以,如何构建工具链支持复杂的开发过程、加快开发速度,同时兼具稳定性、高质量和控制成本是非常关键的问题,这也是汽车AI类应用的焦点。


图片


谈到AI问题,通常都会考虑数据的有效性和真实性问题,AI的关键在于真实数据驱动,驱动算法的快速有效迭代和测试验证,尤其是面对准确感知、可靠感知的最后一公里问题。比如,宝马和丰田都非常关注数据问题,并对姿态和状态估计精度要求很高。这些估计精度对于某些品类的产品非常重要,例如HUD、CMS以及L2+系统安全等都需要高可靠性和高准确性的视线跟踪,不仅仅是安全问题,更多是因为能否保障此类产品具备基本的客户可用性问题。自行科技在真实数据获取方面也做了大量基础工作,借助商业运营数据共享及特定数据构造来保障数据的有效性问题。
 
最后,舱内多传感器融合:关于传感器的感知融合问题,融合是一个趋势,但融合模型方法及融合效果是关键。自行科技提供以视觉为核心的舱内视觉智能化综合解决方案,对于听觉、触觉等其它的生物感知,我们曾经与科大讯飞合作开发语音融合,也在与多家毫米波雷达公司交流毫米波的技术融合问题,制定解决方案。


图片


融合模型建立在不同传感器的各自流程基础之上,需要根据各自流程之间的耦合逻辑建立耦合策略。融合效果主要取决于融合数据本身的质量和数据同步问题。数据同步是一个具象化问题,涉及到各自传感器的系统特性、业务模型中每一个模块处理的具体Pattern,两个传感器的Pattern是不是很好地同步是传感器融合的关键问题。


图片


此外,舱内感知最早基于机电式传感技术,尤其在德系、美系车上很早就通过车身各类压力、速度等传感器间接监测舱内驾驶情况,现在也依然存在,市场上比较主流的基于图像方案的座舱DMS、OMS也可以引入车身运动数据,在人车共驾状态下,共同监测人与车的状态反应,共同决定某一个服务或决策问题。


总体来讲,舱内传感器的融合将会像舱外一样,未来将成为常态。


未来发展预测:拟人化感知、拟人化交互


2016-2020年,自行科技和诸多公司建立了深入的量产合作关系,逐渐形成了完整的座舱智能化解决方案,包括子系统及系统级服务。




从产品细节来看,智能化会朝着精细感知方向发展:例如:对手势关节每个骨架、每个节点的动态实时识别,以及眼睑开合度的阶梯量化等等,从而支持各种复杂的人机交互和智能感知服务。


图片


可以预见,在未来的智能汽车中智能座舱将会发生巨大变化,在安全约束的前提之下,AI等感知技术的快速进步和迭代将会成为有力的驱动力,推动座舱进入隐形感知、拟人化感知的时代,会向隐性交互和拟人化的交互演进。最终,ADAS、Self-Driving、AI、IoT和V2X等大量新兴技术将会融入智能汽车,实现整车的信息化、安全化、智能化、舒适化;未来汽车将是驾乘人员的一个安全、智能、个性的移动空间;智能座舱与智能驾驶也将呈现双螺旋上升式的发展,共同引领行业的发展。

自行科技

自行科技专注于智能驾驶和智能交通领域,致力于提供专业的汽车视觉、视频类技术、模组和系统服务。除了提供智能座舱相关解决方案,也提供自动驾驶相关解决方案,例如,Tesla式的基于Transformer架构的纯视觉的L2+解决方案。


更多佐思报告


报告订购及合作咨询联系人:  

佐研君:18600021096(同微信)

符先生:15810027571(同微信)

赵先生:18702148304(同微信)


佐思 2022年研究报告撰写计划

智能网联汽车产业链全景图(2021年12月版)


主机厂自动驾驶汽车视觉(上)高精度地图
商用车自动驾驶汽车视觉(下)高精度定位
低速自动驾驶汽车仿真(上)OEM信息安全
ADAS与自动驾驶Tier1 汽车仿真(下)汽车网关
汽车与域控制器毫米波雷达APA与AVP
域控制器排名分析车用激光雷达驾驶员监测
激光和毫米波雷达排名车用超声波雷达红外夜视
E/E架构 Radar拆解车载语音
汽车分时租赁充电基础设施人机交互
共享出行及自动驾驶 汽车电机控制器L4自动驾驶
EV热管理系统混合动力报告L2自动驾驶
汽车功率电子汽车PCB研究燃料电池
无线通讯模组汽车IGBT汽车OS研究
汽车5G汽车线束线控底盘
合资品牌车联网V2X和车路协同转向系统
自主品牌车联网路侧智能感知模块化报告
自主品牌ADAS研究商用车车联网商用车ADAS
汽车多模态交互汽车智能座舱车载显示
Tier1智能座舱(上)座舱多屏与联屏智能后视镜
Tier1智能座舱(下)智能座舱设计汽车照明
座舱SOC汽车VCU研究汽车座椅
汽车数字钥匙TSP厂商及产品HUD行业研究
汽车云服务平台

OTA研究

汽车MCU研究
AUTOSAR研究智慧停车研究传感器芯片
软件定义汽车Waymo智能网联布局ADAS/AD主控芯片
T-Box市场研究自动驾驶法规ADAS数据年报
T-Box排名分析智能网联和自动驾驶基地汽车镁合金压铸
乘用车摄像头季报智能汽车个性化飞行汽车
专用车自动驾驶农机自动驾驶矿山自动驾驶
港口自动驾驶自动驾驶重卡

无人接驳车

仪表和中控显示
车载DMS
合资品牌ADAS
800V高压平台
本土品牌环视汽车无线模组


佐思研究月报

 ADAS/智能汽车月报 | 汽车座舱电子月报 | 汽车视觉和汽车雷达月报 | 电池、电机、电控月报 | 车载信息系统月报 | 乘用车ACC数据月报 | 前视数据月报 | HUD月报 | AEB月报 | APA数据月报 | LKS数据月报 | 前雷达数据月报