佐思汽研发布《汽车智能座舱白皮书（2021年）》

佐思团队 佐思汽车研究 2021-12-10 17:25
佐思汽研发布《汽车智能座舱白皮书（2021年）》（可免费获取），主要涵盖以下内容：

01

智能座舱定义与意义


1.1 智能座舱定义

1.2 智能座舱意义


02

智能座舱典型功能与特性分析


2.1 裸眼3D仪表

2.2 大屏与多屏

2.3 智能交互

2.3.1 智能语音交互

2.3.2 基于视觉感知的智能交互

2.3.3 基于视觉+语音的多模交互

2.4 AR导航

2.5 接收音频流媒体与卫星收音

2.6 电子倒车镜

2.7 OTA

2.8 后排控制系统

2.9 HUD

2.9.1 HUD简介

2.9.2 AR-HUD简介

2.9.3 AR-HUD技术：光场型与光波导型

2.9.4 DLP AR-HUD在奔驰上的实例

2.9.5 激光AR HUD

2.9.6 AR-HUD的设计

2.10 车窗透明显示

2.11 驾驶员状态监控

2.12 音响


03

智能座舱技术体系


3.1 虚拟机

3.2 座舱显示接口技术

3.3 汽车解串行SerDes

3.4 车载以太网

3.4.1 汽车总线介绍

3.4.2 车载以太网

3.4.3 车载以太网物理层

3.4.4 车载以太网链路层标准TSN

3.4.5 车载以太网决定汽车E/E架构

3.5 座舱操作系统


04

智能座舱核心：主SoC产业格局


4.1 NXP

4.2 英伟达

4.3 高通

4.4 瑞萨

4.5 英特尔

4.6 Telechips

4.7 联发科

4.8 地平线

4.9 其他


智能座舱算力规划


对于座舱来说，决定其功能与性能的关键是主SoC的算力，衡量CPU算力的单位主要是DMIPS，DMIPS是Dhrystone Million Instructions Per Second的缩写，每秒处理的百万级机器语言指令数。基本上SoC高于20,000 DMIPS才能流畅地运行智能座舱的主要功能（AR导航或云导航、360全景、播放流媒体、AR-HUD、多操作系统虚拟机等）。GPU方面，只需要100GFLOPS的算力就可以支持3个720P屏幕。


如何定义智能座舱，SoC的算力是关键指标

图片


目前与未来常见座舱SoC算力统计

图片


智能座舱典型功能：多屏和3D仪表



随着智能驾驶技术的不断提升，人们在车内有更多的闲暇时间需要娱乐或其他活动，座舱成为人们的第二办公室、第二客厅。这将强力刺激智能座舱的普及。厂家为应对智能座舱普及，纷纷增加屏幕，加大屏幕尺寸。这也反映出智能座舱的价值，智能座舱正在成为汽车行业的焦点。

全球首部3D仪表是2019年5月发布的标致208和DS3。3D仪表的出现是因为不少车厂在液晶仪表的交互设计上还比较欠缺经验，设计自由反而导致过犹不及。比如有些产品界面设计地太过花哨，显示的信息过于丰富，用户找不到信息的重点。自此，有些用户开始怀念曾经机械仪表盘简单粗暴的日子。所以，为了将液晶仪表的「科技感」和机械仪表的「重点突出」相结合，兼顾科技与实用，就衍生出了「3D 仪表盘」。


标致208顶配的3D仪表

图片


奔驰EQS座舱

图片


吉普Grand Wagoneer座舱

图片


本田e座舱也搭载多屏

图片


智能座舱典型功能：智能交互


智能汽车传感器不断提升的同时，大算力芯片迭代速度也在加快，AI技术核心算法模型的使用，改变了传统单模交互方式，图像视觉感知、人脸识别、视线追踪、手势识别、情绪识别、语音感知的多维度感知结果同AI神经网络技术进行的融合，将汽车座舱从被动交互转变到主动交互模式，高度场景化的决策推荐模式，极大提升了人机交互的体验。


理想ONE车内四麦克风位置

图片


多模语音的融合方案分为前融合和后融合。前融合即以一个模型对多种感知数据进行融合处理并输出结果；后融合则是先对不同来源数据分别进行感知处理再对其结果进行融合计算。


地平线多模语音交互

图片


智能座舱典型功能：AR导航


AR导航是顶级豪华车的功能，目前奔驰S级和电动车都配备AR导航，奔驰的A级也可以选配。凯迪拉克在2022年上市的凯雷德、宝马在2022年发售的iX旗舰电动车、现代Genesis的第一辆电动车GV80上配备了AR导航。


凯雷德AR导航

图片

AR导航车辆定位与姿态是难点

图片


智能座舱典型功能：电子倒车镜


电子倒车镜（侧后视镜）Camera Monitor System（CMS）。电子倒车镜即用电子方式取代传统玻璃镜面倒车镜，其有很多个名字，有叫电子侧视镜、虚拟倒车镜、电子倒车镜、电子取代镜等，国际标准化组织（ISO）称其为摄像头监控系统，即Camera Monitor System。


雷克萨斯ES350选配CMS

图片


雷克萨斯ES350选配CMS夜晚表现

图片


智能座舱典型功能：OTA


OTA即空中升级，一般分FOTA和SOTA。前者为固件OTA难度远高于后者软件OTA，前者可简单看成ECU功能或控制策略的升级，后者主要是应用软件的升级，如导航地图等。


OTA生态结构

图片


智能座舱典型功能：后排控制系统


在豪华车如奔驰S、宝马7系和奥迪A8的后排，可选三座与两座，两座的中央扶手位置有一块类似iPad的小设备，称之为后排遥控器，也可以取出，用于后排乘客遥控座椅、空调和屏幕。


后排控制系统相当复杂

图片


智能座舱典型功能：AR-HUD


大众ID3/4与最近的奥迪Q4均采用了AR-HUD，AR-HUD成为汽车电子的热门话题，几乎所有新车都有规划使用AR-HUD。

按照图像生成单元（即PGU）常见的HUD分为TFT、DLP和激光三大类，也有冷门的很少人提及的LCOS。按光源可分为LED和激光两大类，按投影成像技术可分为多片、全息和光场三大类。所谓AR-HUD实际就是增加了AR图像层（也有把层说成焦段），在常规车辆信息如速度和能耗外增加了导航与ADAS信息。


多层图像HUD设计

图片


奥迪AR-HUD

图片


奔驰DLP AR-HUD

图片


松下激光全息AR-HUD

图片


车窗投影很酷炫

图片


智能座舱典型功能：驾驶员状态监控


通常手势控制和驾驶员状态监控（DMS）可以共用一套硬件方案实现，这就是深度相机。未来两者合二为一是大势所趋。此外, DMS还可以增加两个功能，一个是FaceID，还有一个是车内人员存在监测（Occupant Detection）。

凯迪拉克CT6 2D平面相机：ToF DMS是未来趋势

图片


智能座舱典型功能：音响


全球主要汽车品牌选配的音响

图片


智能座舱技术体系：虚拟机Hypervisor


虚拟机Hypervisor，有时也称为VMM（Virtual Machine Monitor），这个概念来自PC界，随着座舱处理器性能越发强悍，座舱屏幕越来越多，座舱电子涵盖的功能不断丰富，虚拟机已经成为座舱电子不可或缺的软件系统。ARM V8-A架构芯片的大量出现也使得虚拟化很容易实现，多核高性能处理器不用虚拟机也难发挥全部性能，虚拟机已经是高性能多核处理器的标配。


最大限度发挥硬件潜力：虚拟机

图片


智能座舱技术体系：显示接口技术


汽车显示屏接口目前主要是LVDS，未来追求更高分辨率及更大尺寸，可能会采用eDP或V-By-One，此外HUD一般分辨率比较低，且是模拟显示，一般是RGB接口。


汽车显示屏演进趋势

图片


智能座舱技术体系：汽车解串行SerDes


在车载领域，传输线要求一根电缆最好，通常都是一根同轴电缆，这样既降低成本、又提高可靠性、又降低EMI电磁干扰，这就必须采用串行形式，但有些数据格式是并行的如MIPI，这就需要解串行的形式，在传输前将数据格式整形为串行，在接收后将数据格式转换为并行，这就是SerDes。


解串行技术含量不低

图片


美信垄断摄像头解串行

图片


智能座舱技术体系：车载以太网

汽车ECU之间，ECU与传感器之间执行器之间互相通信需要特定的通讯协议和通信网络，这种通信网络称之为总线网络。车载总线常见的有LIN、CAN、MOST、CAN-FD、以太（Ethernet）、Flexray、PSI5。

车身与舒适部分多用LIN和CAN总线，底盘和ADAS部分多用Flexray，动力传动部分多用高速CAN或CAN-FD，被动安全部分多用PSI5，信息娱乐部分大众和奥迪多用MOST，这是一种环形光纤网络，新车型已经放弃了MOST技术。


车载以太网OSI模型

图片


物理层被四大厂垄断

图片


车载以太网协议栈标准TSN

图片


车载以太网是Zonal软件定义汽车的关键

图片


智能座舱技术体系：座舱操作系统


车载软件平台自下而上可大致划分为硬件平台、系统软件 （硬件抽象层+OS 内核+） 中间件） 、功能软件 （库组件+ 中间件） 和应用算法软件等四个部分。
内核近似包含轮子以及电池系统的底盘，操作系统就是套上外壳加上椅子以及内饰后的整体成品。内核仅仅是操作系统的一部分，是真正与硬件交互的那部分软件，与硬件交互包括读写硬盘、读写网盘、读写内存以及任何连接到系统中的硬件。除了与硬件交互外，内核还负责分配资源，分配什么资源呢？所谓资源就是硬件，比如CPU时间、内存、I/O等等，这些都是资源。


2021-2026年新车座舱操作系统预测

图片


智能座舱主SoC产业格局


地平线是国内唯一一家车规级AI芯片大规模前装量产的企业，以软硬结合为底层技术理念。在智能驾驶领域，地平线不但能提供高效能边缘 AI 芯片，还可以结合丰富算法IP、开放工具链等在内的全面赋能服务，加速合作伙伴智能驾驶的应用落地。


地平线J3

图片


搭载地平线征程系列芯片的部分车型

图片


《汽车智能座舱白皮书（2021年）》图表目录包括：


图表 1 2020年顶级座舱算力

图表 2 智能座舱典型功能

图表 3 主要厂家车载SOC

图表 4 目前与未来常见座舱SoC算力统计

图表 5 智能座舱配置用户需求意向及新车渗透率

图表 6 座舱智能配置对购车决策的影响

图表 7 购买新车时，功能配置影响购买意愿情况

图表 8 2019-2025年新上市车型平均屏幕数量

图表 9 2019-2025年汽车中控尺寸市场份额

图表 10 标致208顶配的3D仪表

图表 11 大陆为GV80打造的3D仪表

图表 12 奔驰S级仪表

图表 13 博世3D仪表（1）

图表 14 博世3D仪表（2）

图表 15 宝马i4座舱

图表 16 奔驰新S级的座舱

图表 17 奔驰S级座舱各显示屏主要参数

图表 18 奔驰EQS座舱

图表 19 奔驰EQS的超长大屏

图表 20 新一代凯迪拉克Escalade座舱

图表 21 新一代凯迪拉克Escalade座舱显示屏

图表 22 新一代凯迪拉克Escalade座舱显示屏俯视图

图表 23 新一代凯迪拉克Escalade座舱显示屏结构

图表 24 新一代凯迪拉克Escalade座舱显示屏结构

图表 25 LUCID AIR座舱

图表 26 LUCID AIR座舱中央控制屏

图表 27 凯迪拉克电动车Lyriq的座舱

图表 28 吉普Grand Wagoneer座舱

图表 29 吉普Grand Wagoneer座舱中控屏

图表 30 吉普Grand Wagoneer座舱全液晶仪表屏

图表 31 吉普Grand Wagoneer座舱Comfort Display

图表 32 吉普Grand Wagoneer的后座娱乐显示屏

图表 33 吉普Grand Wagoneer的副驾驶屏

图表 34 本田e

图表 35 本田e座舱

图表 36 本田e中控与副驾驶屏无缝衔接

图表 37 本田e的副驾屏打游戏

图表 38 长安福特EVOS的座舱显示屏

图表 39 长安福特EVOS中控与副驾驶两块屏可以合为一块屏

图表 40 智能交互感知算法分类

图表 41美国主要汽车品牌月度车载语音助手使用率

图表 42 美国车载语音助手主要应用场景

图表 43 美国汽车消费者对车载语音助手需求度

图表 44 常见NLU的处理过程

图表 45 车载语音识别发展趋势

图表 46 Cerence SSE

图表 47 车载语音助手深度学习的四个环节

图表 48 Sliced RNN

图表 49 车载语音识别硬件框架

图表 50 Cerence软件协议栈的主要内容

图表 51 智能座舱视觉感知应用

图表 52 长安UNI-K中控屏

图表 53 理想ONE车内四麦克风位置

图表 54 地平线多音区分布式麦克风阵列示例

图表 55 多模语音算法技术案例

图表 56 多模语音算法技术框架

图表 57 多模识别算法框架

图表 58 多模语音的前融合与后融合

图表 59 凯雷德AR导航

图表 60 奔驰AR导航

图表 61 AR导航的车辆姿态预测

图表 62 SiriusXM会员模式

图表 63 奥迪E-TRON的电子后视镜

图表 64 Genesis GV60的座舱

图表 65 索尼Vision-S的座舱

图表 66 奥迪e-tron在CMS系统

图表 67 雷克萨斯ES350选配CMS

图表 68 雷克萨斯ES350选配CMS夜晚表现

图表 69 典型的CMS与传统玻璃倒车镜的FOV对比

图表 70 CMS与玻璃倒车镜有效距离对比

图表 71 商用车盲区

图表 72 奔驰Actors标配了CMS系统

图表 73 德国大陆为奔驰公交车提供的CMS系统

图表 74 CMS测试流程

图表 75 ADAS加CMS系统电路架构图

图表 76 RAA278842框架图

图表 77 OTA生态结构

图表 78 OTA供应商市场占有率

图表 79 OTA的三种主要类型

图表 80 FOTA流程

图表 81 奥迪A8后排

图表 82 奥迪A8后排遥控器

图表 83 SCON2主要功能

图表 84 典型HUD的爆炸图

图表 85 HUD关键参数

图表 86 HUD最佳VID

图表 87 HUD像素与视角之间的关系

图表 88 美国人的典型瞳距图

图表 89 京瓷PGU一览

图表 90 松下AR-HUD

图表 91 多层图像HUD设计

图表 92 主要HUD各种图像层对比

图表 93 奥迪A4的AR HUD

图表 94 奥迪Q4 AR-HUD的VID距离

图表 95 双焦面HUD结构示意图

图表 96 三星电子的光场型AR-HUD示意图

图表 97 三星电子的光场型AR-HUD的 Lenticular透镜

图表 98 三星电子光场型AR-HUD透镜模型

图表 99 三星电子光场型AR-HUD的参数

图表 100 奔驰S级AR-HUD表现

图表 101 理光激光HUD示意图

图表 102 激光全息HUD

图表 103 松下在2021年CES大展上与Envisics合作的激光全息HUD

图表 104 AR-HUD基本特征

图表 105 AR-HUD 显示信号处理

图表 106 宝马的AR HUD框架图

图表 107 最高等级的AR HUD的框架图

图表 108 准确标注公交车道信息的HUD

图表 109 德州仪器车载DMD芯片路线图

图表 110 德州仪器DLP5531系统框架图

图表 111 单层图像AR HUD 与双层图像AR HUD

图表 112 德国大陆的双层图像AR HUD

图表 113 德国大陆的双层图像AR HUD部分参数

图表 114 ARHUD UI/UX设计图例

图表 115 ARHUD UI/UX设计图例

图表 116 比较常见的AR HUD 用UI

图表 117 车窗透明显示图例

图表 118 车窗透明显示充电状态

图表 119 车窗透明显示提醒儿童遗忘车内

图表 120 共享汽车车窗输入密码

图表 121 共享汽车车窗输入签名操作

图表 122 共享汽车车窗显示选择服务类型和价格

图表 123 LGD 柔性显示专利图解

图表 124 德州仪器开发的适用于车窗透明显示的短焦DLP投影机

图表 125 主要视觉方案对比

图表 126 凯迪拉克CT6 2D平面相机

图表 127 地球太阳辐射光谱

图表 128 LED VS VCSEL

图表 129 VCSEL的FOV

图表 130 宝马最新座舱电子架构

图表 131 宝马RAM系统拓扑图

图表 132 全球主要汽车品牌选配的音响

图表 133 Hypervisor 特权模式

图表 134 Exception Level

图表 135 主要Hypervisor介绍

图表 136 QNX虚拟机虚拟CPU模式

图表 137 QNX 虚拟优先级共享模式

图表 138 GPU虚拟化

图表 139 ACRN虚拟参考框架

图表 140 奇瑞星途VX座舱内饰

图表 141 ACRN在ADAS的应用

图表 142 L4Re介绍

图表 143 NOVA架构

图表 144 L4的虚拟SOCKS

图表 145 L4的虚拟CONSOLE

图表 146 COQOS虚拟系统

图表 147 基于Xen Project虚拟系统的座舱电子系统框架

图表 148 VOSYSmonitor虚拟机

图表 149 基于MT2712平台下的VOSYSmonitor虚拟机性能

图表 150 NXP i.mx8qm的虚拟机图

图表 151 德州仪器TDA4VM

图表 152 汽车显示屏演进趋势

图表 153 V-by-One®HS技术

图表 154 MIPI多媒体规范

图表 155 在CSI-2相机应用中的D-PHY和C-PHY的Lane配置

图表 156 显示有效载荷预测

图表 157 在端点设备中集成本地MIPI A-PHY，消除桥接芯片

图表 158 FPD Link串行器

图表 159 存在多种系统接口选项时解决方案

图表 160 FPD LINK IV路线图

图表 161 GMSL的典型应用

图表 162 各种传输方式的速率对比

图表 163 索尼GVIF

图表 164 汽车总线典型应用

图表 165 车载以太网OSI模型

图表 166 车载以太网PHY标准分布

图表 167 以太网系统框架图

图表 168 TSN构成

图表 169 PTP协议延迟响应机制

图表 170 以太网第二层所定义的1588规范

图表 171 汽车控制数据

图表 172 汽车控制数据级别

图表 173 IEEE802.1Qbv时间感知整形

图表 174 时间感知整形器算法

图表 175 802.1Qbu/802.3br 抢先机制

图表 176 802.1Qbu抢先机制

图表 177 TSN 与802.1CB标准

图表 178 802.1CB冗余处理通讯机制

图表 179 FRER介绍

图表 180 FRER双冗余备份

图表 181 FRER多失效冗余

图表 182 FRER失效原因分析机制

图表 183 汽车E/E架构演进路线图

图表 184 TSN为骨干网的Zonal架构

图表 185 大众 MEB架构

图表 186 Zonal架构网关

图表 187 Zonal网关的内部框架图

图表 188 CAN到以太网

图表 189 帧的分组

图表 190 汽车操作系统

图表 191 确认使用AAOS的车型汇总

图表 192 2021-2026年主要操作系统份额

图表 193 2019年1季度-2021年3季度NXP汽车业务收入统计

图表 194 i.mx6座舱Soc简介

图表 195 i.MX8座舱SoC简介

图表 196 i.MX8内部框架图

图表 197 英伟达 ORIN

图表 198 英伟达 Drive IX 全套协议栈

图表 199 英伟达IX的注意力监测，附带有语音提示

图表 200 英伟达Confidence View信心视图

图表 201 英伟达眼球追踪

图表 202 英伟达脸部识别进入车辆

图表 203 现代汽车GV60座舱内饰

图表 204 SA8155P简介

图表 205 高通第四代座舱SoC

图表 206 高通第四代座舱SoC内部框架图

图表 207 2019年1季度-2021年3季度瑞萨汽车业务收入

图表 208 瑞萨R-CAR 第三代产品列表

图表 209 瑞萨座舱SoC应用选择

图表 210 瑞萨R-CAR 第三代增强版产品

图表 211 瑞萨M3一机带3屏

图表 212 英特尔 A3900系列产品

图表 213 2013-2021年Telechips收入与净利润

图表 214 Telechips Dolphin3内部框架图

图表 215 MT8666内部框架图与整套解决方案

图表 216 联发科座舱Soc产品规划

图表 217 地平线征程3内部框架图

图表 218 搭载地平线征程系列芯片的部分车型

图表 219 基于征程3的地平线Halo3车载智能交互方案及主要交互能力


《汽车智能座舱白皮书（2021年）》可免费获取，关注“佐思汽车研究”公众号，后台回复“智能座舱白皮书”，即可免费获取白皮书全文。