佐思汽车研究佐思汽研致力于汽车、TMT、新能源(特别是新能源汽车、智能汽车、车联网)领域的行业研究、专项调研、战略规划、投资咨询、数据分析以及推广传播。
671篇原创内容
公众号
▲传统Tier 1 采用的DMS/OMS方案
▲肇观电子NE-V163A RGBIR适配的DMS/OMS方案
DMS和OMS应用均需要在智能芯片上高效处理RGB摄像头的信息和IR摄像头的信息，这需要车规智能芯片平台具备强大的AI计算能力、图像处理能力、对外设的控制能力、丰富的接口、成熟的软件栈。目前市面上绝大多数车企系统采用分离的多颗芯片叠加的解决方案，系统复杂度高、性能受限、功耗高、成本高。市场亟需新型的、高性能、高集成度的芯片方案。
肇观电子的NE-V163A RGBIR芯片方案的显著优势是：通过单个图像传感器和单个AI SoC芯片可以同时捕捉和高效处理可见光和红外两种图像信息，经过AI SoC芯片内置的ISP处理后，得到高质量的可见光和红外图像，分别进入对应逻辑单元同时使用，避免对前端车载链路传输的不同的视频流的时分复用、间断切换等复杂操作，并且客户可以在单个AI SoC芯片上面同时部署多种不同算法，实现总体性能提升、功耗降低、成本降低、系统复杂度降低。
▲肇观电子车规AI芯片NE-V163A
该智能驾舱芯片方案结合了主流的RGBIR CMOS图像传感器，以及能同时处理传感器所捕获的可见光（RGB）和红外（IR）图像的肇观电子主控车规AI芯片NE-V163A。加上主控芯片AI和CV的异构算力的部署能力，客户，例如Tier 1厂商，可以更容易部署自己的多种人工智能算法，进行二次开发，以适用于智能座舱中驾驶员状态、乘客干扰司机状态、车内遗留儿童、车内遗留物品等多种应用。
▲肇观电子车规AI芯片NE-V163A通过AEC-Q100车规级认证
据悉，肇观电子NE-V163A智能车规芯片是于2020年下半年通过AEC-Q100 Grade2车规认证的，在经过了-40°C到+105°C多次迭代的数千小时的测试环境下，芯片的可靠性和寿命都经受住了考验。这颗芯片集成了高质量ISP处理能力、高性能神经网络计算单元、高精度3D深度和几何计算引擎、高性能DSP；以及支持多路摄像头输入、USB3.0、车载以太网、多路CAN等接口，便于系统集成开发。为了捕获RGB和IR图像，目前市面上绝大多数车企系统采用分离的多颗芯片叠加的解决方案；即在前端采用独立的ISP芯片处理RGBIR CMOS 图像传感器的输出，在同一时刻只能获得RGB（彩色）或者IR（黑白）图像，将图像传到主控SoC，然后通过SoC控制前端独立芯片做动态切换的方式，分别传输并提取出RGB和IR信息，并生成对应的RGB图和IR图。采用这种方式的客户系统总体成本高，部署复杂，功耗高，性能受限。
▲市面上常见的智能驾舱方案
▲肇观电子NE-V163A 智能驾舱芯片方案
而肇观电子的芯片方案可在SoC芯片端直接处理和获得高质量的RGB和IR两路图像, 且集成度远远高于往常，省掉前端独立ISP芯片的成本，并且摆脱了ISP芯片不能同时输出双视频流的限制，在性能、系统复杂度、功耗、成本方面得到优化；并且单芯片可以同时支持多路摄像头输入和处理，一颗芯片就可以同时支持多路摄像头的DMS和OMS应用，相对于传统方案，成本和功耗和系统复杂度方面都有明显优势。整个DMS和OMS系统的控制时序和逻辑只在SoC芯片端上完成，减少摄像头前端和后端匹配的困难，提升了性能，并且可大大降低前端摄像头模组的功耗。由于所有软件功能都在SoC的SDK上完成，不涉及对前端摄像头模组太复杂的操作，例如切换、升级等，大大简化了整体复杂度，提高了系统可靠性。
▲传统智能驾舱方案得到的戴墨镜睁眼/闭眼图，眼部细节不清晰
▲NE-V163A 智能驾舱芯片方案得到的戴墨镜睁眼/闭眼图，眼部细节清晰
此外，与传统智能驾舱方案相比，用NE-V163A可以在同一时间很好地分离RGB和IR视频流，并得到高质量的IR视频流的成像效果。比方说，在烈日下开车，大多数司机都是佩戴墨镜的，传统的方案无法透过墨镜看清楚司机是否疲劳驾驶，而采用肇观电子的方案，则可以清晰地透过墨镜看出佩戴者是否有长期闭眼的现象，大大提升了疲劳检测算法的准确度，进而提高了驾驶安全性。智能驾舱作为未来车载领域最重要的应用场景之一，已成为继 “人与手机” 之后，下一个可与人交互的无限畅想的平台。出行对于汽车，如同打电话对于手机，而车舱内的智能化、娱乐化、安全化已经成为了汽车下一个颠覆式的创新点。据了解，在智能驾舱领域，量产的车厂已经越来越多，自2018年开始，上汽、比亚迪、北汽、红旗、长安等国产车厂均在采用RGB+IR方案及推进落地，而肇观电子推出的智能驾舱AI芯片方案相较于业界方案，在集成度、性能、功耗、成本方面优势明显。