新·知丨基于深度学习的DMS

前言

在“智能汽车大脑”战略下，四维图新重点聚焦在前端的算法，以及后端的应用场景和数据，旨在打通智能汽车的完整生态。在算法端，四维图新基础技术研究院的深度学习研发部在视觉及感知层面也研发出了很多成果，今天文章就说说其中之一 —— 基于深度学习的DMS

DMS背景

随着智能驾驶概念的火爆，作为安全驾驶中的重要一环，DMS正走进广大驾驶员的视野，欧盟将于2022年7月开始强制新车都必须配备DMS，国内多省出台的车辆安全监测规范开始提议对公共交通运输车辆配备DMS。

DMS是什么

说了半天DMS，先解释一下DMS究竟是什么

因为是对驾驶员进行监控，所以DMS通常是对L2-L3级别的自动驾驶系统而言，当然L4级别需要安全员的测试环节同样需要。

DMS的主要职能是对危险驾驶行为进行报警，并且对关键数据进行存储和上传云端，用以后台对驾驶安全的风险管控。

图为：DMS 作用示意

DMS 基本功能包括疲劳检测(drowsiness detection)、注意力检测(attention detection)、异常行为检测三个主要部分；扩展功能通常包括身份认证、情绪识别、视线追踪、手势识别等功能；其中异常行为检测包括抽烟、打电话、喝水、吃东西等报警内容。

图为：DMS 内容框架

而DMS对驾驶员进行监测主要通过两种方式，即接触式监测方法与非接触时监测方法

DMS接触式监测方法：主要通过脑电图、心电图，通过跟身体接触的信号来分析测试。该方法对场景要求比较严格，因而在现实中普及非常困难。

DMS非接触式监测方法：主要依赖于视觉传感器对驾驶员面部进行监测分析，该过程仅需要一颗对着驾驶员脸部的摄像头，驾驶员在无接触条件下便可以完成全部功能，实用性非常高。而深度学习的一系列算法为完成其监测分析起到了巨大作用。

DMS与深度学习

以基础功能为例，我们来看看深度学习算法都在哪里起到了作用。

首先我们可以把注意力分散，疲劳驾驶以及异常行为总结出脸部的表情和动作，并通过摄像头将驾驶员的面部表情动作进行匹配，从而判定是否要对该驾驶员进行报警。

所以上述流程中需要解决两个最关键的问题：

通俗点说就是1.在图像中能够找到脸部的区域；2. 在已检测到的人脸基础上进行人脸关键点检测和分析，并矫正人脸

咱们先说人脸检测(face detection)，在人脸识别领域，从一张图片中找到全部人脸是人脸检测的主要任务，深度学习在这个领域的贡献非常巨大，在Wider Face 和 FDDB 两个公开数据集中，深度学习算法模型霸榜，其性能远超传统的机器学习算法模型。

基础技术研究院DMS小组的小伙伴们，研发了符合DMS场景的强鲁棒性的人脸区域检测模型Light-FaceDetector，该模型可以在驾驶员单人脸场景下，检测准确度接近100%，并且在骁龙835平台纯ARM CPU下推理速度达到117FPS。

Light-FaceDetector网络参照多尺度级联的方法，构建了CNN特征提取、多尺度增强的多任务网络，该网络可以同时完成人脸分类任务、边界框回归损失及回归5点关键点的任务。

在人脸对齐方面，DLFLD98是另外一个由研究院小伙伴复现的用以精准人脸对齐的深度学习模型，该模型的作用在于对已经检测出的人脸区域进行98个点的人脸关键点检测，并对人脸进行对齐矫正。该模型在骁龙835平台纯ARM CPU下完成人脸关键点精准定位的同时，前向推理速度最快可达125FPS。

DLFLD98主要参考Wing Loss、Mobilenet V2网络设计，构建了主干网络提取特征并完成关键点回归的任务，辅助网络估计头部姿态用以调整模型训练过程中头部姿态数据不均衡的问题。