自动驾驶系列（七）——聊聊人机交互中的DMS驾驶员监控系统

DMS驾驶员监控系统，是自动驾驶人机交互的一部分，即通过在汽车上安装光学摄像头和红外摄像头对驾驶员的眼部状态（眼球追踪、实现追踪等）进行实时获取，通过深度学习算法对获取的信息进行分析，判断出驾驶员的状态，实现对驾驶员的身份识别、驾驶员疲劳监测、驾驶员注意力监测以及危险驾驶行为的监测，并进行不同级别的预警。

DMS驾驶员监控系统工作原理

人在疲劳的时候会出现比较典型的面部表情或动作特征，比如增加了眨眼持续时间、减缓了眼睑运动、点头、打哈欠等。基于摄像头的驾驶员监控方案正是利用这一点，即先采集到驾驶员在不同疲劳状态下所展现的表情特征，然后将这些定性的表情特征进行量化，提取出面部特征点以及特征指标作为判定依据，再结合多次实验数据总结出基于这些参数的识别方法，最后再输入取得的状态数据进行识别和判断。

识别准确率是驾驶员监测系统最核心的指标之一。DMS驾驶员监控系统采用传统算法和深度学习，通过人脸检测与追踪、3D脸部建模等核心技术，针对打哈欠、视线偏移、闭眼、眨眼等多种状态进行识别，同时通过指令集优化、多线程优化、实时算法调度等高效的工程实现，大幅优化和提升系统响应速度。

此外，DMS驾驶员监控系统还采用近红外主动成像技术，能够适应各种光源环境，即便在夜间、逆光等情况下，也能提供高品质的图像。由于红外光特性可以穿透镜片，被遮挡的眼部信息也能够正常成像，很好地解决了驾驶员眼镜反光问题。

DMS驾驶员监控系统的难点

l DMS驾驶员监控系统以车载摄像头拍摄的视频流作为输入，成像质量也会受外界光线干扰，例如三维映射到二维的信息丢失、部分遮挡，光线变化等。

l DMS驾驶员监控系统算法面临驾驶员状态多变的考验。汽车驾驶员存在不同性别、年龄、种族，可能会穿戴帽子、口罩、眼镜等，驾驶过程中头部会出现各种姿态，这些复杂状况也会对算法构成很大考验。

l DMS驾驶员监控系统对人类驾驶员精神状态的检测精准度难以把控。 由于对于驾驶员以及成员的生理、心理状态判断行业内没有形成可控函数，因而系统无法作出准确判断。

l 数据采集标注面临极大考验。计算机视觉算法对图像质量有较高要求，车载摄像头成像质量与公开数据集图像质量差异较大，为保证算法效果，需要用车载摄像头采集真实行车场景下的数据，并对此进行精准标注，这会极大增加数据采集标注难度与成本。

景联文科技提供DMS系统数据解决方案

景联文科技作为一家专业的数据采集标注公司，提出了DMS系统数据解决方案，依托于自身丰富的数据采集标注经验，通过全场景数据库，定制化数据采集标注，一站式解决DMS相关算法的训练数据需求，可以帮助车企缩短数据采集和标注周期，有效降低算法模型训练成本，节省大量研发时间和成本。

景联文科技拥有丰富的DMS场景搭建采集经验，可以快速采集标注车辆中全场景条件下的数据，配合广大车企进行DMS相关算法的开发。提供的驾驶员行为数据集有：

《300000张DMS驾驶员行为训练集》

l 采集设备：可见光和红外双目摄像头

l 数据规模：300000张图像，300000个json文件，600000段视频，每段视频30秒左右

l 采集环境：车内

l 数据格式：图像数据格式为jpg，标注文件格式为json，视频格式为MP4

l 采集多样性：多年龄段、多时间段、多种行为（疲劳驾驶、着装规范、副驾驶及后排座椅、未系安全带、抽烟、吃喝、后挡风玻璃置物台、主驾驶防护栏、中控台、故意遮挡镜头、手持手机打电、未超载、中央扶手处、聊微信看视频）

l 采集时间：白天、傍晚和夜晚

l 标注说明：对检测对象进行框选标注，所有图片中框选的类型都需要被划分到正确的类型中，不能出现漏标注或类型标注错误的情况

l 准确率：采集数据数量达到合同要求，采集种类和场景不少于双方协议的98%；不遗漏框，不误标框，不多标框，准确率达98%以上；标注分类标签准确度达100%

除此之外，景联文科技有全职采集标注人员和专业的技术团队对采集标注项目进行把控，合作专业租车平台，对采集车辆全部上保险，被采集者本人均签署授权协议书，保证数据采集流程安全合规。

景联文科技｜AI基础数据服务｜数据采集｜数据标注｜假指纹制作｜指纹防伪算法

助力人工智能技术加速数字经济相关产业质量变革，赋能传统产业智能化转型升级

文章著作权归景联文科技所有，商业转载请联系景联文科技获得授权，非商业转载请注明出处；图片源自网络，如有侵权请联系我们进行删除。