能听能说会认人？一文看懂钉钉智能无人前台M2S和“多模态交互”

据媒体爆料，阿里钉钉推出了一款具备“多模态交互”技术的智能办公硬件新品M2S。据悉，钉钉M2S深度运用了达摩院多项AI技术，实现“多模态交互”技术的产品化，突破了智能设备有“眼”只能看，有“耳”只能听，多感官各自独立无协同交互的技术难题。

记者从钉钉智能硬件团队获悉，M2S是钉钉面向企业用户推出的智能无人前台产品，基于多模态交互，设备具备能听、能说、会认人，甚至会思考的能力，智能化满足访客接待、员工考勤、自动算薪等企业场景化需求。据悉，包括M2S在内，钉钉即将在未来组织大会上发布系列智能硬件新品，进一步升级钉钉的“软硬一体”智能移动办公生态。

全球首次运用“多模态交互”的智能办公硬件

搭载多模态交互技术的M2S智能无人前台，能轻松做到“视人而语”，根据来人身份主动提供不同的服务，更接近人跟人之间的沟通方式。

何为多模态交互？所谓“模态”，通俗来讲即“感官”，多模态交互即是指为机器融合多种感官，让机器具备视、听、说等能力。即通过文字、语音、视觉、动作、环境等多种方式进行人机交互，充分模拟人与人之间的交互方式。

事实上，从多模态交互技术的概念被提出至今，即便人工智能技术的发展逐步多样化，但真正意义上将多模态交互技术实现产品化的却至今未有。达摩院机器智能技术语音实验室研究员付强（花名：先声）介绍，钉钉智能无人前台M2S是全球首个在小型智能设备上运用多模态交互技术，且工程优化成熟的产品。

目前业界主流的语音交互产品，都需要通过“唤醒词+语音指令”的方式进行交互。而钉钉智能无人前台M2S能够通过图像算法准确检测到人靠近机器的距离，同时结合钉钉的组织关系，自动判断身份然后主动发起交互，无需唤醒词即可唤醒设备，这也更适用于企业办公场景下的人机交互。

在技术上，M2S基于图像识别的人脸检测和运动轨迹判断，通过云端处理引擎，将音视频信息充分融合在一起，再结合基于麦克风阵列的声源定位和语音分离算法，即使多人同时在设备前，M2S也能轻松分辨交互用户机器倾听、理解来人语义的能力进一步提升。在信号处理层面的另一亮点是应用了基于深度学习的回声消除算法，可以有效应对消费级电子设备上的非线性声学效应。·

在语义理解上，钉钉智能无人前台使用了包括最新的结合知识的神经网络模型，如Knowledge-BERT等，来检测说话人的行为意图，同时也在数据层面采用了多种增强、企业个性化纠错以及实时热词更新技术等，保证模型的泛化性能。

钉钉组织能力让“多模态交互”找到用武之地

目前主流的AI产品在实际工作时，各模态之间还是独立运作，即虽然这些产品都有眼、有耳，但眼只做图像处理，耳只做语音识别，运行时并没有融合计算，使用上也就没有形成协同交互。

钉钉智能办公硬件工程师苡仁介绍，钉钉目标是打造全球最领先的智能办公基础设施，钉钉智能硬件产品团队在调研国内企业办公场景，以及日本，美国等发达国家的企业办公场景后，发现传统前台效率和管理存在诸多痛点。比如中国的企业前台，大多都是身兼多职，往往忙碌不堪，作为一家企业的“脸面”，最重要的宾客接待服务反而上不去。或者是由物业、保安兼职，帮沟通外部访客不专业，沟通、登记错漏繁多，效率低下，甚至让企业损失重要潜客。在日本，因为人力昂贵，多数中小企业雇不起前台，只能放一台电话机，访客到前台自行联络，方式传统，效率也很低。钉钉智能硬件团队希望在全球率先突破，研发一款可以很大程度解放企业前台，能够直接承担前台职责的智能硬件产品。

基于这种思考，和钉钉的组织在线能力，让多模态交互这项AI技术有了落地土壤。简单来说，钉钉的组织在线能力，让企业组织信息信息高度结构化、在线化。这种成熟、完善的组织关系和能力，与视觉识别技术相辅相成，能够精准识别员工身份，为多模态交互的落地提供了成熟的环境，也是免唤醒词唤醒、精准身份识别等技术落地以及实现智能访客接待的基础。

M2S通过引入知识图谱技术，建模各企业“员工-职位-部门”间的关系，就可以实现智能匹配，满足访客的精确查找、模糊查找等各类需求。

AI技术的最高境界是感觉不到技术的存在。换言之，人机交互的发展动力来源于对更“自然”方式的追求。融合视觉、图像、语音和触摸等的多模态感知和认知技术会是构建自然人机交互系统的基本要素。在人机交互系统的各个环节，引入多模态的信息会使得交互过程更加自然和精准。据悉，此次钉钉智能无人前台M2S所采用的“多模态交互”技术，正是阿里巴巴达摩院重点研究方向之一。

钉钉构建软硬一体的数字化工作方式

基于多模态交互技术和钉钉软硬一体的办公生态，M2S具备能听、能看、会认人的能力，帮助企业实现智能化访客接待、考勤等场景需求 。

M2S通过检测人走近的行为，自动判断身份并主动发起交互。是员工，自动进行人脸识别智能考勤。设备采用6核 2G A72 CPU，支持0.5s快速识别、8人多人识别、10000个单台设备可识别人数、1000000条离线打卡记录。

是访客，M2S智能无人前台将会进行智能访客接待。通过主动发起对话，M2S引导访客进行自助登记，并发起视频通话快速完成身份确认，访客信息录入魔点访客（钉钉的第三方应用）；已经安装魔点门禁并设置访客通行权限的企业组织，被访人在视频通话页面直接点击接待，访客即可限时刷脸进出公司门禁。同时，来访记录将彻底在线化，访客预约和记录沉淀到线上，实现无纸化的访客接待，支持PC及手机端一键导出访客来访记录，大大提升统计效率。

同时，基于与钉钉智能人事的打通，M2S还能实现考勤自动统计和自动算薪，让HR再也不用再整理Excel表格、拉数据等等事情上花费太多精力。

钉钉智能硬件事业部总经理任卿（花名：易统）表示，钉钉做硬件不是为了将某单一款硬件智能化，而是为打造一个软硬件一体的生态，为企业提供从物理空间到信息系统，及管理思想的全链路数字化。

中国有4300万的企业，目前绝大多数中小型企业仍然采用传统办公模式，人、硬件、软件三者之间长期处于分裂状态，特别是传统门禁、考勤等产品的效率低下、相互隔离、功能单一，不具备物联网属性，无法满足企业智能化办公的需求。办公硬件作为企业可见可触摸的环节，其智能化更易感知，也是企业触达数字化的最短路径。

易统介绍，企业数字化就要求物理办公空间的数字化，空间数字化就需要M2S这样的智能办公硬件。