王军教授团队：从单模态到多模态的手部生物特征识别

作者简介

王军，中国矿业大学教授，校科研院/前沿交叉研究院副院长。作为首席科学家或项目负责人主持科技部科技创新2030—“新一代人工智能”重大项目、工信部人工智能产业创新重点任务揭榜挂帅项目等一系列国家级重大重点科研项目；获得中国指挥与控制学会科学技术奖创新奖一等奖、全国应急管理科技创新奖一等奖、省“333高层次人才培养工程”中青年领军人才、省“青蓝工程”优秀青年骨干教师等。主要研究方向为无人系统精准探测与自主感知、智能矿山等。

个人信息安全问题日益突出，包括身份信息、联系方式和网络行为数据等。传统的身份认证方式存在安全隐患，如证件丢失或密码被破解。生物特征识别技术利用指纹、人脸、掌纹、虹膜、静脉等特征进行身份认证，具有高安全性和便利性。静脉识别技术作为主流的单模态生物特征识别技术之一，因其活体识别、稳定性、非接触采集和强安全性等特点受到关注。多模态生物特征识别技术结合不同特征的优势，提高了识别准确度、可靠性和用户体验感，具有广泛的适用性和出色的用户便捷性。

多模态生物特征识别的融合层次结构

《 》提出基于单模态和多模态的生物特征识别方法。

手部生物特征识别 : 从单模态到多模态

王 军 潘在宇 杨 霄 徐家梦 著

北京 : 科学出版社, 2025. 6

ISBN 978-7-03-080185-2

▋基于多层卷积特征融合的手部单模态生物特征识别。针对深度卷积神经网络因静脉训练样本不足而无法学习到高判别静脉深度特征的问题，提出了基于预训练深度卷积神经网络的静脉识别方法。该方法分析了基于静脉信息的卷积特征图响应特性，设计了面向高层卷积特征图的保留空间位置信息的局部最大池化方法；构建了多层深度卷积特征融合模型，充分利用了低层卷积特征图中的细节信息和高层卷积特征图中的语义信息，进而提高了所提出网络模型的深层表征能力，提高了静脉图像识别算法的准确率，在CUMT-HDV、CUMT-PV 和PUT Palmvein 3 个公开的静脉数据库上取得的识别结果分别为97.06%、96.44%和96.75%。

▋基于多尺度深度特征集成的手部单模态生物特征识别。针对在基于预训练深度卷积神经网络的静脉识别方法中，卷积特征图中非静脉信息和噪声信息去除不充分的问题，提出了基于层级特征选择的多尺度深度特征集成方法。该方法深入剖析了基于静脉信息的卷积层特征图响应特性，揭示了基于静脉信息的深度卷积神经网络高阶语义信息学习机制；构建了一种层级的深度特征选择模型，有效地去除了深度特征中含有的非静脉信息和噪声信息，进一步提高了深度特征的表示能力，提高了手部静脉识别模型的识别率，在CUMT-HDV、CUMT-PV 和PUT Palmvein 3 个公开的静脉数据库上取得的识别结果分别为97.85%、97.31%和96.50%。

基于静脉信息的多尺度卷积特征图的可视化结果

▋基于特征解耦网络的手部单模态生物特征识别。针对基于单一纹理特征或形状特征的静脉识别算法存在特征表示能力不足的问题，提出了基于多尺度注意力残差模块的特征解耦网络。该方法构建了静脉纹理特征编码网络和形状特征编码网络，实现了静脉图像纹理和形状特征的自适应解耦；设计了权值引导的高判别深度特征学习模块，揭示了静脉纹理特征和形状特征对于静脉识别效果的影响机制，增强了静脉深度特征的表示能力，进而提高了手部静脉识别算法的效果，在CUMT-HDV、CUMT-PV 和PUT Palmvein 3 个公开的静脉数据库上取得的识别结果分别为99.02%、98.61%和98.78%。

▋基于合成静脉样本的手部单模态生物特征识别。针对由于生成静脉样本和真实静脉样本存在领域偏移，训练在生成静脉样本上的深度卷积神经网络对于真实静脉样本特征表示能力不足的问题，提出了基于合成静脉样本的深度特征学习模型。该方法构建了基于特征解耦学习的静脉图像生成模型，提高了静脉生成样本的质量；设计了静脉图像自适应融合网络，减少了生成静脉样本和真实静脉样本之间的领域偏移；提出了全局-局部静脉深度特征学习模块，进一步增强了深度卷积神经网络对于静脉图像的特征表示能力，进而提高了手部静脉识别方法的识别率，在CUMT-HDV、CUMT-PV 和PUT Palmvein 3 个公开的静脉数据库上取得的识别结果分别为99.14%、98.81%和98.90%。

基于合成静脉样本的静脉深度特征学习模型

▋基于非对称对比融合的手部多模态生物特征识别。传统的融合方法主要关注融合结果，却忽略了融合过程中保留任务相关信息的重要性。而多模态生物特征识别系统的性能很大程度上取决于融合特征的质量。因此，本书提出了一种基于非对称对比融合的双模态生物特征识别方法。针对掌纹和掌静脉，该方法设计了一个由注意力机制引导的融合模块，旨在整合模态之间的互补信息；设计了一种非对称对比学习策略，通过对比学习的方式在单模态特征和融合特征之间实现了互信息的最大化，同时确保身份一致性。本书方法结合了监督和自监督的表征学习方法，更为灵活和充分地利用数据，从而减少任务相关信息的丢失，使模型能够学习到鲁棒性的特征表示，进而提高身份识别的精度，在CASIA、CUMT-HMD和Tongji 3 个公开的数据库上取得的识别结果分别为98.20%、100.00%和100.00%。

▋基于模态信息度评估的手部多模态生物特征识别。在掌纹掌静脉识别技术的实际应用场景中，由于各种环境因素和设备限制，图像过曝光、模糊、噪声以及对比度不足等问题往往难以避免。传统的双模态融合方法很少考虑到模态样本质量不同导致的融合效果差异，使得融合可靠性较弱、泛化性不强，进而限制了多模态生物特征识别系统在实际场景中的应用推广。针对此问题，提出了一种基于模态信息度评估策略的双模态生物特征识别方法。设计了信息度评估模块，旨在通过直接校准分类结果来获得置信度；设计了一种多模态动态融合策略，通过动态评估不同模态和样本的信息度，以自适应方式融合多生物特征信息。该策略能有效降低特征信息中的噪声影响，并增强模型对特征质量动态变化的鲁棒性，从而实现双模态生物特征高效、自适应融合，在CASIA、CUMT-HMD 和Tongji 3个公开的数据库上取得的识别结果分别为99.00%、100.00%和99.97%。

基于模态信息度评估的多模态动态融合模型框架图

▋基于共享-特定特征解耦的模态缺失下的手部多模态生物特征识别。现有的多模态缺失解决方法在其他领域已经取得令人满意的性能，但生物特征识别领域下的模态缺失问题相对受到较少的关注。由于生物特征之间通常存在限制，且不同模态之间存在较大的差异，传统方法在多模态生物特征识别领域的适用性受到限制。针对模态缺失的问题，提出了一种基于共享-特定特征解耦的模态缺失下的双模态生物特征识别方法。构建了模态共享特征和模态特定特征解耦网络，设计模态间身份一致性损失函数和模态间三元对比损失函数，实现不同模态共享特征和特定特征的自适应解耦；构建跨模态特征重建模块，设计模态内身份一致性损失函数，在特征空间实现任意模态缺失下的多模态生物特征的鲁棒表征。该模型即使在模态缺失的情况下也能进行识别，并取得了较高的识别率，在CASIA、CUMT-HMD 和Tongji 3 个公开的静脉数据库上，缺失率为50%的条件下，取得的识别结果分别为86.17%、99.38%和99.25%。

本书的出版得到新一代人工智能国家科技重大专项（2020AAA0107300）等项目的资助和支持。

本文摘编自《手部生物特征识别 : 从单模态到多模态》（王军等著. 北京 : 科学出版社, 2025. 6）一书“前言”，有删减修改，标题为编者所加。

ISBN 978-7-03-080185-2

责任编辑：惠 雪 曾佳佳

手部静脉识别是一种新兴的身份识别技术，与其他生物特征识别相比，其具有高安全性、活体检测性和便利性等特征，也是目前最有效的生物特征识别模式之一。而多模态生物特征识别技术结合不同特征的优势，提高了识别准确度、可靠性和用户体验感，具有广泛的适用性和出色的用户便捷性。本书首先介绍单模态与多模态生物特征识别方法及其研究现状；然后，针对深度卷积神经网络因静脉训练样本不足、存在噪声信息等而无法学习到高判别静脉深度特征的问题，提出了基于多层卷积特征融合的网络、基于多尺度深度特征集成的网络、基于特征解耦网络以及基于合成静脉样本的网络；针对单一模态表征不足的问题，提出了基于非对称对比融合和基于模态信息度评估的融合方法；最后，针对多模态生物特征识别领域下的模态缺失问题，提出基于共享-特定特征解耦网络。

本书可供从事图像处理、模式识别（尤其是生物特征识别方向）研究的专业技术人员以及信息处理、计算机科学等专业的研究生参考。

（本文编辑：刘四旦）

专业品质 学术价值

原创好读 科学品位

一起阅读科学