随着柔性物联网设备和多感官人机交互应用的快速发展,对能够以智能、节能方式进行多模态数据感知、处理和反馈的先进系统需求日益迫切。然而,传统冯·诺依曼架构中传感、计算与反馈单元相互分离,导致能效低下、接口不匹配等诸多挑战。
受高度集成的生物感官系统启发,福建师范大学赵毅研究员、刘洋教授和西北工业大学黄维院士合作,成功开发出一种基于MXene的柔性双模传感-处理-可视化集成系统。该系统通过一种分层的MXene平台,将压电纳米发电机(机械感知)、光电突触(视觉处理)和变色量子点发光二极管(光学反馈)集成于单一可穿戴设备中,实现了优化的机械与电学接口匹配。这一仿生集成系统展示了触觉-视觉信号识别、对环境刺激的自适应仿生自我保护行为、动态轨迹识别以及用于运动识别的空间定位等强大功能,为可穿戴神经形态硬件、边缘计算和智能人机交互的发展开辟了新道路。相关论文以“Bioinspired flexible sensing-processing-visualizing integrated system towards tactile-visual signal recognition”为题,发表在
Nature Communications上。
![]()
该集成系统的设计灵感源于生物细胞膜。如图1所示,生物细胞膜作为一个共享的准二维平台,通过其上嵌入的不同蛋白质(如感知压力的Piezo2、感知视觉的视紫红质)实现多模态感知和高效的离子-电子信号传导。研究团队借鉴这一“材料-架构-功能”协同设计策略,利用二维材料MXene(Ti₃C₂Tₓ)构建了柔性传感-处理-可视化集成系统。通过调控MXene的尺寸和表面状态,使其在系统中扮演多重角色:作为共享的高效导电平台;在压电纳米发电机中作为增强触觉感知的材料;在人工光电突触中作为视觉感知和突触材料;在变色量子点发光二极管中作为优化的电荷注入层。图1c展示了不同尺寸MXene的形貌及制备流程,所有组分均来自同一前驱体的高效利用,体现了低成本、环保的生产理念。
![]()
图1 | 基于MXene的柔性传感-处理-可视化集成系统设计。 a 通过发生在细胞膜上的神经传导连接的生物多模态神经系统示意图。左图:Piezo2离子通道蛋白在受压时允许离子通过细胞膜并产生动作电位。中图:视紫红质在光照下,由于视网膜构象变化影响辅基分离,允许离子通过并产生动作电位。右图:因外部刺激在大脑区域形成的痛觉和视觉。b 通过发生在大尺寸MXene上的电子传导连接的基于MXene的柔性传感-处理-可视化集成系统示意图。左图:含有中等尺寸MXene添加剂(极化锁定)和大尺寸MXene电极的MXene双功能压电纳米发电机。中图:基于氧化小尺寸MXene(电荷俘获)并配有大尺寸MXene电极的人工光电突触。右图:配有大尺寸MXene(高导电性)电极的变色量子点发光二极管。c 上图:中等尺寸MXene(左)、氧化小尺寸MXene(中)和大尺寸MXene(右)的扫描电子显微镜图像;比例尺:1 μm。下图:最小强度层剥离法刻蚀和机械剥离过程示意图。
图2展示了基于MXene的双功能压电纳米发电机的优异特性。其中,中等尺寸的MXene作为添加剂,通过氢键作用锁定PVDF-TrFE聚合物中的偶极子取向,显著提升了压电相的含量和输出性能。而大尺寸MXene作为电极,改善了界面接触和电荷收集效率。该器件在超过9900次循环后仍保持稳定的输出电压,显示出卓越的机械耐久性和可靠性,其输出电流与压力呈现良好的线性关系,可用于精确的压力传感与标定。
![]()
图2 | MXene双功能压电纳米发电机的表征。 a MXene双功能压电纳米发电机制备过程示意图。b 和 c 分别示意MXene双功能压电纳米发电机在初始状态和受压状态下的工作原理。d 在11N压力下,不同MXene尺寸对应的压电输出。e 不同中等尺寸MXene含量下,MXene双功能压电纳米发电机的短路电流。f MXP-0.5的短路电流随施加压力(1.5至13N)线性增加。g 与其他电极对比,显示MXene电极对电荷收集效率的提升。h COMSOL Multiphysics有限元分析模拟结果,支持实验数据。
在视觉与信息处理方面,图3揭示了基于氧化小尺寸MXene的人工光电突触的突触特性。该器件在电脉冲和光脉冲刺激下,能够模拟生物突触的权重调节、短期记忆、双脉冲易化等关键特性。特别值得一提的是,压电纳米发电机产生的电脉冲可直接用于调制光电突触的导电状态,无需外接脉冲电源,实现了感知信号的原位处理。该突触器件在单脉冲刺激下的能耗极低,展现出在高能效神经形态计算中的应用潜力。
![]()
图3 | 基于氧化小尺寸MXene的人工光电突触的突触特性表征。 a 光电突触结构示意图。b 氧化小尺寸MXene的高分辨率X射线光电子能谱P 2p谱。c 人工光电突触的I-V扫描曲线(0→+1.2V→0V,循环10次)。d 通过15个幅度逐渐增加的正电脉冲和15个固定幅度的负电脉冲实现的连续电导调制。e 和 f 由压电纳米发电机触发的人工光电突触的兴奋性突触后电流,显示脉冲数量和频率增加对电流响应的增强。g 和 h 在不同紫外光照射时间和脉冲数下,人工光电突触的光电流响应行为。i 不同频率连续光脉冲序列下的人工光电突触兴奋性突触后电流。j 光诱导双脉冲易化行为及拟合的时间常数。k 4位光脉冲输入对应16种不同响应状态。l 开尔文探针力显微镜表征,显示光照下薄膜表面电势变化,表明界面处电荷积累。
为了实现感知信息的直观反馈,研究团队在图4中集成了变色量子点发光二极管。该器件利用大尺寸MXene作为导电层,其功函数与电荷注入层良好匹配,实现了高效电荷注入。通过调节驱动电压,可以控制红/绿量子点的发光比例,从而实现从红光到绿光的颜色变化。受章鱼皮肤自适应变色行为的启发,该系统被赋予环境自适应功能。当同时施加压力和光刺激时,系统的“触觉”与“视觉”输入协同作用,驱动发光二极管发出不同颜色的光(如红光代表非防御状态、黄光代表环境监测状态、绿光代表警报状态),直观反映环境刺激的强度与模式。
![]()
图4 | 基于柔性传感-处理-可视化集成系统的可视化双模传感及其环境自适应应用。 a 变色量子点发光二极管结构示意图。b 变色量子点发光二极管的能级图及电荷载流子转移过程。c 不同电压下的归一化电致发光光谱。d 柔性传感-处理-可视化集成系统中信号采集与处理示意图。e 章鱼在光和触觉压力刺激下变色的示意图。f 仿章鱼环境自适应双模感知与可视化能力的系统示意图。g 变色量子点发光二极管在不同压力和光强刺激下的发光强度变化。h 变色量子点发光二极管在不同电压下的国际照明委员会色度图。
最后,图5展示了该集成系统在多模态信息感知与识别方面的强大应用能力。在复杂的多模态图像识别任务中,系统对受污染的图像(部分区域仅能通过触觉信号感知)实现了91%的分类准确率。此外,在一个简化的羽毛球运动场景中,该系统能够实时识别四种不同的击球类型、八个方向的球拍摆动轨迹,并通过两个光电探测器捕捉发光二极管的光信号,实现高精度的空间定位。这些功能充分展现了其在动态、交互式多感官人机交互场景中的应用价值。
![]()
图5 | 多模态信息感知与识别。 a 在复杂环境中识别多模态Fashion-MNIST数据集的示意图。b 对七类图像进行分类的混淆矩阵。c 在一个简单的羽毛球运动场景中,柔性传感-处理-可视化集成系统实现击球类型识别、动态球拍摆动轨迹识别和位置识别的示意图,应用于多感官交互场景。d 用于动态识别击球类型和球拍摆动轨迹的传感内储备池计算系统示意图。e 对不同击球类型进行分类的混淆矩阵。f 和 g 读出层单元的读出函数值,表示对应轨迹的概率。h 训练前后权重分布的初始与最终状态。i 球拍摆动轨迹识别的交叉熵损失和准确率。j 位置检测原理示意图。k 估计点坐标与实际点坐标对比。l 位置检测的训练损失和验证损失。
这项研究通过仿生的材料-架构-功能协同设计策略,成功构建了集机械感知、视觉处理与光学反馈于一体的柔性集成系统。它不仅高效处理了触觉与视觉信号,实现了环境自适应交互,更在多模态图像识别、动态运动轨迹追踪与空间定位方面表现出色。该工作凸显了MXene在仿生功能集成柔性电子领域的巨大潜力,为下一代智能可穿戴设备及多感官人机交互系统的发展提供了一条充满希望的技术路径。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.