以人类神经系统为灵感，山大团队研发多模态传感内计算系统

在小时候，山东大学教授郑立梅就对数学和物理很感兴趣。她发现在数学现象和物理现象的万般变化背后，隐藏着朴实而简单规律，只要掌握基本规律就能应对各种表象。

她还发现物理是一门非常重要的学科，人类历史的每一次科技革命都是基于物理领域的新发现和新认知。

因此，在本硕博期间，郑立梅均选择物理学作为主修专业。虽然目前女性物理学者的人数并不多，但她认为女性的执行力、创新力和逻辑思维能力和男性科研工作者是同等的。

德裔美国物理学家、诺贝尔物理学奖获得者玛丽亚·格佩特-梅耶（Maria Goeppert-Mayer），是郑立梅非常敬佩的一位女性物理学家。

梅耶对于物理学的深刻见解、及其在核壳模型上的开创性工作深深吸引了郑立梅，她的成就也证明了女性在科学领域同样能够取得卓越成绩。

而在郑立梅的学术生涯中，她也有幸遇到一些在凝聚态物理领域工作的杰出女性导师。在前辈的指引以及自己的努力之下，郑立梅近年来取得了不少成果。

这不，近日 她和团队研发出一款光电器件，它不仅可以感知和存储光信号和电信号，而且可以通过模拟人脑计算原理来处理信号。

图 | 郑立梅（来源：郑立梅）

研究中，他们从人类神经系统获得了灵感。人类神经系统具有感存算一体的架构模式，即能够通过视觉、听觉等多种感官渠道，既快速又准确地感知和响应环境变化。

这种多模态信号的融合处理能力，为课题组设计这种新型传感系统带来了启发。基于此，他们提出多模态感存算一体的概念。

通过集成多种模态信号的感知功能与处理功能， 该团队不仅提升了传感系统的集成度，也减小了传感系统的尺寸，还减少了能耗消耗和时间延迟，让传感系统的工作效率得以提高。

据介绍，本次器件是一个由氧化铟锡和 NSTO 光电突触器件组成的阵列。

（来源：Advanced Functional Materials）

通过模拟一个能同时感知和处理视听信息的多模态神经网络系统，以及通过一个能用于实时监测动态车辆信息的神经形态视觉系统，课题组验证了本次器件的实际应用能力。

同时，它的制备工艺也十分简单，很容易实现大面积的器件阵列。

总的来说，这款器件不仅为神经形态计算领域贡献了新型硬件解决方案，也为发展低能耗、高效率、高感知、高决策精度的传感系统提供了硬件基础。

在应用上：

首先，本次器件能被用于智能家居场景和智慧城建场景中的物联网设备，即为它们搭载上多模态的传感存算一体化系统。

对于智能家居设备来说，它将能在本地处理多种环境数据，比如处理温度、湿度、光照等数据，从而更高效地调节室内环境。

对于城市中的智能传感器来说，它将能实时分析和实时处理交通流量、空气质量等数据，从而更及时地作出响应，进而改善城市管理。

其次，本次器件能被用于 AI 设备，例如充当智能穿戴设备和无人驾驶汽车的机器视觉工具。

在健康监测设备中，它能让智能穿戴设备实时处理生物数据，比如处理心率、血氧等数据，从而提供更加精确的健康管理和即时反馈。

在机器视觉系统中， 它能让自动驾驶汽车同时处理来自雷达和摄像头等不同来源的数据，从而提高对于环境感知的反应精度和反应速度。

（来源：Advanced Functional Materials）

亟待发展新型传感范式

据了解，随着物联网和大数据的发展，也给传感系统提出了前所未有的挑战。针对传感系统的效率、尺寸和功耗加以优化，也成为一个日益迫切的需求。

然而，对于传统的传感系统来说，它采用的是由传感模块、存储模块、数据处理模块等不同模块构成的分离式架构。

模块之间频繁的数据传输，会导致时间延迟和能量消耗等问题。

此外，为了捕捉不同模态的信号，必须在传统传感系统之中部署多种传感器，这不仅会增加系统复杂性，也会增大系统的尺寸。

因此，学界开始致力于开发新型传感系统，即打造不仅能感知多模态信号、而且具有感存算一体能力的架构，以便减少数据传输和数据存储带来的额外能耗。

对于传统传感系统来说，它需要将传感器获取的数据，传输到中央处理单元进行处理。这一过程不仅耗时，而且会提高功耗。

此外，传统传感器仅能处理单一类型的数据。而现代应用通常需要处理多模态的数据，这时就需要一种能够支持多模态信号感知的新型传感范式。

基于此，该团队开展了一系列的研究，希望研发一款结构简单、具有多信息响应能力、以及集感知&存储&数据预处理等功能于一体的神经形态器件。

从而能够解决能耗与延迟问题，还能满足多模态数据处理的需求。

（来源：Advanced Functional Materials）

“一位偶然的询问打破僵局”

确定研究目标之后，他们研究了领域内的已有文献，借此发现忆阻器器件原型在构建“存算一体”和“感存算一体”架构中具有巨大潜力。

这两个架构能够显著减少功耗和延迟，故被视为是突破传统冯诺依曼瓶颈的关键架构。

课题组由此意识到：这些架构也将为物联网时代和大数据时代的算力提升带来一条有效途径。

此前，该团队曾利用氧空位与铁电极化的协同作用，设计出一款高性能的铁电人工神经突触，并将其成功用于人工神经网络之中。

利用这款突触他们针对手写字母实现了高精度识别，借此展示了忆阻器在“存算一体”架构中的应用前景。

进一步地，在人类感官系统的启发之下，他们认为应该研发一款新型忆阻器。

对于这种新型忆阻器来说，它要具备对于多模态信号的感知能力，并且要具有传感功能、存储功能和处理功能。只有这样，才能有效解决传统传感系统的各种不足。

紧接着，他们开发出几款多模态感官系统，但是这些系统大多必须通过多个传感器，才能捕获各种感官信息，这不仅会增加硬件设计的难度，也会带来较高的功耗。

为了弥补此前研究中存在的不足，课题组将本次研究的具体目标定为：在单一忆阻器件中，集成对于多模态信号的传感功能、存储功能和处理功能，并以单一忆阻器为核心，构建出一款多模态传感内计算系统。

而只有合适的材料和结构，才能设计出可以感知和处理多模态信号的神经形态器件。

（来源：Advanced Functional Materials）

当郑立梅和团队正深陷于如何选择合适的材料时，一位朋友的偶然询问打破了僵局，对方问郑立梅是否可以帮他溅射氧化铟锡薄膜。

氧化铟锡，是一种广泛用于光电器件的电极材料，以其卓越的透光性和导电性而闻名。

然而，郑立梅之前并未考虑过它在自己项目中的潜在应用。“这个看似随意的问题，却像一颗种子一样在我们心中生根发芽。”郑立梅说。

于是，她和团队立刻开始研究氧化铟锡，结果发现这可能正是他们一直在寻找的答案。

于是，他们决定在 NSTO 衬底上尝试制备氧化铟锡电极，希望能为光电神经形态器件带来新突破。实验结果令人十分鼓舞，器件的性能基本符合预期。

氧化铟锡/NSTO 氧化物异质结的好处在于：不仅便于实现器件的阵列化集成，也具备简单的器件结构，同时能够兼顾器件的制备成本与工艺难度。

此外，它还在光电双模态信号的感知与存储上展现出卓越性能，有望在多模态感存算系统中实现一定应用。

完成器件制备之后，他们又设计了多模态传感内计算系统，该系统可以集成多种模态信号的感知功能与处理功能，故能显著地提升工作效率和功能集成度。

此外，他们还构建出一种神经形态视觉系统，以用于实时监测和实时分析动态车辆信息，借此证明了本次器件的应用潜力。

日前，相关论文以《由易于制造的氧化物异质结光电子突触实现的多模态传感器内计算》（Multimodal In-Sensor Computing Implemented by Easily-Fabricated Oxide-Heterojunction Optoelectronic Synapses）为题发在 Advanced Functional Materials[1]。

Hong Fang 是第一作者，齐鲁工业大学赵乐博士、山东大学颜世申教授和郑立梅教授担任论文共同通讯作者。

图 | 相关论文（来源：Advanced Functional Materials）

后续，他们将采取四步走的策略，力争继续推进这一领域的进步。

首先，优化材料与器件性能。

尽管目前已经证明氧化物异质结在多模态传感-计算一体化中的潜力，但是器件性能依然存在较大改进空间。

下一步，课题组将继续优化材料的选择性和异质结结构，以便进一步地提高器件的灵敏度、能效比和计算速度。

这可能需要引入新的氧化物材料组合，或者针对现有材料进行掺杂和表面处理，以便提升其电学性能和光学性能。

另外，为了推动器件的商业应用，还需要研发更加成熟的制备工艺，以便提升器件的长期稳定性和应用可靠性。

其次，扩展多模态传感功能。

目前，本次研究主要集中在少数几种物理量的多模态感知上。后续，他们将尝试扩展传感器的功能，使其能够感知更多类型的物理信号、化学信号甚至生物信号。

比如，将传感功能扩展到气体检测、生物分子识别等领域，从而使多模态感存算系统在环境监测、医疗诊断等领域中也能发挥作用。

再次，进一步优化集成功能。

除了开展单一器件的性能优化之外，他们还计划开展进一步的集成工作与优化工作。

包括将多个异质结传感器集成到更复杂的系统中，并优化它们之间的数据处理和通信机制，进而构建出更复杂的智能应用系统。

最后，开展跨领域的探索。

课题组还计划与其他学科的学者进行合作，探索本次设备在更广泛领域中的创新应用。

例如，通过与生物医学工程领域的课题组开展合作，探索多模态感存算系统在疾病诊断和健康监测中的应用。

通过这些后续计划，他们希望能够推动下一代智能设备、物联网系统和边缘计算技术的发展。

参考资料：

1.https://onlinelibrary.wiley.com/doi/10.1002/adfm.202409045

运营/排版：何晨龙

01/

02/

03/

05/