网易首页 > 网易号 > 正文 申请入驻

AAAI 2026 | 上海交大郑伟龙团队提出MindCross:快速适应新被试的跨被试脑信号解码视频框架

0
分享至




图1. 跨被试脑解码示意图

近年来脑机接口(BCI)技术飞速发展,从脑信号解码视频成为了其中一个热点问题。近期,上海交通大学郑伟龙团队提出了一种基于共享-特定结构的快速适应新被试的跨被试脑信号解码视频框架MindCross, 相关成果发表于人工智能顶级会议(CCF-A类AAAI 2026上,标题为“MindCross: Fast New Subject Adaptation with Limited Data for Cross-subject Video Reconstruction from Brain Signals”。如图1所示,现有的脑解码框架主要基于被试依赖范式,需要采集每个受试者大量的脑数据,导致难以快速适应一个数据较少的新被试,毕竟脑视频数据的采集成本高昂,而MindCross为所有被试训练一个通用模型,该模型能够快速适应数据有限的新被试。


图2.MindCross框架:包括训练、校准和测试三个阶段

如图2所示, MindCross包含三个阶段:训练、校准和测试。在训练阶段,使用所有N个被试的数据训练N个特定编码器和一个共享编码器。如果出现数据有限的新受试者,则在校准阶段训练一个新的特定编码器,同时MindCross中的其他模块则保持冻结状态。也就是说,校准阶段只更新新的特定编码器和重构器,从而大大加速了适应新被试的调试速度。在测试阶段,新受试者的最终输出由其自身的特定编码器和一个Top-K协作模块获得。

从表1可以看出MindCross方法在语义层面上仅使用一个模型,即可达到与基于每个被试每个模型的方法相当的性能,并且略优于其余跨被试解码方法。表2更是说明了在适应数据较少的新被试时,MindCross显著减少了适应时间和更新参数(尤其是在受试者数量较大时),同时优于或与基线持平,证明了MindCross在新受试者适应方面的优越性。图3和图4展示了一些定性结果的比较。

1.MindCross与其他方法在脑解码方面的定量比较。



图3.EEG-to-video定性的重建结果比较


图4.fMRI-to-video定性的重建结果比较

表2.新被试适应比较,用时和更新参数量。

MindCross旨在从原始脑信号中分离出与受试者相关的成分和受试者不变的成分。图5左边展示了这19名受试者的原始脑数据,他们的脑数据彼此之间存在显著差异。经过 MindCross 处理后,受试者相关成分和受试者不变成分被成功提取,如图4右边所示。


图5.学习特征可视化

这项研究由郑伟龙老师指导,博士生刘轩豪担任论文第一作者,刘彦楷,周天逸,和吕宝粮等老师和同学也为论文工作做出了重要贡献。

仅用于学术分享,若侵权请留言,即时删侵!

欢迎加入脑机接口AI星球

获取更多脑机接口+AI等领域的知识和资源。

欢迎来稿

1.欢迎来稿。投稿咨询,请联系微信:RoseBCI

点击投稿:

2.加入社区成为兼职创作者,请联系微信:RoseBCI

一键三连「分享」、「点赞」和「在看」

不错过每一条脑机前沿进展

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
天津市委原书记高德占同志逝世

天津市委原书记高德占同志逝世

新京报政事儿
2026-01-19 07:31:32
陈毅之子回忆:父亲追悼会上,毛主席一句话,瞬间让岳父粟裕落泪

陈毅之子回忆:父亲追悼会上,毛主席一句话,瞬间让岳父粟裕落泪

观史搜寻着
2025-12-06 17:13:36
曝腾讯向GitHub发函,要求下架“用户可获取自己聊天记录”的仓库

曝腾讯向GitHub发函,要求下架“用户可获取自己聊天记录”的仓库

爆角追踪
2026-01-18 14:25:38
拿下委内瑞拉后,特朗普针对中国的反扑,比大家想的还要迅猛

拿下委内瑞拉后,特朗普针对中国的反扑,比大家想的还要迅猛

近史博览
2026-01-18 22:46:42
马斯克最大算力中心建成了:全球首个GW级超算集群,再创世界纪录

马斯克最大算力中心建成了:全球首个GW级超算集群,再创世界纪录

量子位
2026-01-18 13:17:55
1-1扳平到0-1被绝杀!中国队不胜越南 亚洲杯迎复仇良机 赛程如下

1-1扳平到0-1被绝杀!中国队不胜越南 亚洲杯迎复仇良机 赛程如下

侃球熊弟
2026-01-19 00:19:07
包头包钢工厂爆炸后续:疑似员工曝光群聊,知情人披露几点原因

包头包钢工厂爆炸后续:疑似员工曝光群聊,知情人披露几点原因

奇思妙想草叶君
2026-01-18 21:54:55
官方:布莱克以一扣四浏览量超8500万,创本赛季NBA集锦观看新高

官方:布莱克以一扣四浏览量超8500万,创本赛季NBA集锦观看新高

懂球帝
2026-01-19 08:23:08
田朴珺演不下去了

田朴珺演不下去了

蓝钻故事
2026-01-17 10:54:44
6位顾客花19元点两碗汤,在店里留下大量垃圾,老板要求带走垃圾被怼“就这点格局”

6位顾客花19元点两碗汤,在店里留下大量垃圾,老板要求带走垃圾被怼“就这点格局”

潇湘晨报
2026-01-18 22:39:53
1月18日俄乌最新:川普另起炉灶

1月18日俄乌最新:川普另起炉灶

西楼饮月
2026-01-18 20:47:31
突发!伦纳德左膝受伤!正式离队飞回洛杉矶

突发!伦纳德左膝受伤!正式离队飞回洛杉矶

篮球教学论坛
2026-01-19 09:07:50
不等、不搬、不接!2026年第一批整治特惠单乘客的网约车司机出现了,总结下来就三个字:不惯着!

不等、不搬、不接!2026年第一批整治特惠单乘客的网约车司机出现了,总结下来就三个字:不惯着!

网约车观察室
2026-01-18 10:53:40
30年营养谎言被戳穿:为什么医生们突然改口让你吃肉?

30年营养谎言被戳穿:为什么医生们突然改口让你吃肉?

富贵说
2026-01-18 20:36:47
已有学校通知停课,江苏省教育厅紧急提醒

已有学校通知停课,江苏省教育厅紧急提醒

鲁中晨报
2026-01-18 19:03:04
斯诺克大师赛落幕!诞生4个赢家3个输家!威尔逊、丁俊晖位列其中

斯诺克大师赛落幕!诞生4个赢家3个输家!威尔逊、丁俊晖位列其中

球场没跑道
2026-01-19 06:41:46
九一三事件,让周总理幸运地躲过了一次暗杀

九一三事件,让周总理幸运地躲过了一次暗杀

华人星光
2026-01-18 12:29:38
让人没想到!外媒发布民调结果:最敌视中国的,是这两个国家

让人没想到!外媒发布民调结果:最敌视中国的,是这两个国家

潮鹿逐梦
2026-01-17 21:30:31
虚假宣传、全网封禁、负债13.7亿, 李湘的塌房比闫学晶更彻底

虚假宣传、全网封禁、负债13.7亿, 李湘的塌房比闫学晶更彻底

有趣的胡侃
2026-01-16 18:02:34
两人消费1400被上海服务员嘲讽!网友:在上海1400只能吃个路边摊

两人消费1400被上海服务员嘲讽!网友:在上海1400只能吃个路边摊

火山诗话
2026-01-18 11:19:13
2026-01-19 09:35:00
脑机接口社区 incentive-icons
脑机接口社区
关注脑机前沿,分享脑机技术
212文章数 25关注度
往期回顾 全部

科技要闻

编程从此不再有门槛!Claude Code火爆出圈

头条要闻

普京前顾问:若敢暗杀普京 欧洲将从人类地图上消失

头条要闻

普京前顾问:若敢暗杀普京 欧洲将从人类地图上消失

体育要闻

21年后,中国男足重返亚洲四强

娱乐要闻

香港武打演员梁小龙去世:享年77

财经要闻

BBA,势败如山倒

汽车要闻

又一次闷声干大事,奇瑞进入2.0 AI+时代

态度原创

手机
艺术
游戏
教育
时尚

手机要闻

iQOO Z11 Turbo手机维修备件价格公布

艺术要闻

14位欧美画家的15幅女性作品

《生化危机9》回归浣熊市原因:让系列重回主线

教育要闻

健全的家庭≠健全的家庭教育

50+女人的穿搭封神技巧来了,抓准这4点,轻松穿出简约高级感

无障碍浏览 进入关怀版