网易首页 > 网易号 > 正文 申请入驻

Meta开源全新AI模型TRIBE v2,精准预测人类大脑多模态反应

0
分享至

IT之家 3 月 28 日消息,科技媒体 The Decoder 昨日(3 月 27 日)发布博文,报道称 Meta 基础人工智能研究团队(FAIR)开源全新 AI 模型 TRIBE v2,可精准预测人类大脑对图像、声音和文本的反应。

该模型最大的亮点,在于无需实际测量,即可精准预测人类大脑对视觉、听觉和语言刺激的反应,有望打破传统神经科学研究周期长、成本高的瓶颈。

TRIBE v2 的核心逻辑在于“多模态融合”。模型接收视频、音频和文本后,分别通过 Video-JEPA-2、Wav2Vec-Bert-2.0 和 Llama 3.2 这三个预训练大模型提取特征。随后,Transformer 架构将这些信息整合,最终输出一张包含 7 万个“体素”(3D 像素)的高精度大脑活动图。

TRIBE v2 可推广到新科目,无需重新培训。绿色条表示模型的预测准确性; 灰点显示了单个脑部扫描与群体平均值的相关性。简短的微调(底部)进一步提升了精度。| 图源:Meta

在性能表现上,TRIBE v2 的预测结果比单人真实的脑扫描图更清晰。真实的功能性磁共振成像(fMRI)常受心跳、头部微动等噪音干扰,TRIBE v2 通过直接预测“调整后的平均反应”来消除杂音。实验表明,其预测准确度远超传统线性模型,并成功在计算机上复现了大量经典神经科学实验。

TRIBE v2 预测大脑在皮层和皮层下区域的活动。预测质量因刺激类型而异,明显优于线性基线。随着训练数据的增加,准确性稳步提升(右下角)。| 图源:Meta

该模型还揭示了不同感官如何激活特定的大脑区域。单独输入音频会激活听觉皮层,而同时输入多模态数据时,大脑颞叶、顶叶和枕叶交界处的预测准确率可飙升 50%。

.在视觉实验中,TRIBE v2 识别了已知的面部、地点、身体和角色的专门大脑区域。顶部:展示图片。中间:模型预测。底部:实际测量的大脑活动。| 图源:Meta

尽管表现惊艳,TRIBE v2 仍存在局限性。它依赖存在数秒延迟的血流数据,无法捕捉毫秒级的神经动态,也缺乏触觉和嗅觉维度。

在语言实验中,TRIBE v2 复制了经典的神经语言学发现,如言语与沉默、情感与身体疼痛,或句子与词汇列表的区分。预测的激活模式与测量数据相符。| 图源:Meta

Meta 目前已全面开源该模型的代码与权重,未来将重点探索其在规划脑科学实验、构建类脑 AI 架构及诊断脑部疾病等领域的应用潜力。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
贴息都贴不动了,居民贷款负增长创下新高

贴息都贴不动了,居民贷款负增长创下新高

大川东山再起
2026-11-16 21:12:29
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
中国新能源企业在芬建厂涉人口贩运调查

中国新能源企业在芬建厂涉人口贩运调查

凤眼论
2026-11-16 14:23:39
网传贾玲张小斐澳洲领证,竟然收到一片祝福

网传贾玲张小斐澳洲领证,竟然收到一片祝福

起点人文
2026-11-16 21:39:21
争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

大秦壁虎白话体育
2026-11-16 08:27:29
中日友好医院最出圈的3件套,不少人特意去打卡!确实让人震惊!

中日友好医院最出圈的3件套,不少人特意去打卡!确实让人震惊!

尼古拉斯Nana
2026-11-16 00:06:50
上海1300万多选民投票选举区和乡镇两级人大代表,陈吉宁朱忠明等参加投票

上海1300万多选民投票选举区和乡镇两级人大代表,陈吉宁朱忠明等参加投票

上观新闻
2026-11-16 18:43:28
突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

起点财经
2026-11-16 15:41:03
林生斌再发声明:“潼臻一生”品牌于案发前创立,基金会未公开募集资金

林生斌再发声明:“潼臻一生”品牌于案发前创立,基金会未公开募集资金

红星新闻
2026-11-17 00:30:23
容祖儿这次演唱会,坐内场看得清楚,她上身亮片外套发型都在线,唯独那条裤子松垮垮堆在鞋面上,走两步就得提一下,唱快歌都不敢迈大步

容祖儿这次演唱会,坐内场看得清楚,她上身亮片外套发型都在线,唯独那条裤子松垮垮堆在鞋面上,走两步就得提一下,唱快歌都不敢迈大步

一盅情怀
2026-11-16 16:01:58
日本参议员硬刚防卫相:你敢说这句话吗?

日本参议员硬刚防卫相:你敢说这句话吗?

环球网资讯
2026-11-16 06:55:05
女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

一丝不苟的法律人
2026-11-16 11:01:14
广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

潇湘晨报
2026-11-16 14:40:21
离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

财闻
2026-11-16 13:16:06
太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

金石随笔
2026-11-16 15:02:52
马斯克幽默回复中国网友对他的安保担忧

马斯克幽默回复中国网友对他的安保担忧

瓦砾村夫
2026-11-16 21:16:48
涉嫌严重违纪违法,张旭被查

涉嫌严重违纪违法,张旭被查

中国基金报
2026-11-16 21:13:03
欧国联死亡之组!2强默契出线,德国5-0大胜荷兰,希腊1-0后出局

欧国联死亡之组!2强默契出线,德国5-0大胜荷兰,希腊1-0后出局

体育知多少
2026-11-17 06:02:49
球迷展示侮辱性标语横幅,大喊“出门遛狗请牵绳”,官方通报:刘某某、王某被处以行政拘留五日

球迷展示侮辱性标语横幅,大喊“出门遛狗请牵绳”,官方通报:刘某某、王某被处以行政拘留五日

南方都市报
2026-11-16 10:56:40
疑似用虾滑充当肿瘤?中南大学湘雅医院被爆出史诗级全AI论文

疑似用虾滑充当肿瘤?中南大学湘雅医院被爆出史诗级全AI论文

西虹市闲话
2026-11-16 18:42:42
2026-11-17 07:23:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379641文章数 607735关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

房产
时尚
数码
旅游
军事航空

房产要闻

6.6亿!海口卖地!

大风降温,穿羊羔毛啊!

数码要闻

价格不再mini 但iPad mini的魅力还在

旅游要闻

传说一夜筑城,纳雍闹地山上,藏着被淡忘的水西屯!

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版