网易首页 > 网易号 > 正文 申请入驻

科学家揭示模型内部的信息流动层级,用于提升多模态AI系统透明性

0
分享至

“本次研究是在多模态大模型信息流动机制探索方面的开创性工作之一,首次系统性地分析了信息在跨模态交互中的流动路径。”对于荷兰阿姆斯特丹大学博士生张智和所在团队的新论文,审稿人给出上述评价。

张智表示,他发现当多模态大模型在做多模态任务的时候,模型从低层到高层分别做了以下工作。

第一步,模型将整个图像的全局视觉信息传播到语言对应的表示中。第二步,模型将与回答问题相关的特定视觉信息进一步传播到语言表示中。第三步,模型将整合后的多模态信息在问题的表示中流向输入序列的最后一个位置,以帮助生成最终预测。

值得注意的是,模型最初生成的答案是小写形式,然后将首字母转换为大写。这表明,模型的语义处理(内容理解)和语法处理(格式调整)是分开进行的。

在本次研究之中,张智采用了经过验证的可解释性工具(注意力消融),确保了方法的可靠性,并避免了对工具本身有效性的重复验证。这一研究不仅加深了对多模态大模型内部信息处理方式的理解,也为未来改进模型结构和优化跨模态信息融合提供了理论指导。

他表示,本次研究旨在揭露多模态大模型的内部工作机制,并在以下几个潜在的方向有应用前景:

首先,在模型运行效率方面,本次研究揭示了视觉-语言信息融合的关键阶段,可用于优化模型架构、减少冗余计算、提高推理速度,特别是在视觉问答(VQA,Visual Question Answering)、图像字幕生成等任务上提升性能。

其次,在模型编辑(Model Editing)方面,该成果提供了针对不同模态信息在不同层中作用的深刻理解,有助于开发更精准的多模态信息干预方法,使得模型在特定任务或场景下具备更强的适应性,比如在医疗影像分析、自动驾驶和智能监控等领域优化决策机制。

再次,在可解释性方面,该研究揭示了模型内部信息流动的层级结构,可用于提升多模态 AI 系统的透明性,为学术界和工业界开发更可控、更可信赖的 AI 模型提供理论支持,特别是在需要严格审核的领域比如法律、金融和医疗 AI 领域,能够确保 AI 决策过程的可追溯性和公平性。

近年来,多模态大模型在视觉-语言任务(如视觉问答、图像字幕生成等)中表现出了强大的能力。这些模型通常结合了当前流行的大模型和视觉编码器(Vision Encoder),使其能够同时处理图像和文本。

然而,尽管多模态大模型在实际任务中取得了显著进展,人们对其内部工作机制仍然缺乏深入理解,尤其是视觉信息和语言信息在模型内部是如何交互和融合的。

因此,本研究的目标是揭示多模态大模型在执行多模态任务的时候模型内部的工作机制是什么样的?尤其是不同模态(视觉和语言)之间的信息流动过程以及融合交互过程是怎样的?

基于此,本次课题的主要研究问题包括:

  • 视觉信息与语言信息如何融合?模型如何将整体图像信息于语言信息融合?模型如何将问题相关的视觉信息与语言信息融合?
  • 模型的不同层(layer)中如何处理不同模态信息?视觉和语言信息在模型的不同层中如何传播?低层、中层和高层的功能如何分工?
  • 视觉和语言信息如何影响最终预测?语言和视觉信息在最终预测答案时的贡献是什么?预测的答案在模型内部是如何生成的?

然而,现实很快给研究团队带来了挑战。多模态大模型是“牵一发动全身”的高度复杂系统,想要从底层细粒度地解析所有细节,不仅计算量巨大,分析难度也极高。为此,研究团队走了不少弯路,尝试了各种复杂的实验设计,但由于变量太多,得到的结果往往过于零散,难以形成完整的理论框架。

后来,在对大量实验数据进行深入分析后,研究团队意识到,需要回归最基础的问题——多模态信息流动的核心机制。于是,研究团队从一堆复杂的实验结果中,提炼出了多模态大模型最根本的核心问题:不同模态之间的信息流如何交互、如何融合?这一视角的转变,让研究工作变得更加清晰和有方向感,也让他们不再纠结过于细节的微观过程,而是专注于理解多模态大模型处理多模态信息的整体框架。这一策略最终帮助研究团队揭示了视觉-语言信息融合的两阶段机制,并建立了模型内部信息流动的解释框架。

研究中,有的发现是意想不到或者偶然发现的。比如:答案生成采取的是两阶段机制。最初,研究团队主要关注视觉信息和语言信息在网络中如何整合以及如何传播,但有一天在分析模型生成答案的过程中,张智无意中发现答案在中层就已经基本确定,而高层的作用似乎只是“修饰”答案比如将答案的首字母大写。这个发现让研究团队感到非常惊讶,因为大家一直以为整个模型的计算都是均匀推动答案预测的,但事实上它是分阶段进行的。这让张智意识到,研究团队不仅在研究模型的计算方式,更是在研究它的“思考方式”。

最终,相关论文以《跨模态信息在多模态大型语言模型中的流动》(Cross-modal Information Flow in Multimodal Large Language Models)为题发在arXiv[1]。

由于本次研究是在业界已经训练好并且表现比较好的模型上做的探索,因此研究团队下一步准备将研究的成果应用于模型的预训练中,旨在开发出一个更鲁棒和运行更高效的多模态大模型。

参考资料:

1.https://arxiv.org/pdf/2411.18620

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突发!黄仁勋黄乐最新消息曝光,大开眼界!

突发!黄仁勋黄乐最新消息曝光,大开眼界!

财经要参
2026-11-18 12:00:05
湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

极目新闻
2026-11-18 13:43:23
马克龙在吉隆坡语出惊人:各国要么沦为中国的附庸,要么沦为美国的附庸

马克龙在吉隆坡语出惊人:各国要么沦为中国的附庸,要么沦为美国的附庸

起点财经
2026-11-18 14:00:14
纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

果妈聊娱乐
2026-11-17 11:39:05
中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

浯江孤舟
2026-08-31 10:07:56
谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

不写散文诗
2026-11-18 13:55:13
全球化退潮,APEC如何寻找新定位?

全球化退潮,APEC如何寻找新定位?

凤凰WEEKLY
2026-11-18 14:59:22
又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

聊斋新志
2026-11-18 16:53:43
兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

大风新闻
2026-11-18 14:36:05
联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

醉卧浮生
2026-11-18 15:02:34
离谱到家!绵阳 1600 元烤全羊端上桌,游客拿放大镜找,几乎找不到肉

离谱到家!绵阳 1600 元烤全羊端上桌,游客拿放大镜找,几乎找不到肉

川渝视觉
2026-11-18 11:00:51
高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

城事堂
2026-11-17 09:03:52
英伟达:停止向中国供应 H200

英伟达:停止向中国供应 H200

云头条
2026-11-18 12:16:55
画面曝光!男子闯入C-130“大力神”运输机内部:剪断电线、砸坏仪表盘、倾倒腐蚀性物质,使美军机报废,被起诉

画面曝光!男子闯入C-130“大力神”运输机内部:剪断电线、砸坏仪表盘、倾倒腐蚀性物质,使美军机报废,被起诉

大风新闻
2026-11-18 14:36:05
全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

火山詩话
2026-11-18 06:17:30
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

火山詩话
2026-11-18 11:00:42
王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

快科技
2026-11-18 10:02:25
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
19.99万 !特斯拉新车上市!

19.99万 !特斯拉新车上市!

科技堡垒
2026-11-18 08:00:39
2026-11-18 19:44:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17503文章数 515372关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
旅游
家居
教育
公开课

数码要闻

三星LG显示加码AR微显示技术 索尼占七成OLEDoS供应

旅游要闻

官方通报“民宿烤全羊分量不足”:该民宿存在“未明码标价”问题,已立案调查

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

2027泰晤士跨学科科学排名,出炉!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版