网易首页 > 网易号 > 正文 申请入驻

商汤开源SenseNova-MARS,突破多模态搜索推理天花板

0
分享至

近日,商汤正式开源多模态自主推理模型 SenseNova-MARS(8B/32B 双版本),其在多模态搜索与推理的核心基准测试中以 69.74 分超越Gemini-3-Pro(69.06 分)、GPT-5.2(67.64 分)。

SenseNova-MARS是首个支持动态视觉推理和图文搜索深度融合的 Agentic VLM 模型,它能自己规划步骤、调用工具,轻松搞定各种复杂任务,让AI真正具备“执行能力”。

在MMSearch、HR-MMSearch、FVQA、InfoSeek、SimpleVQA、LiveVQA等基准测试中,SenseNova-MARS取得开源模型中的 SOTA 成绩,还超越Gemini-3.0-Pro、GPT-5.2等顶级闭源模型,在搜索推理和视觉理解两大核心领域全面领跑。

全能冠军自主解决复杂问题

SenseNova-MARS在多项多模态搜索评测中展现出明显的领先优势,平均得分达到 69.74 分,成功超过了 Gemini-3-Pro 的 69.06 分与 GPT-5.2 的 67.64 分。


在 MMSearch 榜单(图文搜索核心评测)中,模型以 74.27 分登顶,超GPT-5.2(66.08 分);HR-MMSearch(高清细节搜索评测)中以54.43 分领先,显著拉开与闭源模型的差距。


HR-MMSearch的测试题目堪称“AI界的奥林匹克”:采用305张2025年最新的4K超高清图片,确保AI无法依赖旧知识“作弊”;所有问题都针对图片中占比不到5%的细节,比如小标志、小字、微小物体,必须用图像裁剪工具才能看清;覆盖体育、娱乐文化、科学技术、商业金融、游戏、学术研究、地理旅行等八大领域,60%的问题都需要至少使用三种工具才能解答。

简单说,无论是需要“查遍全网”的知识密集型任务,还是需要“火眼金睛”的细粒度视觉分析,它都是当前的“全能冠军”。

组合拳解决真实场景问题

SenseNova-MARS还能实实在在落地到我们生活和工作的场景,解决需要“多步骤推理+多工具协作”的问题。

普通AI的工具调用,要么只能搜文字,要么只能看图片,遇到需要“先放大细节、再识别物体、最后查背景”的复杂任务就束手无策。


面对识别赛车服微小 Logo + 查询公司成立年份 + 匹配车手出生年月 + 计算差值’的复杂任务,SenseNova-MARS 可自主调用图像裁剪、文本 / 图像搜索工具,无需人工干预完成闭环解答。


SenseNova-MARS能从产品和行业峰会的照片中,识别企业的标志,快速搜集产品、企业的信息,以及时间、数量、参数等细节要素,辅助分析行业情况和格局。


SenseNova-MARS能从赛事照片中识别画面中的Logo、人物等信息,追溯比赛或人员背景信息,帮助快速补充重要细节。


SenseNova-MARS甚至能够轻松处理,这类超长步骤的多模态推理,和超过三种工具调用,自动裁剪分析细节、搜索相关研究数据,快速验证假设,得出关键判断。

拥有这种“自主思考+多工具协作”的能力,SenseNova-MARS能够自动解决“细节识别 + 信息检索 + 逻辑推理”复杂任务,帮助实现工作效率提升。

图像裁剪:能精准聚焦图片上的微小细节,哪怕是占比不到5%的细节——比如赛车手衣服上的微小Logo、赛事照片里观众席的标语,都可通过裁剪放大清晰分析。

图像搜索:能在看到物体、人物或场景,的瞬间自动匹配相关信息——比如识别出赛车手的身份,或是某款冷门设备的型号。

文本搜索:能快速抓取精准信息——无论是公司成立年份、人物出生年月,还是最新的行业数据,都能秒级获取。

从练中学, 形成"直觉"和"经验"

SenseNova-MARS采用了“因材施教”的训练方法。

第一阶段:打基础。针对跨模态多跳搜索推理训练数据稀缺的痛点,创新性的提出了基于多模智能体的自动化数据合成引擎,采用细粒度视觉锚点 + 多跳深度关联检索的机制,动态挖掘并关联跨网页实体的逻辑,自动化构建高复杂度的多跳推理链路,同时引入闭环自洽性校验来去除幻觉数据,构造出具备严密逻辑链条与高知识密度的多跳搜索问答数据。用精心筛选的“高难度案例”做教材,每个案例都标注了“该用什么工具、步骤是什么”,让AI先学会基本的“破案逻辑”。这些案例都是从海量数据中挑出的“硬骨头”,确保AI一开始就接触真实复杂场景。

第二阶段:练实战。采用“强化学习”——就像侦探在一次次破案中积累经验,AI每做对一次决策(比如选对工具、步骤合理)就会获得奖励,做错了就调整策略。为了避免AI“学偏”,研究团队还加了个“稳定器”——BN-GSPO算法,让它在处理简单题和复杂题时都能保持稳定进步,不会出现“偏科”。 这种基于双阶段归一化的优雅机制有效平滑了动态工具调用返回分布多样性带来的优化波动并确保了学习信号分布的一致性,从而成功解决了跨模态多步多工具智能体训练过程中的收敛性难题。

经过这样的训练,AI不仅学会了用工具,更培养"工具使用直觉"——知道在什么情况下应该使用哪些工具,以及如何将不同工具的结果有机结合起来。

免责声明:此文内容为本网站刊发或转载企业宣传资讯,仅代表作者个人观点,与本网无关。文章不构成投资建议,仅供读者参考,并请自行核实相关内容。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
<span class="js_title_inner">宋永祥当选山东省政协副主席

<span class="js_title_inner">宋永祥当选山东省政协副主席

嗨0543
2026-01-30 17:59:20
比李嘉诚还有钱?香港惊现携带780亿的“神秘富豪”!

比李嘉诚还有钱?香港惊现携带780亿的“神秘富豪”!

港漂圈
2026-01-29 20:07:11
70岁成龙入驻小某书:自曝患病已久,两鬓斑白太心疼,姚晨留言

70岁成龙入驻小某书:自曝患病已久,两鬓斑白太心疼,姚晨留言

阿纂看事
2026-01-30 17:58:24
八路军成立,毛泽东看过任职名单后,暴怒:这不是欺负老实人吗?

八路军成立,毛泽东看过任职名单后,暴怒:这不是欺负老实人吗?

鹤羽说个事
2026-01-30 11:04:33
广东省卫生健康委党组书记、主任刘利群:擦亮数智健康“粤”字招牌

广东省卫生健康委党组书记、主任刘利群:擦亮数智健康“粤”字招牌

阿离家居
2026-01-30 07:09:10
双重噩耗来袭!日本自民党对华认输,高市早苗豪赌惨败恐遭清算

双重噩耗来袭!日本自民党对华认输,高市早苗豪赌惨败恐遭清算

梦在深巷aqa
2026-01-30 18:17:59
武汉警方通报:李某某(男,16岁)凌晨离家后未归,搜寻仍在进行

武汉警方通报:李某某(男,16岁)凌晨离家后未归,搜寻仍在进行

越乔
2026-01-30 16:13:01
伊朗已被包围,美军开战前,普京派人探中方口风,董军斩钉截铁

伊朗已被包围,美军开战前,普京派人探中方口风,董军斩钉截铁

霁寒飘雪
2026-01-30 16:14:01
四川省启动独生子女父母奖励:发放标准、申领流程、所需材料?

四川省启动独生子女父母奖励:发放标准、申领流程、所需材料?

虎哥闲聊
2026-01-29 14:58:28
猝死程序员公司HR被网暴离职:曾称死在热爱的岗位上不会有遗憾…

猝死程序员公司HR被网暴离职:曾称死在热爱的岗位上不会有遗憾…

柴狗夫斯基
2026-01-30 10:15:19
春节不忙乱,这3道菜提前备好,简单一热就上桌,省事好吃寓意好

春节不忙乱,这3道菜提前备好,简单一热就上桌,省事好吃寓意好

江江食研社
2026-01-27 20:30:03
田朴珺喊大佬引群嘲!随口称呼没分寸,贵族学校老板修养太拉胯

田朴珺喊大佬引群嘲!随口称呼没分寸,贵族学校老板修养太拉胯

暖心萌阿菇凉
2026-01-28 21:38:44
欧美芯片企业严重警告!如果中国再降价,世界芯片产业将被毁灭

欧美芯片企业严重警告!如果中国再降价,世界芯片产业将被毁灭

夕阳渡史人
2026-01-30 09:46:11
比缅北更恐怖!曾经的旅游胜地,如今黄赌毒俱全,性交易随处可见

比缅北更恐怖!曾经的旅游胜地,如今黄赌毒俱全,性交易随处可见

来科点谱
2025-10-24 09:25:32
同是带货,一场直播收入近亿的李亚鹏,能靠慈善成下一个董宇辉吗

同是带货,一场直播收入近亿的李亚鹏,能靠慈善成下一个董宇辉吗

揽星河的笔记
2026-01-30 18:15:36
刚刚,甘肃景泰发生地震

刚刚,甘肃景泰发生地震

甘肃交通广播
2026-01-30 16:13:17
申花被足协官宣扣分第二天!马纳法就发声做出重要决定,赢得点赞

申花被足协官宣扣分第二天!马纳法就发声做出重要决定,赢得点赞

张丽说足球
2026-01-30 16:11:04
上海:给予汽车置换更新补贴支持,购买新能源乘用车补贴最高不超1.5万元

上海:给予汽车置换更新补贴支持,购买新能源乘用车补贴最高不超1.5万元

界面新闻
2026-01-30 17:34:12
还没过年,中产就去山姆抢200块钱的春节礼盒了

还没过年,中产就去山姆抢200块钱的春节礼盒了

源Sight
2026-01-29 18:47:40
申花内部人士谈扣分:没什么好多想的,一场场去拼别无选择

申花内部人士谈扣分:没什么好多想的,一场场去拼别无选择

懂球帝
2026-01-30 15:03:05
2026-01-30 18:52:50
财经网 incentive-icons
财经网
用财经思维勾搭一切
59067文章数 650477关注度
往期回顾 全部

科技要闻

意念控制机器人不是科幻 1-2年就落地

头条要闻

特朗普警告称中英、中加合作是"危险的" 外交部回应

头条要闻

特朗普警告称中英、中加合作是"危险的" 外交部回应

体育要闻

敢揍多尔特,此子必成大器?

娱乐要闻

金晨出事前 曾灵魂发问未收到春晚邀请

财经要闻

金银闪崩,是调整还是趋势反转的开始?

汽车要闻

合资品牌首搭800V/5C快充 东风日产NX8将于3、4月上市

态度原创

手机
艺术
家居
游戏
房产

手机要闻

OPPO Reno16已开始测试:搭载天玑8500 联发科最强8系芯片

艺术要闻

风景画选刊 | 中国油画学会三十年艺术展

家居要闻

蓝调空舍 自由与个性

在上海,我们将与“索尼克”开展最终的速度对决

房产要闻

藏不住的小城大事,海澄新城执掌自贸港风口,进阶兑现美好生活新篇

无障碍浏览 进入关怀版