网易首页 > 网易号 > 正文 申请入驻

商汤具身智能大招!最强多模态大模型登场,给机器人装上大脑和眼睛

0
分享至

作者 ZeR0

编辑 漠影

国产大模型,给人形机器人装上大脑、眼睛、耳朵和嘴巴了!

这位傅利叶通用人形机器人GRx,立即辨认出“水”和“可乐”,还能根据说话人提出的“想减肥+爱运动”需求,给出适合的建议。

让它夸人,也是张口就来。

另一位具身智能机器人“飞燕”,能娓娓道来地描述眼前的场景,包括室内环境如何、人们在做什么。

这意味着以后机器人迎宾或当解说员,不再是站桩上岗了,而是活人感满满,更自如地跟人侃天侃地聊周围,还能察觉眼前人的心情,通过改变语气和音调给足情绪价值。

这些多模态能力,来自商汤刚刚发布的新一代「日日新SenseNova V6」大模型。

今天,「日日新SenseNova V6」火力全开,实现「长思维链 x 数理能力 x 推理能力 x 全局记忆」能力升级,包括最长64K思维链、大幅领先GPT-4o的数据分析能力、多模态深度推理国内第一、10分钟长视频理解及深度推理等强项,还展示了将先进视觉交互和理解引入机器人的应用效果。

商汤这次多模态能力的升级,让人形机器人在视觉和语言能力上,具备了更趋近人的水平。

当智东西问到是否会推动大模型加速应用到具身智能机器人,商汤科技联合创始人、执行董事及人工智能基础设施和大模型首席科学家林达华干脆利落地回答:“这个肯定会去做。”

林达华说,商汤将“如何将机器人交互能力与具身智能的结合”视作一个非常重要的未来发展方向。他认为最终的AI交互形态是像人一样交互,不会是对着一个电脑窗口,届时从机器人、汽车到手机、眼镜,多模态交互将无处不在。

除了当导游、讲解员,「日日新SenseNova V6」也能玩创意,智东西实测了让它给空白梗图设计对话,脑洞开得既多又大。

它还能速览中长分钟视频,总结重点内容,精确到视频里的几分几秒,而且能按照用户要求,将信息按列表形式输出,或是剪辑指定场景的视频片段。

只需在商量网页版上传一个视频,你就可以做针对性的提问,比如“这俩人关系怎么样?”、“这个人推荐的三个商品,哪个性价比高?”

你还可以让它深入分析故事情节,比如分析某一集《名侦探柯南》里凶手是怎么下毒的。

林达华透露说,今年商汤将把视频理解支持时长进一步提升到1小时。

商量App上的实时视音频交互能力也非常丝滑方便,打开手机摄像头,就可以哪里不懂问哪里。无论是镜头里一扫而过的街景,还是讲解数学题和翻译文字,或者看图讲故事,AI都信手拈来。

全新商量网页版即日上线,商量App已开启内测,日日新SenseNova V6 API明日上线。

网页版指路:chat.sensetime.com

商汤还发布商汤大装置SenseCore 2.0,同时推出四大行业解决方案,要做“最懂大模型的AI基础设施”。

值得一提的是,国产芯片参与了「日日新SenseNova V6」的训练。

商汤科技联合创始人、大装置事业群总裁杨帆告诉智东西,国产芯片这三年快速进步,商汤持续对进口及国产芯片做适配和优化,希望能提供市场最优的性价比。

2025年大模型发展有三大重要技术趋势:效率至上、多模态、深度推理。

新发布的「日日新SenseNova V6」原生多模态通用大模型,采用混合专家架构(MoE),拥有6000亿参数,做到三合一:多模态长思维链+多模态强化学习+多模态全局记忆。

其推理能力显著提升,一个模型同时在多模态推理和纯文本推理上做到性能对标国际领先模型。从商汤展示的分数来看,SenseNova V6 Reasoner推理模型的推理能力超过了OpenAI o1和Gemini 2.0 flash-thinking。

商汤也实诚地放出了SenseNova V6与OpenAI、谷歌、DeepSeek先进模型在纯文本、多模态、纯文本推理、多模态推理上的具体分数对比,总体旗鼓相当,高低略有参差。

其中,纯文本推理和多模态推理方面,SenseNova V6在多项数学基准测试中的超过了DeepSeek-R1、OpenAI o1、GPT-4.5。

SenseNova V6的Tablebench通过率超过GPT-4o,展现出强推理能力。

主打实时视音频交互的SenseNova V6 Omni,实现了视频-语音交融的端到端输入输出,在多模态音视频学术榜单上的综合能力全面领先,单项能力对标专用大模型水准,做到视觉理解准确度高,语音错误率低。

在场景能力私域评测中,SenseNova V6 Omni在识别能力、问答对话、记忆能力等维度均显著领先于同类产品。

模型不能纸上谈兵,解决现实问题才是硬本事。商汤认为,大模型在商业应用上有两个关键价值:融入真实的业务应用,优化与人交互体验。

而真实世界中的对话,不是像跟DeepSeek对话那样,把每个指令都描述得很完整清晰,可能随手指着一个东西提问:“那个是啥?”“这道题怎么做?”

对应到机器人也是如此。

多模态融合模型可以成为机器人的大脑和眼睛,增强感知能力,像人一样进行深入思考和自然表达,还有更强的记忆力,比如能够记住之前来参观过的人。

这使得机器人在落地到导览等应用场景时,可以随时随地做讲解,在网络通畅的状态下,实时理解和响应语音意图,与人流畅对话,实现更拟人化的社交与互动。

得益于「日日新SenseNova V6 Omni」多模态能力的进化,机器人能够看懂人的手势,回答人们对周围环境及物品的提问,根据对话内容和场景灵活切换交流方式,带给用户更真实、亲切的互动体验。

具身智能将是商汤多模态推理模型的重要场景之一。此次技术交流日上,商汤特别设置具身智能主题论坛。

谈到近期引起舆论争议的“朱啸虎批量退出人形机器人”以及具身智能泡沫话题,作为人形机器人嘉宾代表,银河通用合伙人、大模型负责人张直政谈道,作为科研人员,他从谨慎乐观的角度来看待,泡沫对于驱动科技创新很正常。

商汤科技联合创始人、大装置事业群总裁杨帆认为,科技产业要经历质疑,克服质疑,才能迈向更认真严肃的产业阶段,让大家更认真的思考距离商业落地还有多远。他相信多模态交互能力会给机器人带来帮助。

在日常生活和办公场景中,应用了「日日新SenseNova V6」系列模型后,也能带来更多便利和生产力的提升。

比如上传时长10分钟以内的网课、旅游、生活类视频,就可以让AI快速整理重点、回答与视频内容相关的问题。

商家可以收集顾客对新品的评论吐槽截图,让「日日新SenseNova V6」做专业的经营分析。

它还能解决真实办公场景里繁琐但重要的需求,包括信息管理、报告生成、运维日志生成、数学建模等。

另外通过商量app,不仅有常见的文字聊天、图片问答、深度思考等功能,还能进行音频通话和视频通话,并针对四大高频需求,提供「数学解题」、「点读翻译」、「文旅讲解」、「绘本讲解」四大功能。

你可以跟AI玩“你画我猜”。在开场演示中,「日日新SenseNova V6」立即识别出用户正在画的是哪吒大电影里的太乙真人。它还能惟妙惟肖地模仿太乙真人角色的口音。

拍照解题几乎已经是各类多模态AI聊天app的标配。但这些普遍要先拍照,上传照片,再等AI输出一个很长的答案。

而通过商量app实时视频通话,AI可以像一个真人家教,精准识别手写体,深度推理分析和定位错误,并针对错误点一步一步引导式讲题。

外出旅游就更方便了,相当于在手机里拥有一个博学多识的免费导游,打开摄像头一扫,想问什么都能立即获得答案。你还可以把摄像头对准外文书籍或菜单,让AI实时翻译。

在家庭场景,很多家长没有时间读绘本,或者得绞尽脑汁地给孩子讲故事。这也可以由商量app代劳,它能实现连续记忆与时序逻辑理解,讲述更完整生动的故事,还能挖掘故事深意,升华主旨。

上述进展离不开商汤在技术上的持续创新。会上,商汤着重强调了三类技术:

(1)多模态长思维链:通过智能体(Agents)协作进行长思维链合成和验证,可支持合成最长 64K的多模态长思维链,使模型具备面对复杂问题的长时间思考能力。

(2)多模态强化学习:构建了面向多种图文任务的混合增强学习框架,可以同步进行基于人类偏好的RLHF、基于确定性答案或沙盒运行的RFT,并通过动态调节机制保证主客观表现的均衡。

(3)多模态全局记忆:可将视觉信息、听觉、语言、与时间轴逻辑进行对齐,形成多模态统一时序表征。在此基础上通过内容敏感的细粒度级联信息压缩,实现400倍的长视频压缩。

此外,SenseNova V6 Video将视频理解时长突破到10分钟,离不开长视频统一表征和动态压缩的技术进步,可将10分钟长视频压缩到16K tokens,同时仍然保留关键语义。通过“视觉-听觉-语义”三重关联推理,它能发现视频内容中的一些矛盾和漏洞。

大模型技术的高效落地与规模化应用,离不开高效稳定的算力底座。据商汤科技联合创始人、大装置事业群总裁杨帆透露,商汤大装置已经将商汤多模态推理应用的成本降到和大语言模型一样。

通过PD分离/通信计算折叠/FP8强化/算子优化等基础设施与模型协同优化,结合预测模型驱动的弹性伸缩技术,商汤大装置实现了推理性能的突破,在线服务性能较头部厂商提升15%,超行业平均水平25%;离线推理方面,Prefill阶段提速5倍,Decode阶段提速3.5倍。

此外,商汤大装置联合某头部客户进行了大规模异构混训,基于自动并行策略、跨芯通信、容错恢复等核心技术,在5000张国产GPU集群上实现1个月稳定异构混训,达成80%算力利用率,成功突破单一GPU限制,为国产芯片碎片化问题提供了关键解决方案。

商汤大装置还宣布今年发放1亿代金券,全栈赋能场景落地。

大模型算法与基础设施的联合优化,已经成为推动生成式AI飞速发展的核心动力。

当前,商汤正基于“大装置-大模型-应用”三位一体核心战略,全面构建未来竞争力,致力于通过基础设施、大模型和应用的协同迭代,成为“最懂算力的大模型服务商”和“最懂大模型的算力服务商”。

基于三位一体战略,商汤打造以日日新(SenseNova)多模态大模型为基石,以生产力工具和交互工具为两大落地方向的“一基两翼”布局。其中生产力工具侧重在企业copilot、金融、政务,交互化工具侧重在拟人交互、多模态交互、智能营销。

从技术突破、商业落地到生态协同,商汤正在摸索出作为独立AI企业的核心竞争力,深入真实场景需求,服务于大众和企业日常,将多模态大模型的优势真正落到实处,实现更智慧、更温暖、更有用的人机交互。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

潇湘晨报
2026-11-17 11:31:12
《伟大的长征》研讨会,李乃文让“张国焘”出尽了洋相,一番心虚发言惹严肃的会场哄堂大笑

《伟大的长征》研讨会,李乃文让“张国焘”出尽了洋相,一番心虚发言惹严肃的会场哄堂大笑

娱乐故事
2026-11-17 23:54:45
10月失业率降到5.1%,就业大局稳住了

10月失业率降到5.1%,就业大局稳住了

贝壳财经
2026-11-17 09:40:03
小米回应雷军APEC发言紧张:这么大的国际场合,紧张太正常啦

小米回应雷军APEC发言紧张:这么大的国际场合,紧张太正常啦

潇湘晨报
2026-11-17 20:47:10
落后2球都能赢,96分钟绝杀,哈兰德双响+一剑封喉,挪威连扳3球,3-2逆转丹麦,晋级欧国联八强

落后2球都能赢,96分钟绝杀,哈兰德双响+一剑封喉,挪威连扳3球,3-2逆转丹麦,晋级欧国联八强

侧身凌空斩
2026-11-18 05:46:08
车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

秒懂资讯
2026-11-17 16:58:55
环球时报快评:“希望我的祖国也能有一个深圳”在外网火了

环球时报快评:“希望我的祖国也能有一个深圳”在外网火了

环球网资讯
2026-11-17 17:49:03
美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

风向观察
2026-11-17 12:57:36
大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

极目新闻
2026-11-17 17:21:30
央视现场调查证实,当地被迫承认问题;观点:如果基层连基本的实事求是都做不到,那互动也就没有意义

央视现场调查证实,当地被迫承认问题;观点:如果基层连基本的实事求是都做不到,那互动也就没有意义

南方都市报
2026-11-17 08:27:50
比2-2更扎心的,是巴林主帅桑切斯赛后的表态,简直是对国足的双重羞辱

比2-2更扎心的,是巴林主帅桑切斯赛后的表态,简直是对国足的双重羞辱

南海浪花
2026-11-18 01:30:46
先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

军迷战情室
2026-11-17 07:39:35
功亏一篑!斥巨资护桥终付东流,俄罗斯克里米亚大桥已经被乌军击毁一侧

功亏一篑!斥巨资护桥终付东流,俄罗斯克里米亚大桥已经被乌军击毁一侧

军迷战情室
2026-11-17 19:38:27
说实话,这种局面不能再延续下去了,否则中国真的有点危险了!

说实话,这种局面不能再延续下去了,否则中国真的有点危险了!

今夜繁星坠落
2026-11-15 23:17:03
11月17日俄乌:克宫引以为傲的克里米亚大桥被炸塌了

11月17日俄乌:克宫引以为傲的克里米亚大桥被炸塌了

山河路口
2026-11-17 19:39:00
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
重磅!美国商务部新规落地,围堵中国 AI 远程算力(附中英文下载)

重磅!美国商务部新规落地,围堵中国 AI 远程算力(附中英文下载)

起点财经
2026-11-17 14:28:47
俄罗斯总统普京抵达深圳

俄罗斯总统普京抵达深圳

澎湃新闻
2026-11-18 02:09:03
一旦我国出生人口跌破700W会怎样?网友们竟都直言不讳!真有条有理

一旦我国出生人口跌破700W会怎样?网友们竟都直言不讳!真有条有理

夜深爱杂谈
2026-11-17 20:43:25
2026-11-18 07:19:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12955文章数 117195关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

俄罗斯总统普京凌晨抵达深圳 现场画面披露

头条要闻

俄罗斯总统普京凌晨抵达深圳 现场画面披露

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

房产
亲子
手机
公开课
军事航空

房产要闻

5381亩之后,三亚绿谷,等一个500强!

亲子要闻

诺和诺德公布司美格鲁肽最新研究结果:近80%的6岁至12岁肥胖儿童BMI降低10%或以上

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版