网易首页 > 网易号 > 正文 申请入驻

重构多模态生成:商汤U1 Pro如何用Agent逻辑终结AI抽卡

0
分享至


作者Yoky
微信| yokyliu617

都2026年了,AI能自己写完一个复杂的软件工程交付,却还搞不定一张信息图里的100个汉字。

这种戏剧性的落差,揭开了当下生图模型的困境。之所以把二者放在一起比较,是因为它们起点相同:同样的专业场景,同样的模型驱动。但在过去两年,两边走出了完全不同的技术体位。

写代码这一边,Coding Agent接需求、写工程、跑测试、改bug,循环到交付为止,用户会不会编程已经不重要了。而设计这一边,行业最顶尖的生图模型仍然要你生成十张、挑出一张、再打开PS手动修四十分钟。

为什么代码能交付,设计不能?差距不在生成能力上。Coding Agent赢的不是代码写得更好,而在于通过不停的debug来保证最终的交付质量反观生图模型,生成之后的一切错乱,仍然只能靠类设计师来兜底。

7月18日的WAIC上,商汤发布了最新日日新SenseNova U1 Pro(以下简称U1 Pro),来解决这层“最终交付”的问题。作为面向长程任务的、交付级原生多模态智能体基座,U1 Pro将理解、生成和行动在同一个模型里完成了深度统一。

它的工作逻辑和Coding Agent异曲同工:通过理解需求,规划版式,生成内容,检查问题,自主修正,直到输出能直接使用的商业成品。

1

第一部分:U1 Pro:抽卡终结者?

生图模型虽然已经火爆三年,但商业落地最核心的从来不是“图不够好看”,而是“出来的东西根本不能用”。

问题长期集中在三个死角:一是中文排版必崩:一张信息图100个字,错几个,整张废掉。二是复杂信息的空间布局:图文关系和层级逻辑,出来全是堆砌。三是长文本对齐无力:prompt越长,模型越容易失控。

商汤董事长兼CEO徐立在WAIC演讲中拎出了一个关键判断:推理生成(如Nano Banana、GPT-Image-2这类模型)解决了“可控”,但没解决“可交付”。局部修改会变成全局都在动,信息图文字牛头不对马嘴,生成完了还得借传统编辑工具去修。“可控不代表可交付。”

也就是说,整个设计AI行业走到了一个尴尬的中间态:面向的受众依然是专业人士,你得懂专业工具,才能把AI出的东西修到能用。

这正是代码领域三年前的状态。如今代码已经从“辅助专业人士”走到了“替普通人交付”,而设计还卡在半路。

回顾Coding Agent 的发展路径,先走通了“从Copilot工具辅助,到Vibe Coding意图驱动,再到Agentic Coding系统级交付”的演进。多模态产品正在走同一条路:第一阶段解决真实感,第二阶段能用自然语言交互并持续修改,第三阶段才能直接在真实场景里完成交付级创作。

按这个划分,市面上的生图模型整体还停在第二阶段,U1 Pro想做的是第一个跨进第三阶段的。

那什么叫“能用”?商汤科技首席科学家林达华给了一个标尺。商汤内部有一支200位美院设计师组成的评审团队,每张图都要回答同一个问题“如果你是设计师,你愿不愿意把这张图交给客户?”只有当60%的图能达到这个标准,才算是达到交付级。

按这个标尺来衡量,行业现状很难看。林达华给了一组数字:“普通生图模型的交付率都是个位数。近期更偏商业化的模型,包括Nano Banana,交付率也低于五成。真正能达到可交付的就两个:U1 Pro和GPT-Image-2。”

从硅星人的实测看,我们给出了风格相对模糊的提示词,但要求文字准确,层级清楚、排版有逻辑。不仅需要模型自己查攻略规划路线更要将复杂的信息直接的展示出来。


据硅星人了解,WAIC现场那张铺满整面迎宾墙的长卷《智会世图》,就是U1 Pro生成的:4:1超宽画幅,宣纸水墨风,串起WAIC从2018到2026的九年历程,放大之后小字和图标依然清晰。


除了信息图,商汤还在WAIC上展示了更复杂数据可视化的生成,先配合了小浣熊进行分析数据分析,再交给U1 Pro出图,生成了「世界杯决赛对阵分析图」。


出图即用,视觉生成的Agent化,苗头确实出现了。

1

第二部分:从U1到U1 Pro:两个月,三次迭代

商汤并没有一上来就做U1 Pro,而是用U1开源版,来验证一条新的技术路线。

把语言和视觉塞进同一个Transformer里联合学习,不再用传统的“一套理解、一套生成”的拼接方案,能否保证最终效果?U1开源版本(包含集成U1的Skills)GitHub星数两三个月涨到8000多,从某种程度来说,验证了这条路线的可行性。

之后的两个月,商汤拿信息图当做“磨刀石”。因为信息图同时考验文字准确、空间布局、逻辑层级、图文关系,是所有品类里最难的那个。两个月内三次迭代,每次都解决一个具体问题:V1让文字不再出错,V2让模型理解标题和正文的层级差异,V3让它学会合理安排模块和模块之间的空间关系。

每次版本迭代,团队都在回答同一个问题:这张图为什么不能直接拿去商业印刷?

这三步,几乎走完了人类设计师从实习生到成熟熟手的心路历程。而磨砺出来的空间规划和逻辑推理能力,反过来成了U1 Pro做“设计Agent”的底座。因为要能先自我检查与自我修正,前提是模型得先能“看懂”自己出的图哪里不对。

商汤首席科学家林达华这样描述U1 Pro的工作方式:“它会从一个草图出发,先规划该用什么版式,把版式画出来,看看是不是符合想象,然后再填入具体内容,最后进行整体调色或细节精修(refine)。”它不是赌一步出图,而是像真人设计师一样,草稿、填充、润色,每一步都在自动检查修正,循环到满意为止。

技术上支撑这套循环的是三个选择。

一是统一架构。 理解和生成在同一个模型内完成,不需要两套系统之间来回“翻译”。林达华打了个比喻:“如果生成走一套、理解走另一套,就像一个外国人跟中国人说话,always要用翻译。我们直接让他们说同一种语言。”

二是成本方面,极致的压缩token消耗量来降低用户的成本。 用32×32的大patch切图,token量降到常规的四分之一,再用自适应噪声控制补回细节。这是8K分辨率成本跑得起来的关键——否则推理成本会随分辨率爆炸。

最后,也是最关键的能提升审美的部分,让人类设计师在训练回路里。 商汤邀请了200位美院设计师评审,他们还在训练回路里持续为模型打分反馈,驱动强化学习。在冷启动阶段,由设计师提供思维链,先教会模型“一个好设计师接到需求后怎么一步步想”,之后通过RL不断精进审美品味。

模型最后最后“自己有sense了”,看到不同画面,也就知道下一步该做什么了。

1

第三部分:商汤的“大”视觉战略

回到开头那个问题:为什么代码能交付,设计不能?

现在看,答案不是设计在本质上比代码难,而是过去没有人这真正把“交付”当成最终目标。已经有了十几年视觉积累的商汤,从中看到了多模态统一交付的解法。

从CV时代的视觉识别,到感知智能时代的行业落地,再到今天的统一多模态架构,这家公司的核心技术一直都在围绕“看懂世界”展开。

这些底蕴落到U1 Pro身上,最直接的体现就是NEO-unify架构:让语言和视觉在同一个表征空间里联合学习,仅用十分之一的数据量,就达到了同等SOTA水平。数据效率的提升,短期看是省钱,长期看是迭代速度,在这条需要反复试错的路上,便宜就是快。

目前行业里做多模态的主流方案是拼接:VE负责理解、VAE负责生成、语言模型负责调度,出了问题再缝缝补补。

而商汤押的是“原生统一”,但这条路极难,要从零证明能不能实现,但是一旦跑通后,同一个技术母体可以向多个纵深方向延伸:比如面向设计的SenseNova U1和U1 Pro、面向世界模型的开悟、面向视觉理解的SenseNova-Vision以及具身智能,无需每个垂直方向都重新造一遍轮子。

别人在做一个产品,而商汤在打造一个通用底座。商汤押注的,是视觉+语言统一架构在未来的长期复利

而这正是商汤视觉战略的核心:看得懂世界,才谈得上交付世界

把视线再拉远一层。语言模型的战争打了三年,牌局渐定,行业的下一个共识正在向视觉收拢——世界模型要理解物理世界,视频生成要模拟物理世界,具身智能要进入物理世界,所有路线图的终点,都指向了视觉。

一个真正属于视觉的时代,正在路上。


点个爱心,再走 吧

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
央企行贿7610万美金,总统只分到101.17万……

央企行贿7610万美金,总统只分到101.17万……

家传编辑部
2026-09-06 21:28:20
财政部将向中国人寿集团、中国太平分别注资350亿元、70亿元,中国人保拟募资不超过150亿元

财政部将向中国人寿集团、中国太平分别注资350亿元、70亿元,中国人保拟募资不超过150亿元

第一财经资讯
2026-09-06 17:39:27
一媒体人曝出雷人言论:一定要学好英语,国内能讲好英语的人,不会是穷人

一媒体人曝出雷人言论:一定要学好英语,国内能讲好英语的人,不会是穷人

小徐讲八卦
2026-09-06 13:18:58
俄罗斯星链尴尬事:租星链,不给;偷星链,不让;发射星链,不入轨

俄罗斯星链尴尬事:租星链,不给;偷星链,不让;发射星链,不入轨

李未熟擒话2
2026-09-06 07:49:18
中超激烈冲突!主裁10分钟连掏6黄,王子铭大骂,20人互相推搡

中超激烈冲突!主裁10分钟连掏6黄,王子铭大骂,20人互相推搡

奥拜尔
2026-09-06 20:30:56
2-0!亚预赛最大冷门诞生!印尼掀翻卫冕冠军,小组头名出线

2-0!亚预赛最大冷门诞生!印尼掀翻卫冕冠军,小组头名出线

绿茵舞着
2026-09-06 22:18:34
专家犀利发声:灵活就业者缴职工社保,看似保障,实则是变相剥夺

专家犀利发声:灵活就业者缴职工社保,看似保障,实则是变相剥夺

偷喝一口奶
2026-09-06 08:54:31
19岁天才双响!12.6亿卫冕冠军5-0砍瓜切菜 开局4连胜狂轰17球

19岁天才双响!12.6亿卫冕冠军5-0砍瓜切菜 开局4连胜狂轰17球

狍子歪解体坛
2026-09-07 00:18:16
江西一女生赴港看演唱会被取消全家低保?律师:若属实于法有据,但行政比例原则有讨论空间

江西一女生赴港看演唱会被取消全家低保?律师:若属实于法有据,但行政比例原则有讨论空间

封面新闻
2026-09-06 18:22:09
尼泊尔泥石流再现生命奇迹!灾后第11天,64岁老妇人获救,泥石流当天她连同四层楼房被冲出50米远,被找到时家人正为她举办葬礼

尼泊尔泥石流再现生命奇迹!灾后第11天,64岁老妇人获救,泥石流当天她连同四层楼房被冲出50米远,被找到时家人正为她举办葬礼

每日经济新闻
2026-09-06 19:05:25
iPhone 18系列定价曝光:标准版5999元起,Pro版9999元起,Pro Max版10999元起

iPhone 18系列定价曝光:标准版5999元起,Pro版9999元起,Pro Max版10999元起

鲁中晨报
2026-09-06 15:47:03
比弹尽粮绝更可怕,最大危机浮现,普京要押上全部身家梭哈乌克兰

比弹尽粮绝更可怕,最大危机浮现,普京要押上全部身家梭哈乌克兰

民间胡扯老哥
2026-09-06 06:35:38
多地严查赵一鸣、好想来等

多地严查赵一鸣、好想来等

第一财经资讯
2026-09-06 16:52:32
世界杯-中国女篮加时逆转捷克 韩旭22+14杨舒予18分绝平上篮

世界杯-中国女篮加时逆转捷克 韩旭22+14杨舒予18分绝平上篮

醉卧浮生
2026-09-06 22:26:29
贵州3名未成年女孩相继离家,最小仅12岁!手机最后定位在江苏,最长已有一个月未归,家属心急如焚

贵州3名未成年女孩相继离家,最小仅12岁!手机最后定位在江苏,最长已有一个月未归,家属心急如焚

扬子晚报
2026-09-06 21:31:33
多地出手整治赵一鸣、好想来等头部零食品牌

多地出手整治赵一鸣、好想来等头部零食品牌

看看新闻Knews
2026-09-06 21:06:02
从135到98,肚子瘪下去才明白:内脏脂肪最怕的,从来不是跑步

从135到98,肚子瘪下去才明白:内脏脂肪最怕的,从来不是跑步

健身狂人
2026-09-06 02:07:39
16GB+1TB!新机公布:首搭骁龙8Gen6至尊版+8400mAh!

16GB+1TB!新机公布:首搭骁龙8Gen6至尊版+8400mAh!

科技堡垒
2026-09-06 11:38:34
落后127分!张雪机车基本无缘总冠军 与杜卡迪争亚 雅马哈优势大

落后127分!张雪机车基本无缘总冠军 与杜卡迪争亚 雅马哈优势大

念洲
2026-09-06 20:01:44
“林肯”号航母驶离泰国,官兵5天消费1亿泰铢,除了2名水兵在芭堤雅酒后斗殴外,没发生逮捕案件

“林肯”号航母驶离泰国,官兵5天消费1亿泰铢,除了2名水兵在芭堤雅酒后斗殴外,没发生逮捕案件

鲁中晨报
2026-09-06 20:39:17
2026-09-07 00:55:00
硅星人 incentive-icons
硅星人
硅(Si)是创造未来的基础,欢迎来到这个星球。
3384文章数 10530关注度
往期回顾 全部

科技要闻

DeepSeek被曝将采购16万颗华为昇腾950DT

头条要闻

中尼两国遇难失联人数为何相差如此大 专家解读

头条要闻

中尼两国遇难失联人数为何相差如此大 专家解读

体育要闻

3.9秒绝平!杨舒予18+5成女篮救世主

娱乐要闻

杨紫获白玉兰影后!爸爸:累了就回家

财经要闻

亏损高达200亿,昔日彩电霸主走下巅峰!

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

房产
数码
旅游
公开课
军事航空

房产要闻

突发重磅!海口出台楼市新政!

数码要闻

联想ThinkPad E16 2026笔记本新增酷睿5 320版本,7299元

旅游要闻

浙江绍兴葫芦娃爷爷,游客太多影响休息:狠心剪掉7个葫芦娃

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美伊互袭油轮 伊朗军方称或对美进行更大规模打击

无障碍浏览 进入关怀版