网易首页 > 网易号 > 正文 申请入驻

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

0
分享至


智东西
编译 茄子
编辑 程茜

智东西7月9日消息,7月7日Meta正式发布首款由超级智能实验室(Meta Superintelligence Labs,MSL)研发的多模态生成模型——Muse Image。Meta同时亮相了视频生成模型Muse Video,并展示了其生成的视频。不过,该模型目前仍处于测试阶段,尚未正式开放。

Muse Image是Meta将Agent(智能体)能力引入图像生成领域一次探索。不同于传统AI绘图工具根据提示词直接生成图片,Muse Image更像一个AI智能体,不仅能够生成、编辑图片,还会根据任务需要自主搜索信息、调用代码工具,并不断优化生成的结果。

Meta放出了许多由Muse Image和Muse Video生成的图片和视频,包括在活动的人物、动物与人物同框的画面以及人物与食物、风景等元素结合的复杂场景。

下图均为Muse Image生成的图像,涵盖戴墨镜的人物吃汉堡、人物与动物共处一桌,以及人物与石柱、蓝天白云等风景的融合场景。


▲Muse Image生成的人物及动物和风景图像(图源:Meta)

下图是Muse Video生成的人物在厨房倒水的视频片段。

▲Muse Video生成的人物视频(图源:Meta)

据外媒TechCrunch报道,Muse Image此前内部代号为“Mango”,属于Meta正在打造的Muse系列AI模型。Meta超级智能实验室负责人Alexandr Wang称,Muse Image具备Agentic能力,能够与Muse Spark大语言模型协同工作,能在生成图片前完成推理、搜索和规划能力。

▲Alexandr Wang对Muse Image的介绍(图源:Meta)

用户对Meta Muse Image的评价两级分化。不少用户认可Meta Muse Image的实用能力,认为它适配Instagram等社交场景,图片编辑、图像生成效果也不错。

但是,由于该模型支持调取他人公开账号照片生成AI图像,缺少完善授权与通知机制,引发用户关于肖像权、隐私泄露、深度伪造风险的担忧。

目前,Muse Image已经接入Meta AI应用、Instagram Stories(IG快拍)以及即时通讯软件WhatsApp,并将在后续登陆Facebook和该平台上的聊天工具Messenger。

一、Meta让AI生图具备Agent能力:会搜索、会写代码,还能自己修改图片

过去几年,AI图像生成模型主要遵循“输入提示词—输出图片”的单轮生成模式。而Meta称,Muse Image开始向“智能体式图像生成”(Agentic Image Generation)方向发展:它不仅能够根据提示词生成图像,还可以调用搜索和编程工具提升生成准确性,对自身输出进行迭代优化,并通过更多测试时计算不断改进生成结果。

例如,在生成包含复杂图表、二维码或精确视觉元素的图片时,Muse Image可以调用代码工具,自动编写并运行程序,生成准确结果,再将这些内容融合进最终图像。


▲Muse Image可调用代码生成复杂图像(图源:Meta)

此外,Muse Image还能调用搜索工具。当用户提出涉及实时事件、现实世界信息或专业知识的问题时,该模型可以主动搜索网络资料,并利用相关视觉参考提升生成内容的准确性。


▲Muse Image可通过搜索工具调查问题(图源:Meta)

Meta认为,搜索能力能够帮助模型减少知识密集型任务中的错误,尤其是在涉及新闻事件、现实地点和事实信息时。

除了工具调用,Muse Image还具备自我优化能力。在生成图片后,该模型还能够检查自身输出,并根据问题类型采取不同处理方式:


▲Muse Image的自我优化(图源:Meta)

如果只是局部细节存在错误,模型可以直接修改当前图片;如果整体方向不符合要求,则重新生成;如果问题来自事实信息缺失,则可以进一步调用搜索工具。


▲Muse Image的自我优化(图源:Meta)

Meta称,这种自我修正能力并非人工设计,而是在强化学习训练过程中自然形成的,因为不断优化结果能够获得更高奖励。

与此同时,Muse Image还能与Meta的大语言模型Muse Spark协同工作,通过结合代码生成和媒体生成能力,完成GIF动画、网页以及交互式视觉内容制作。

在Instagram中,Muse Image将支持更多AI创作功能,包括30种新的AI Stories特效。用户可以通过AI滤镜改变照片风格,也可以利用提示词生成新的视觉内容。

▲用户可以在Instagram中使用Muse Image更换滤镜改变照片风格(图源:Meta)

Meta还将Muse Image应用到更多生活场景。例如,用户可以上传家具图片,让AI模拟家具摆放效果,帮助用户提前查看不同家具在空间中的呈现效果。


▲Muse Image模拟家具摆放效果(图源:Meta)

此外,Muse Image还支持图片编辑功能。用户可以直接在照片上进行标记,让AI根据指定区域完成修改;也可以利用该模型生成邀请函、明信片、社交媒体图片等内容。

二、推理计算进入图像生成,让模型“想得越久,画得越好”

除了Agent能力,Muse Image另一个重要变化,是Meta正在尝试将大语言模型中的推理机制引入视觉生成。过去一年,推理模型通过增加测试阶段计算量(Test-Time Compute),让Muse Image在回答复杂问题时能获得更好的效果。

Meta称,Muse Image在生成过程中会投入更多计算资源,让模型进行更充分的推理、调用更多工具,并增加自我优化步骤。

随着推理强度提升,Muse Image在人类偏好评测中的Elo评分持续提升,Muse Image在Arena的文单张图像编辑、文本转图像和多张图像编辑方面均列第二,仅次于GPT Image 2。这说明,该模型在生成图像前“思考”时间越长,最终图片质量越高。


▲Muse Image的单张图像编辑、文本转图像和多张图像编辑评分(图源:Meta)

这一“思考”过程同时涉及两类计算:一类是用于推理分析的文本Token,另一类是用于生成图片的视觉Token。Meta认为,最终效果取决于两类计算资源的综合投入,而不是单纯扩大视觉生成规模。

Meta还比较了两种提升生成质量的方法。一种方式是Best-of-N,即一次生成多张图片,再选择最好的一张;另一种方式则是增加模型推理时间。

测试结果显示,Best-of-N能够在早期提升效果,但很快进入瓶颈;相比之下,将计算资源投入到推理、工具调用和自我优化中,能够获得更持续的性能提升。


▲Muse Image提升图像生成质量的测试结果(图源:Meta)

三、AI创作进入大众场景,但隐私争议同步出现

Muse Image接入Instagramd等社交场景被不少用户视为此次发布的最大亮点。有用户认为,当下许多主流AI绘图模型生成的画面脱离真实的社交场景,不懂得用户在Instagram等社交平台的实际使用语境。


▲用户对Muse Image接入社交平台的评价(图源:X)

不过,Muse Image上线后,其涉及到的隐私问题也引起了用户讨论。据外媒The Verge报道,该模型允许用户在Instagram提示词中@其他公开账号,并利用相关账号公开照片生成新的AI图片。

▲Muse Image使用公开账号生成照片的隐私争议(图源:X)

有用户认为,在没有获得明确许可的情况下,将真实用户的形象用于AI生成图片,是一颗随时会引爆的隐私雷区。

对于此争议,Meta称,用户可以通过设置控制自己的内容是否能够被用于AI生成。但按照目前规则,被使用照片的用户不会收到相关通知,并且,已经创作的AI图像不会被删除。


▲Muse Image使用公开账号生成照片的隐私争议的解决方案(图源:Meta)

这一设计引发部分用户担忧,他们认为,在未经明确授权的情况下,将真实用户形象用于AI生成可能带来身份滥用、肖像权以及深度伪造风险。

还有一些用户对Meta Muse Image的功能进行了体验。有些用户体验感良好,认为该模型在图像编辑领域具有强大功能。也有一些用户则在体验后给出了差评。

比如,这位用户测试Meta Muse Image图像生成功能,输入1988年乔丹扣篮画面需求,要求生成黏土动画+拆解工程分析图,该模型无需额外调试就直接能输出完整的成品。

▲用户对Muse Image的体验(图源:X)

还有用户用相同的提示词分别测试了Gemini、Grok、Meta AI三款模型的图像功能,对比三者生成画面效果。


▲用户对Gemini、Grok、Meta AI图像功能测试对比(图源:X)

当然,也有用户在体验之后认为Muse Image的绘图功能并没有它宣称的那么强大。这位用户想让Meta AI帮其生成一幅内耳解剖图,但该模型生成的图片并不精准,因而被用户吐槽。


▲用户称Muse Image无法生成精良的内耳解剖图(图源:X)

结语:Muse Image,Meta探索智能创作的新方向

过去,Meta主要围绕大语言模型展开竞争,而此次Muse Image和Muse Video的推出,则进一步将AI能力扩展到图像、视频以及社交内容生产场景。

更重要的是,Muse Image展示了一种新的发展方向:未来AI模型可能不再只是等待用户指令,而是能够理解目标、调用工具、自主规划并完成复杂任务。

但与此同时,当AI开始处理真实用户身份、社交内容以及现实世界信息时,技术能力之外,数据边界、用户授权和内容安全,也将成为下一阶段AI竞争的重要议题。

来源:Meta、TechCrunch、The Verge


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
密云水库一级保护区1152宅农宅腾退,整体拆除预计7月底全部完工

密云水库一级保护区1152宅农宅腾退,整体拆除预计7月底全部完工

在密云
2026-07-09 13:33:10
出狱人员纷纷吐槽:如今坐牢,和几十年前大不一样!说出来不敢信

出狱人员纷纷吐槽:如今坐牢,和几十年前大不一样!说出来不敢信

一曲一场談
2026-06-21 00:24:30
天空决定胜负,小泽要把普京赶到亚洲!基辅整个街区被炸成废墟

天空决定胜负,小泽要把普京赶到亚洲!基辅整个街区被炸成废墟

鹰眼Defence
2026-07-08 17:51:29
根据本届的调性!确定这支球队,世界杯冠军是 FIFA 内定的

根据本届的调性!确定这支球队,世界杯冠军是 FIFA 内定的

体坛狗哥
2026-07-08 22:04:43
星河湾黄文仔,最近有点忙

星河湾黄文仔,最近有点忙

见地
2026-07-09 14:51:44
印度,泄露了中国制造的秘密

印度,泄露了中国制造的秘密

华商韬略
2026-07-09 12:00:25
段暄:3原因让我看好西班牙队夺冠 詹俊:法国队赢摩洛哥难度极大

段暄:3原因让我看好西班牙队夺冠 詹俊:法国队赢摩洛哥难度极大

风过乡
2026-07-09 07:37:31
官宣!压哨裁掉!NBA生涯就此结束

官宣!压哨裁掉!NBA生涯就此结束

篮球教学论坛
2026-07-09 12:27:21
印度,第一个被 AI 做空的国家

印度,第一个被 AI 做空的国家

刺猬公社
2026-07-09 09:09:27
Costco,10天内三次被罚

Costco,10天内三次被罚

北青网-北京青年报
2026-07-09 14:40:04
财政部回复:出差人员入住宾馆房费包含三餐且未超标,是否可再领取伙食费?

财政部回复:出差人员入住宾馆房费包含三餐且未超标,是否可再领取伙食费?

新理财杂志
2026-07-08 16:28:32
婆婆把孙女的救命钱捐去了庙里,儿媳没吵一句,转身回了娘家

婆婆把孙女的救命钱捐去了庙里,儿媳没吵一句,转身回了娘家

娱乐洞察点点
2026-07-07 09:50:11
人民日报:基层公务员职级并行名额遭挤占,莫让老实人流汗又流泪

人民日报:基层公务员职级并行名额遭挤占,莫让老实人流汗又流泪

职场资深秘书
2026-07-06 17:58:03
独家评论:台民意机构通过动议,卓荣泰们会知耻下台?看赖清德德性就知道了

独家评论:台民意机构通过动议,卓荣泰们会知耻下台?看赖清德德性就知道了

海峡导报社
2026-07-08 18:43:07
湖北遭遇强对流多地受灾,鄂州一家三口被大风卷走坠楼身亡,遇难者亲属:窗户全部脱落,他们被大风卷下楼落到3楼平台;当地政府已介入

湖北遭遇强对流多地受灾,鄂州一家三口被大风卷走坠楼身亡,遇难者亲属:窗户全部脱落,他们被大风卷下楼落到3楼平台;当地政府已介入

大风新闻
2026-07-08 15:11:22
老规矩:红事不请不到,礼到人不到。白事不请自到,礼到人不收

老规矩:红事不请不到,礼到人不到。白事不请自到,礼到人不收

农夫也疯狂
2026-07-07 11:18:57
太可怜!大S被曝遗产卡仅剩42万 汪小菲撕破脸曝猛料 具俊晔藏太

太可怜!大S被曝遗产卡仅剩42万 汪小菲撕破脸曝猛料 具俊晔藏太

呀古铜
2026-07-09 11:52:44
要求中方撤回反制,日本经济界彻底不装了,要跟高市早苗走到黑

要求中方撤回反制,日本经济界彻底不装了,要跟高市早苗走到黑

老嘪科普
2026-07-09 01:46:15
两岸统一开始提速!大陆开始着手接管台湾治权,赖清德大难临头

两岸统一开始提速!大陆开始着手接管台湾治权,赖清德大难临头

小祁谈历史
2026-07-07 16:41:01
比赛还没开打,摩洛哥队先遭当头一棒,致命重创,取胜法国更难了

比赛还没开打,摩洛哥队先遭当头一棒,致命重创,取胜法国更难了

零度眼看球
2026-07-09 11:14:37
2026-07-09 18:44:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12203文章数 117130关注度
往期回顾 全部

科技要闻

字节杀回来了!深度实测Seedream 5.0 Pro

头条要闻

媒体:一家三口被大风卷走身亡 事后的细节更让人不安

头条要闻

媒体:一家三口被大风卷走身亡 事后的细节更让人不安

体育要闻

王楚谈埃及判罚争议:足球没有绝对公平

娱乐要闻

陈翔发文“苍天饶过谁”登热搜,旧事再引关注

财经要闻

中国房地产十年

汽车要闻

理想纯电旗舰i9官宣 9系旗舰再添新车

态度原创

亲子
健康
本地
房产
公开课

亲子要闻

长胎不长肉,孕中期应该如何控体重?

三高、肥胖人群能吃粘食吗?

本地新闻

重庆人有自己的避暑桃花源 | 夏天就去「酉」风的地方!

房产要闻

猛踩油门!绿地,又拿下海南一个大城更!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版