网易首页 > 网易号 > 正文 申请入驻

美团发布LongCat-Image图像生成模型,编辑能力登顶开源SOTA

0
分享至

IT之家 12 月 8 日消息,今日,美团 LongCat 团队正式发布并开源图像生成模型 LongCat-Image 模型,通过高性能模型架构设计、系统性的训练策略和数据工程,以 6B 参数规模,成功在文生图和图像编辑的核心能力维度上逼近更大尺寸模型效果。

IT之家附官方介绍如下:

LongCat-Image 采用文生图与图像编辑同源的架构设计,并结合渐进式学习策略,在仅 6B 的紧凑参数规模下,实现了指令遵循精准度、生图质量与文字渲染能力的高效协同提升。尤其在单图编辑的可控性和文字生成的汉字覆盖度方面独具优势。


模型架构

亮点一:图像编辑高度可控

LongCat-Image 在图像编辑领域的多个重要基准测试中(如 GEdit-Bench、ImgEdit-Bench)均达到开源 SOTA 水平,实现性能突破的背后在于一套紧密协同的训练范式和数据策略。为有效继承文生图模型的知识和美感,同时避免文生图后训练阶段收窄的状态空间对编辑指令多样性的限制,基于文生图 Mid-training 阶段模型进行初始化,并采用指令编辑与文生图多任务联合学习机制,深化对复杂多样化指令的理解。此外通过预训练阶段的多源数据及指令改写策略,以及 SFT 阶段引入人工精标数据,最终实现了指令遵循精准度、泛化性和编辑前后视觉一致性的共同提升。


风格迁移与属性编辑能力对比



结构编辑与构图编辑的能力对比

亮点二:中文文字生成精准覆盖

针对中文文本渲染这一行业痛点,LongCat-Image 通过课程学习策略来提升字符覆盖度和渲染精准度:预训练阶段基于千万量级合成数据学习字形,覆盖通用规范汉字表的 8105 个汉字;SFT 阶段引入真实世界文本图像数据,提升在字体、排版布局上的泛化能力;RL 阶段融入 OCR 与美学双奖励模型,进一步提升文本准确性与背景融合自然度。此外通过对 prompt 中指定渲染的文本采用字符级编码,大幅降低模型记忆负担,实现文字生成学习效率的跨越式提升。通过该项能力加持,有效支持海报设计、商业广告作图场景中复杂笔画结构汉字的渲染,以及古诗词插图、对联、门店招牌、文字 Logo 等设计场景的生僻字渲染。



文字生成能力对比

此外,LongCat-Image 通过系统性的数据筛选与对抗训练框架,实现了出图纹理细节和真实感的提升。预训练和中期训练阶段严格过滤 AIGC 数据,避免陷入“塑料感”纹理的局部最优;在 SFT 阶段,所有数据均经过人工精筛来对齐大众审美;在 RL 阶段,创新性地引入 AIGC 内容检测器作为奖励模型,利用其对抗信号逆向引导模型学习真实世界的物理纹理、光影和质感。


图像生成综合能力对比

客观基准评测


客观基准测试性能对比

全面的客观基准测试充分验证了 LongCat-Image 的核心竞争力:在图像编辑任务中,ImgEdit-Bench(4.50 分)、 GEdit-Bench 中英文得分(7.60/7.64 分)均达到开源 SOTA 水平,且逼近头部闭源模型水平;在文字渲染方面,ChineseWord 评测以 90.7 分的成绩大幅领先所有参评模型,实现常用字、生僻字的全量精准覆盖;文生图任务上,GenEval 0.87 分、DPG-Bench 86.8 分的表现,使其在生图基础能力上相比头部开源与闭源模型依然具备强竞争力。

综合主观评测

在衡量模型的通用能力时,我们始终将用户的真实体验放在首位。为此,我们采用业界公认的主观评价方法,对 LongCat-Image 在“文生图”与“图像编辑”两大核心场景下的表现进行了系统评估。

在文生图方面采用大规模的人工主观评分(MOS)方法,核心覆盖文本-图像对齐、视觉合理度、视觉真实度、美学质量 4 个维度,LongCat-Image 的真实度相比主流开闭源模型表现出色,同时在文本-图像对齐与合理度上达到开源 SOTA 水平。在图像编辑方面采用严格的并列对比评估(Side-by-Side, SBS)方法,聚焦于综合编辑质量、视觉一致性这两个用户体验的维度,评测结果表明,LongCat-Image 虽然与 Nano Banana、Seedream 4.0 等商业模型存在一定差距,但显著超越了其他开源方案。



人类主观评分(MOS)对比和并列对比评估胜率(SBS)

为了构建一个更透明、开放、协作的开源生态系统,我们全面开源文生图的多阶段模型(Mid-training、Post-training)和图像编辑模型,旨在无缝支持从前沿研究到商业应用的全流程。我们坚信,真正的技术进步源于社区的集体智慧。诚邀广大开发者体验模型、参与共建,让我们共同基于这个高效能模型,探索视觉生成的更多可能。

资源链接:

Hugging Face:

GitHub:

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
四川绵阳一佳人太漂亮,身高177cm体重54kg五官精致到无懈可击!

四川绵阳一佳人太漂亮,身高177cm体重54kg五官精致到无懈可击!

TVB的四小花
2026-01-27 11:03:50
吴尊发文纪念与妻子相恋30年,晒出青涩甜蜜合照:30年前,30年后

吴尊发文纪念与妻子相恋30年,晒出青涩甜蜜合照:30年前,30年后

韩小娱
2026-02-02 10:48:24
27年前的尺度电影,早揭露了萝莉岛丑闻?!

27年前的尺度电影,早揭露了萝莉岛丑闻?!

君君电影院
2026-02-02 23:56:16
58岁那英改走颜值路线?过度医美变化大到认不出,这是要闹哪出?

58岁那英改走颜值路线?过度医美变化大到认不出,这是要闹哪出?

锋哥与八卦哥
2026-01-25 13:26:51
全明星24人名单出炉!詹姆斯进替补阵容延续神迹 小卡哈登均无缘

全明星24人名单出炉!詹姆斯进替补阵容延续神迹 小卡哈登均无缘

罗说NBA
2026-02-02 07:24:49
央视大楼,被俗称“大裤衩”,多年后洋人设计师承认设计中含隐喻

央视大楼,被俗称“大裤衩”,多年后洋人设计师承认设计中含隐喻

南权先生
2026-01-14 16:45:29
他们说,羡慕我的身材

他们说,羡慕我的身材

疾跑的小蜗牛
2026-02-02 21:08:59
30岁男子如厕时猝死,妻子回忆事发前5天,那些被掩盖的生命求救信号

30岁男子如厕时猝死,妻子回忆事发前5天,那些被掩盖的生命求救信号

红星新闻
2026-02-01 23:06:17
一夜蒸发1400亿!谷歌一个AI演示,游戏股集体跳水

一夜蒸发1400亿!谷歌一个AI演示,游戏股集体跳水

新智元
2026-02-02 18:12:14
郑丽文准备前往大陆,签署一项重要协议,若成功,她将留名史册

郑丽文准备前往大陆,签署一项重要协议,若成功,她将留名史册

各生欢喜者
2026-02-03 00:52:59
魔兽世界时光服:P2阶段金团霸榜前五的极品武器,你拿到了哪款?

魔兽世界时光服:P2阶段金团霸榜前五的极品武器,你拿到了哪款?

Uncle喵喵
2026-02-03 10:30:03
曼联捡到宝!红魔已签下下一个多古 600 万妖星成最佳替身

曼联捡到宝!红魔已签下下一个多古 600 万妖星成最佳替身

澜归序
2026-02-03 07:30:21
为避嫌而尴尬?图兰采访拒绝对视,因记者是自家球员妻子

为避嫌而尴尬?图兰采访拒绝对视,因记者是自家球员妻子

科学发掘
2026-02-02 18:36:00
拥有3000情人的猫王:从来不碰生了孩子的女人,哪怕她是我的妻子

拥有3000情人的猫王:从来不碰生了孩子的女人,哪怕她是我的妻子

老范谈史
2026-01-28 14:51:25
马斯克:SpaceX的星舰V4将配备42台猛禽发动机V3

马斯克:SpaceX的星舰V4将配备42台猛禽发动机V3

不看车bukanche
2026-02-03 05:42:30
老板都是怎么把自己生意干黄的?网友:29.7收30,三个月不到就黄了

老板都是怎么把自己生意干黄的?网友:29.7收30,三个月不到就黄了

另子维爱读史
2026-02-02 21:22:54
拦腰砍!22岁阿卡澳网夺冠奖金2004万元 扣完税到手还剩1105万元

拦腰砍!22岁阿卡澳网夺冠奖金2004万元 扣完税到手还剩1105万元

风过乡
2026-02-02 16:42:36
火箭总经理与公牛谈判顺利,科比-怀特交易或将达成

火箭总经理与公牛谈判顺利,科比-怀特交易或将达成

小鬼头体育
2026-02-02 03:46:39
特朗普通告报复,不准与中国签协议,否则加税100%,美盟友很震惊

特朗普通告报复,不准与中国签协议,否则加税100%,美盟友很震惊

福禄表嫂
2026-02-03 09:24:19
韦东奕正式获聘北京大学长聘副教授

韦东奕正式获聘北京大学长聘副教授

界面新闻
2026-02-01 07:58:06
2026-02-03 11:04:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
327825文章数 606966关注度
往期回顾 全部

科技要闻

马斯克官宣,SpaceX并购xAI,打造天基算力

头条要闻

克林顿夫妇同意就爱泼斯坦案调查赴美众议院作证

头条要闻

克林顿夫妇同意就爱泼斯坦案调查赴美众议院作证

体育要闻

澳网男单决赛,属于阿尔卡拉斯的加冕仪式

娱乐要闻

小S致词:感谢具俊晔陪伴大S的最后3年

财经要闻

“精准查人”黑产链条遭查

汽车要闻

全新宝马X5领衔 宝马2026巴黎车展阵容公布

态度原创

数码
手机
本地
游戏
公开课

数码要闻

“iPod之父”呼吁苹果重启iPod:借怀旧情怀与纯粹体验抢占市场

手机要闻

创历史纪录!苹果拿下美国69%市场份额:iPhone 17系列立大功

本地新闻

云游中国|拨开云雾,巫山每帧都是航拍大片

毛味废土RPG新作《核爆RPG 2》公开 经典黑岛老辐射味

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版