网易首页 > 网易号 > 正文 申请入驻

这个春节P图不求人!小红书开源图像编辑新SOTA

0
分享至

允中 发自 凹非寺
量子位 | 公众号 QbitAI

AI生图领域,又出了个“狠角色”。

今日,小红书基础模型FireRed-Image-Edit正式亮相。

看似“低调”,实则战绩惊人——其在处理复杂编辑指令、风格化转换,及高精度文字编辑等多个核心指标上,展现出超强实力。

对比结果显示,FireRed-Image-Edit凭借更精准的理解力、更强的ID保持度及高效的架构,在多项权威测试中脱颖而出,在ImgEdit、GEdit等多个榜单中取得了SOTA,达到业界领先水平。

这种高效架构背后的技术底座,来自小红书Super Intelligence Team在图像生成与编辑领域的一次重要探索。

划重点!目前该项目代码、技术报告、demo网页已开源,模型权重也即将在未来几天开源。

硬核评测指标与全链路技术底座

FireRed-Image-Edit之所以能被称为“狠角色”,不仅在于榜单上的惊艳表现,更源于小红书团队为其量身定制的一套“高难度考卷”与“进阶版练功房”。

1、重新定义标准:RedEdit Bench

在AI生图领域,现有的基准测试往往难以覆盖用户真实的复杂需求。为此,团队推出了RedEdit Bench这一深度评测方案。

  • 全场景覆盖:包含15个子任务。除了常规的画面增删改外,该评测集还前瞻性地纳入了人像美化、低画质增强等高频实战场景。
  • 真实严苛:对比实验表明,相比ImgEdit和GEdit,该Bench对编辑模型通用能力的评估精度更高。

该Bench随后会开源,以期为开源社区对图像编辑模型的评估建立新维度的标准。

2、核心战力来源:数据构造与三阶段训练

有了严苛的考卷,如何“培养”出高分考生?

FireRed-Image-Edit依靠的是一套极具效率的数据引擎与训练逻辑

首先来看数据引擎方面,FireRed-Image-Edit构建了一套图像编辑数据生产引擎,从“快速、可控、精准”出发,将复杂编辑需求拆解为可组合的子任务,并通过三条路径规模化产出训练对

  • 指令控制的专家模型合成;
  • 结构化控制(如分割/关键点/深度等)的专家模型合成;
  • 模型无关的模板化合成(如3D/布局/文字)。

针对长尾编辑任务样本稀缺问题,采用“检查—补齐”的定向补数流程,由引擎快速生成针对性数据,并配合三层级去重、十余种质量清洗算子与严格一致性守门员,确保数据的指令遵循、视觉自然度与内容一致性

而在模型训练方面,当前模型框架参考主流编辑模型框架,模型通过三阶段训练来完成能力的进阶。

  • 预训练阶段:通过多条件感知桶采样来平衡不同的编辑任务,并通过随机动态指令来提升模型的指令泛化理解能力,并通过前置的embedding抽取来提升训练效率;
  • 微调阶段:通过高质量数据的引入,来提升模型表现;
  • 强化学习阶段:通过非对称梯度优化来强化正样本反馈,基于OCR奖励的diffusionNFT来提升文字编辑准确性。

模型核心能力展示

FireRed-Image-Edit的强大,源于对“编辑”二字的深度理解。

并非简单重绘,而是实现精准控制,其核心能力提升如下。

1、指令遵循一致性

指的是模型引入随机指令对齐的机制,通过随机打乱和动态重组prompt,来使模型能真正理解语义与图像的对应关系,而非死记硬背。

  • 请修正图像中的错误。

示例1:

示例2:

2、文字编辑

FireRed-Image-Edit创新性地提出了Layout-Aware OCR-based Reward

在强化学习阶段,团队不仅惩罚错别字,还惩罚字符的错位、大小异常和布局崩坏。

这使得模型在进行海报修改、文字替换时,能更准确地进行编辑并保持原始文字风格。

示例1:

  • 将海报上右下角的文字“ programme”修改为“program ongoing”,保持字体和风格一致。

示例2:

  • 用参考图的玩偶作为画面主角,衣服上面印着“FireRed-Image-Edit”字样,站在童话感花园草地中,周围有精致小花和柔和建筑背景,整体风格温暖梦幻,超清细节,商业级摄影质感。 小红薯正对镜头,自信可爱地站立,身后是一块黑板,用白色粉笔清晰写着: “FireRed-Image-Edit三大绝活:文字艺术家:中英文字体排版专业稳定,视觉风格统一 时光修复师:老照片修复细节丰富,呈现自然真实造型设计师:智能换装精准自然,多风格服饰一键切换”,文字为白色粉笔手写体。 画面光线柔和自然光,浅景深,背景轻微虚化,色彩明亮饱满,高清8K,真实摄影风格,细节锐利,无噪点,无畸变。

3、创意与多图生成

同时依赖于强大的模型架构能力,FireRed-Image-Edit支持了创造力场景生成和多参考图生成的能力,支持风格迁移或多图融合。

示例1:

  • 模特穿上图1服饰,版型宽松。搭配黑色、材质为氨纶、纯色、紧身、长度至大腿中部的骑行短裤,再搭配金色圆环耳环。

示例2:

  • 一瓶香水放居中,香水瓶放在水面上,透明方形瓶身搭配金色金属瓶盖,极简而现代。晶莹的水花如爆炸般环绕瓶身绽放开,无数水滴在空中定格,折射出梦幻的光彩。底部水波涟漪层层扩散,与飞溅的水花形成动静交织的视觉张力。清凉活力与高端奢华并存,仿佛将夏日清泉的瞬息灵动永久封存。透过瓶身能看到香水背后的说明书。

示例3:

  • 将这张图变成游戏CG风格,极具艺术感,震撼人心,超高清。落叶飞溅,前景落叶虚化,动态模糊,背景动态虚化,阳光灿烂,蓝天白云,光影交错,仰拍特写镜头,突出速度感和视觉冲击力,强透视。

示例4:

  • 将这张图变成游戏CG风格,极具艺术感,震撼人心。

示例5:

  • 设计一张A6折叠卡:打开时显示图片中的小屋。

示例6:

  • 画质修复,细节重现:除了通用编辑,实际应用中,用户经常面临照片模糊、低分辨率、曝光不足或画质受损的问题。FireRed-Image-Edit将超分、去模糊、去噪及光影增强等底层视觉任务统一纳入了指令微调的范畴。让用户可以一键画质调整。修复并上色这张老照片,使其看起来像是用现代相机拍摄的。

示例7:

  • 将这张模糊的图像增强清晰度,使其极为清晰且高质量。

通过开源FireRed-Image-Edit,小红书希望为社区提供一个高效、可控、高质量的基座。

后续将会进一步提升基础模型在人像美化、一致性、文字上的编辑能力,并将在未来几个月内持续开源更新版本和文生图基座模型。

欢迎大家下载体验,在GitHub上点亮Star!

GitHub:
https://github.com/FireRedTeam/FireRed-Image-Edit
技术报告:
https://github.com/FireRedTeam/FireRed-Image-Edit/blob/main/assets/FireRed_Image_Edit_1_0_Techinical_Report.pdf
体验Demo:
https://huggingface.co/spaces/FireRedTeam/FireRed-Image-Edit-1.0

以下是小红书Super Intelligence的团队介绍:

*本文系量子位获授权刊载,观点仅为原作者所有。

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

科技前沿进展每日见

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
此人主政中国最大省长达20年,晚年升任副主席掌权中枢,8个子女都是栋梁之才

此人主政中国最大省长达20年,晚年升任副主席掌权中枢,8个子女都是栋梁之才

磊子讲史
2026-11-18 14:30:02
红船观察丨王忠林被查,权威声音释放关键信息

红船观察丨王忠林被查,权威声音释放关键信息

红船融媒
2026-11-17 11:36:09
内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

裕丰娱间说
2026-11-18 11:39:59
体制内近亲繁殖整治,从省级系统查到街道办

体制内近亲繁殖整治,从省级系统查到街道办

再战五百回合
2026-11-18 22:33:39
继子替我亲儿子坐牢5年,刑满释放那天我去接他,狱警愣住了:你儿子早在7个月前就被他父亲接走了

继子替我亲儿子坐牢5年,刑满释放那天我去接他,狱警愣住了:你儿子早在7个月前就被他父亲接走了

南派将军
2026-11-18 15:27:25
金正恩访问越南,乘专列耗时65时40分,为什么不坐飞机?大有讲究

金正恩访问越南,乘专列耗时65时40分,为什么不坐飞机?大有讲究

文史达观
2025-07-05 06:45:03
贺子珍始终认定朱道来是战乱之中失散的儿子,可朱道来后来坦言:过去他没有说出所有真相

贺子珍始终认定朱道来是战乱之中失散的儿子,可朱道来后来坦言:过去他没有说出所有真相

磊子讲史
2026-09-16 15:28:05
Lisa男伴舞在协助脱衣环节中失手,直接把短裤往下扯,险些造成走光

Lisa男伴舞在协助脱衣环节中失手,直接把短裤往下扯,险些造成走光

韩小娱
2026-11-16 12:15:37
57岁洛佩兹谈离婚:失望到不想起床,想死

57岁洛佩兹谈离婚:失望到不想起床,想死

热搜摘要官
2026-11-18 03:43:11
22岁女大学生嫁60岁沙特王子,每天雷打不动5次夫妻生活,陪他走过11年,临终前他却把457亿家产留初恋,她平静一笑:有个秘密我藏了11年

22岁女大学生嫁60岁沙特王子,每天雷打不动5次夫妻生活,陪他走过11年,临终前他却把457亿家产留初恋,她平静一笑:有个秘密我藏了11年

温柔记事簿
2026-11-18 19:12:38
高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

古怪奇谈录
2025-10-16 10:53:42
不装了,沪指微涨0.09%,北向、杠杆却狂抛130亿,明天A股谎言将彻底被撕破?

不装了,沪指微涨0.09%,北向、杠杆却狂抛130亿,明天A股谎言将彻底被撕破?

财报翻译官
2026-11-18 19:36:15
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

湖人崛起
2026-11-18 11:38:46
1981年病重的宋庆龄对沈粹缜说想见宋美龄,宋美龄却拒绝:不必了

1981年病重的宋庆龄对沈粹缜说想见宋美龄,宋美龄却拒绝:不必了

纪实文录
2025-07-07 13:33:52
发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

補懂事的孩紙
2026-11-17 01:00:42
世预赛36强赛分档出炉:国足第二档!日韩第一档,印尼印度第三档

世预赛36强赛分档出炉:国足第二档!日韩第一档,印尼印度第三档

念洲
2026-11-18 18:38:01
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
黄一鸣自曝:王思聪每次约她,车费都给10万,来给5万,回再给5万

黄一鸣自曝:王思聪每次约她,车费都给10万,来给5万,回再给5万

汉史趣闻
2025-06-24 10:07:59
大蒜再次被重视!研究发现:糖尿病吃一次大蒜,或等于给血糖添堵

大蒜再次被重视!研究发现:糖尿病吃一次大蒜,或等于给血糖添堵

小杨说事情
2026-11-17 16:10:03
2026-11-18 23:47:00
量子位 incentive-icons
量子位
追踪人工智能动态
13695文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
家居
数码
旅游
公开课

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版