网易首页 > 网易号 > 正文 申请入驻

京东正式开源JoyAI-Image-Edit,引领空间编辑范式突破

0
分享至

近日,京东探索研究院正式开源多模态基础模型JoyAI-Image-Edit,支持文生图、图像理解以及指令引导的图像编辑。该模型不仅具备像素级精细化编辑能力,更能赋予平面图像真实的"立体感",是业内首个将空间智能深度融入统一多模态框架的开源模型,在引入空间能力的同时,依然具备强大的通用生成与理解性能。

在公开的Benchmark中,JoyAI-Image-Edit的空间理解和空间编辑能力已达世界一流水平,超过现有开源模型,比肩顶尖闭源模型。

目前,模型已开源,开发者可直接基于其构建空间编辑应用。



JoyAI-Image-Edit的空间理解和空间编辑能力已达世界一流水平

破局行业痛点:理解与生成之间的“空间断层”

统一多模态模型是当前学界和产业界共同攻坚的方向,不少头部公司都在尝试将图像理解与生成整合进同一个模型框架。然而,理解与生成的协同在空间维度上存在明显短板。

这种短板在实际编辑中暴露得尤为突出:移动物体导致结构变形、比例失调;调整物体间的位置关系则遮挡层次全部错乱;切换视角时透视几何严重失真;反复微调后画面一致性彻底崩塌。根源在于模型缺乏对三维空间结构的深层理解,理解模块输出的语义信息没有真正"流入"生成模块的几何控制过程,编辑操作只是在像素层面"搬运",而非在空间层面"推理"。

JoyAI-Image-Edit正是为此而生——从数据构建、任务设计到训练策略全链路注入空间感知,让理解、生成与编辑在统一框架内彼此增强。

三大核心亮点:从架构到场景的全面突破

JoyAI-Image-Edit的技术优势集中体现在三个层面。 第一,生成与理解的深度融合。模型采用MLLM–MMDiT统一架构,彻底打破了理解与生成的边界。通过视觉感知与生成能力的深度协同,其空间理解指标已可比肩行业顶级闭源模型,在公开Benchmark中领跑同规模开源模型。 第二,空间编辑的范式突破。这是JoyAI-Image-Edit最具辨识度的能力。它支持三类此前开源模型难以胜任的操作:视角变换——用户可通过自然语言指定相机的偏航角、俯仰角及缩放程度,模型在保持场景几何一致性的前提下生成新视角图像;空间漫游——支持连续的视角移动,生成在空间中逻辑连贯的多视角图像序列,类似于在三维场景中"走动";物体空间关系操控——在保持场景整体结构稳定的前提下,对特定物体进行位移、缩放等空间变换,同时确保遮挡与光影关系自然合理。 第三,多场景的高性能表现。模型同时支持15类通用编辑能力,涵盖替换、删除、添加、风格调整等常用操作,结合空间编辑能力,在长文本渲染、多视角一致性生成等高难度任务中均表现卓越。 这些空间编辑能力背后有两大关键技术支撑:一是自研的OpenSpatial数据引擎,实现了空间数据的自动化合成;二是百万级规模的Blender渲染多视角数据集,使用Blender 4.5渲染了约100万组多视角图像,为模型的空间感知能力提供了坚实的数据基础。



具身场景,合成空间一致的多角度训练样本

落地场景:从电商到具身智能的广泛想象

JoyAI-Image-Edit的开源,为多个垂直领域打开了新的应用空间。 在电商领域,产品通常需要多角度、多场景展示图,传统方式依赖摄影棚实拍或3D建模渲染,成本高、周期长。通过JoyAI-Image-Edit,商家只需一张商品主图即可自动生成不同角度的展示图,商品"放入"不同场景时几何关系依然合理。



在具身智能领域,空间理解与生成的闭环能力是构建世界模型的基础。机器人执行导航、抓取等任务时需要对三维空间进行推理,而真实场景数据采集成本极高。JoyAI-Image-Edit可从有限真实图像出发,合成大量空间一致的多视角训练样本,为视觉-语言-动作系统和世界模型提供底层能力支撑。

在3D重建领域,传统流程依赖多视角实拍或激光雷达扫描,对硬件和拍摄条件要求较高。JoyAI-Image-Edit提供了全新路径——用户仅需输入三张图片,即可生成几何一致的多视角图像序列,在电商三维展示、品牌VI生成、数字孪生、工业仿真及文化遗产保护等场景中前景广阔。 在建筑设计、游戏与影视领域,设计师可从一张概念图快速探索不同视角效果,无需启动完整三维建模流程,显著提升创意验证效率。 这不是一次渐进式的版本更新,而是AI图像编辑从"平面修图"迈向"空间重塑"的范式级跃迁。随着模型全面开源,更多开发者将在此基础上探索空间智能的更多可能。广大开发者可前往HuggingFace或Github获取模型。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国已无退路了!美军为中美选好了主战场,决心要跟中国打场大战

中国已无退路了!美军为中美选好了主战场,决心要跟中国打场大战

一簌月光
2026-04-10 00:45:15
赛季报销!新疆官宣阿不都跖骨骨折 多主力受伤大概率无缘季后赛

赛季报销!新疆官宣阿不都跖骨骨折 多主力受伤大概率无缘季后赛

醉卧浮生
2026-04-09 19:50:32
美以的大轰炸来了!要彻底摧毁伊朗!革命卫队要让中东陷入火海

美以的大轰炸来了!要彻底摧毁伊朗!革命卫队要让中东陷入火海

过期少女致幻录
2026-04-10 02:38:12
17岁少年陈垣宇大逆转,3-2险胜日本名将

17岁少年陈垣宇大逆转,3-2险胜日本名将

佳佳说奇事故事
2026-04-10 00:01:18
重要数据发布!美联储,降息重大变数!

重要数据发布!美联储,降息重大变数!

证券时报
2026-04-09 23:02:09
WTT太原赛!国乒8人出战,温瑞博首秀完败,林诗栋男双3-0零封

WTT太原赛!国乒8人出战,温瑞博首秀完败,林诗栋男双3-0零封

罗纳尔说个球
2026-04-09 21:58:35
非夫妻开房,民警提醒:只要不干这个,谁管你是不是夫妻

非夫妻开房,民警提醒:只要不干这个,谁管你是不是夫妻

君说舆情
2026-04-07 08:35:16
法尔克:皇马考虑今夏以1.6亿至1.65亿欧元求购奥利塞

法尔克:皇马考虑今夏以1.6亿至1.65亿欧元求购奥利塞

懂球帝
2026-04-09 22:07:04
一顿南京宴席,掀开国民党遮羞布:路线不敢讲,迟早被现实逼出来

一顿南京宴席,掀开国民党遮羞布:路线不敢讲,迟早被现实逼出来

混沌录
2026-04-09 15:01:15
突然官宣回归!网友直呼:我的青春回来了

突然官宣回归!网友直呼:我的青春回来了

深圳晚报
2026-04-09 23:06:06
河南恶魔富豪吴天喜,以资助之名接近女学生,禽兽真的存在

河南恶魔富豪吴天喜,以资助之名接近女学生,禽兽真的存在

星河逍遥游
2025-01-23 17:26:55
刁琳宇缺席集训,原因曝光!赵勇另有打算,张籽萱首发难撼动

刁琳宇缺席集训,原因曝光!赵勇另有打算,张籽萱首发难撼动

跑者排球视角
2026-04-09 23:29:52
印度:我们每家都有电视,中国行吗?法国:人家中国居民不用偷电

印度:我们每家都有电视,中国行吗?法国:人家中国居民不用偷电

至死不渝的爱情
2026-04-09 08:12:28
新华社权威快报|中国自贸试验区扩围至23个 新增内蒙古

新华社权威快报|中国自贸试验区扩围至23个 新增内蒙古

新华社
2026-04-09 17:01:03
红薯逆袭?科学研究:坚持吃红薯,不出半年,或能收获这5种好处

红薯逆袭?科学研究:坚持吃红薯,不出半年,或能收获这5种好处

健康之光
2026-04-06 18:41:47
金莎带婆婆度假,主动挽她手臂把婆婆当亲妈一样亲近,孙妈好年轻

金莎带婆婆度假,主动挽她手臂把婆婆当亲妈一样亲近,孙妈好年轻

八怪娱
2026-04-08 19:20:25
长公主被家暴流产了

长公主被家暴流产了

毒舌扒姨太
2026-04-08 22:29:19
台湾票房冠军大陆遇冷,观众开始抵触“催泪”?

台湾票房冠军大陆遇冷,观众开始抵触“催泪”?

观察者网
2026-04-09 16:58:07
女生长的太漂亮是什么体验?网友:母以子贵,父以女荣

女生长的太漂亮是什么体验?网友:母以子贵,父以女荣

另子维爱读史
2026-03-10 22:56:08
发现一个不争的事实:一个女人越是不爱打扮、不爱说话、不爱凑热闹,往往这3个方面越是让人佩服

发现一个不争的事实:一个女人越是不爱打扮、不爱说话、不爱凑热闹,往往这3个方面越是让人佩服

二胡的岁月如歌
2026-04-09 15:09:50
2026-04-10 04:03:00
新立场NewPosition incentive-icons
新立场NewPosition
商业解读,科技锐评,数码生活
831文章数 500关注度
往期回顾 全部

科技要闻

Meta凌晨首发闭源大模型 扎克伯格又行了?

头条要闻

以色列总理:同意与黎巴嫩直接谈判

头条要闻

以色列总理:同意与黎巴嫩直接谈判

体育要闻

8万人面前心脏骤停 现在他还站在球场上

娱乐要闻

金莎官宣结婚 与老公孙丞潇相差18岁

财经要闻

停火又悬了,最糟糕的情况要来了?

汽车要闻

文飞掌舵,给神行者带来了什么?

态度原创

手机
本地
房产
公开课
军事航空

手机要闻

荣耀600系列再次曝光:AI两亿主摄+AI按键,电池超大!

本地新闻

12吨巧克力有难,全网化身超级侦探添乱

房产要闻

利润暴跌44%!那个春节被骂惨了的海峡股份 正在经历什么?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

黎真主党发射火箭弹 回应以违反停火协议

无障碍浏览 进入关怀版