网易首页 > 网易号 > 正文 申请入驻

京东开源图像模型,实测AI如何能真正“看懂”空间

0
分享至

用AI做图、修图时,大众经常会遇到一些难题:想把图中的杯子挪个位置,结果杯子变形了;想换个视角看看画面,透视却完全不对;想调整两个物体的前后位置,也会出现遮挡混乱、比例失衡……

4月8日,新京报贝壳财经记者从京东获悉,京东探索研究院近日正式开源了自研的JoyAI-Image-Edit图像模型,以解决上述难题。京东探索研究院称该模型是业内首个把“空间智能”刻进骨子里的开源模型,让AI终于能真正“看懂”空间、“编辑”空间,从原来的平面修图,升级成了三维空间重塑,而且模型的推理代码全部开放,开发者能直接拿来做应用。

官方资料显示,JoyAI-Image-Edit贴合真实世界空间规律,从空间位置关系、多视角一致性、相机感知到场景推理等维度全面建模,实现了相机坐标视角变换、物体空间位移旋转、几何结构精准控制等多项空间编辑技术突破,将空间认知能力深度融入文本与图像生成流程,搭建了完整的空间理解数据与任务体系。

全面兼容15类通用编辑能力擅长长文本精准渲染

具体而言,该模型打破了AI“理解图像”和“生成图像”的壁垒,让AI不仅能生成逼真的图像外观,更能精准理解图像背后的空间结构,在编辑过程中稳定保持主体形象与场景结构完整,多视角空间布局高度一致。不管是移动物体、换视角,还是调整物体间的关系,都能保持场景的几何规律,遮挡、光影也都自然合理,不会再出现变形、错乱的情况。

京东探索研究院相关负责人对新京报贝壳财经记者表示,JoyAI-Image-Edit的核心跃升,在于其攻克了此前开源模型难以逾越的空间理解难题,具备三大辨识度高的空间编辑能力:视角变换——用户可通过自然语言指定相机的偏航角、俯仰角及缩放程度,模型在保持场景几何一致性的前提下生成新视角图像;空间漫游——支持连续的视角移动,生成在空间中逻辑连贯的多视角图像序列,类似于在三维场景中“走动”;物体空间关系操控——在保持场景整体结构稳定的前提下,对特定物体进行位移、缩放等空间变换,同时确保遮挡与光影关系自然合理。

在实现空间级突破的同时,JoyAI-Image-Edit全面兼容15类通用编辑能力,深度覆盖内容创作的高频需求。无论是物体的替换、删除、添加,还是整体风格迁移、细节精修等操作,模型均实现了高性能覆盖。结合顶尖的空间编辑技术,模型在长文本精准渲染、多视角一致性生成等行业高难度任务中表现卓越,真正做到了全场景、无死角的高效创作。

京东高级副总裁何晓冬在接受新京报贝壳财经记者采访时表示,通用人工智能有两个方向要走,一个方向是多模态,大模型必须具有视觉能力,未来甚至可以更进一步延伸向嗅觉、触觉;另外一个方向是走向具身智能,包括机器人、机械臂、无人车等,让通用人工智能走向物理世界。

重点应用于具身智能领域模型还将探索多种场景

应用层面,JoyAI-Image-Edit模型可广泛应用于电商内容生产、创意设计制作、智能图像处理、3D模型重建、具身智能视觉感知等多元领域,大幅提升AI图像技术在复杂空间场景中的适配性与实用性。尤其是在具身智能领域,空间理解能力是机器人“理解世界”的核心基础,而该模型的推出,也为相关技术研发提供了关键的底层能力。



具身智能相关测试图。受访者供图

在具身智能实测领域,演示效果显示:用户仅需输入自然语言提示词(如“机器人左手举起来”),并通过画框框选目标区域,即可对指定物体的动作、姿态、旋转角度进行精细化操控。在机器人做家务的实拍场景中,模型在完整保留背景环境、物体空间关系与物理合理性的前提下,生成了机器人抬手的全新姿态。

2025年,京东在具身智能领域完成关键布局。其依托JoyAI大模型底层能力,正式推出JoyInside“附身智能”解决方案,面向智能家电、机器人等终端硬件植入高情商交互系统,将AI的认知与情感能力深度嵌入硬件终端,实现更贴合人类习惯的自然交互。

此后,京东持续探索具身智能生态建设。一方面,围绕JoyInside平台迭代技术版本,升级语音、多模态感知等核心能力;另一方面,加快产业落地,通过开放接口、合作开发等模式,与多家家电及机器人企业达成合作,推动具身智能技术在家庭陪伴、日常服务等场景的规模化应用。

京东探索研究院相关负责人称,此次JoyAI-Image-Edit的开源,是京东在AI多模态模型领域的重要布局,让AI图像编辑实现了从平面到空间的大跨越。未来该模型还将持续落地更多场景,不断探索空间智能落地价值。

新京报贝壳财经记者 程子姣

编辑 杨娟娟

校对 王心

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
最大的铁饭碗要碎了吗:转岗、超编、过剩......

最大的铁饭碗要碎了吗:转岗、超编、过剩......

黯泉
2026-05-29 15:10:09
正义必胜!雷霆被淘汰!詹姆斯进总决赛纪录,历史第一,无人能及

正义必胜!雷霆被淘汰!詹姆斯进总决赛纪录,历史第一,无人能及

徐徐解说
2026-05-31 17:19:34
多家PCB上市公司发布扩产计划

多家PCB上市公司发布扩产计划

澎湃新闻
2026-06-01 07:04:15
直到伊朗下令轰炸美空军基地,全世界才惊觉,中国有句话说得很对

直到伊朗下令轰炸美空军基地,全世界才惊觉,中国有句话说得很对

锅锅爱历史
2026-05-31 16:08:36
《主角》大反转:米兰入狱,尘封多年的顶罪内幕彻底浮出水面

《主角》大反转:米兰入狱,尘封多年的顶罪内幕彻底浮出水面

可乐谈情感
2026-06-01 03:16:27
2026国家教学成果奖评审启动:没有领导挂名就报不了奖?教育部:那就让奖项空着

2026国家教学成果奖评审启动:没有领导挂名就报不了奖?教育部:那就让奖项空着

教育放大镜
2026-05-29 22:41:16
张海迪是个谜!她1955年出生,虽然曾患有多种疾病,但面色红润

张海迪是个谜!她1955年出生,虽然曾患有多种疾病,但面色红润

岁月有情1314
2026-05-23 01:19:55
以军宣布:已渡过利塔尼河,在黎巴嫩南部展开“大规模行动”;黎真主党称对以军发起多轮打击,画面公布;1名以军士兵遭黎无人机袭击死亡

以军宣布:已渡过利塔尼河,在黎巴嫩南部展开“大规模行动”;黎真主党称对以军发起多轮打击,画面公布;1名以军士兵遭黎无人机袭击死亡

扬子晚报
2026-05-31 14:07:25
结束7年米兰生涯!无缘欧冠后5000万飞翼自宣离队 曼联成热门下家

结束7年米兰生涯!无缘欧冠后5000万飞翼自宣离队 曼联成热门下家

我爱英超
2026-05-31 06:29:44
随着雷霆3-4出局,NBA总决赛确定:马刺vs尼克斯!总冠军预测如下

随着雷霆3-4出局,NBA总决赛确定:马刺vs尼克斯!总冠军预测如下

小火箭爱体育
2026-05-31 11:29:29
18岁女孩半夜进入公园,给姐姐和网友转账后失联,警方:正全力搜寻

18岁女孩半夜进入公园,给姐姐和网友转账后失联,警方:正全力搜寻

极目新闻
2026-05-31 14:55:15
赵恒称帝后,询问刘娥如何处置卖掉她的前夫,刘娥:封个三品官吧

赵恒称帝后,询问刘娥如何处置卖掉她的前夫,刘娥:封个三品官吧

史笔似尘钩
2024-07-06 22:12:22
嫪毐凭是借什么让赵姬那么痴迷?司马迁晚年道出了其中的原因

嫪毐凭是借什么让赵姬那么痴迷?司马迁晚年道出了其中的原因

千秋文化
2026-01-20 20:42:41
徐晨皓现身北京相亲公园,看中拥有两套房子和五个奶茶店的女生

徐晨皓现身北京相亲公园,看中拥有两套房子和五个奶茶店的女生

凤幻洋
2026-05-31 16:06:23
4700万美元押注富途后股价暴跌近25%

4700万美元押注富途后股价暴跌近25%

我是一个粉刷匠2
2026-06-01 07:37:24
离开北京陈盈骏道别,发声喊话,官宣决定,妻子陪同,合同已到期

离开北京陈盈骏道别,发声喊话,官宣决定,妻子陪同,合同已到期

阿晞体育
2026-05-29 21:52:16
何猷君婚礼官宣不足24小时引争议,网友批吃相明显

何猷君婚礼官宣不足24小时引争议,网友批吃相明显

生命之泉的奥秘
2026-05-30 23:06:56
我如今已68了,以亲身血泪教训告诉你:不要跟任何人,包括你的父母、子女、枕边人,分享这两件事

我如今已68了,以亲身血泪教训告诉你:不要跟任何人,包括你的父母、子女、枕边人,分享这两件事

心理观察局
2026-05-23 07:00:06
超级赢家!29岁登贝莱冲击2世界杯2欧冠2金球 历史无人实现

超级赢家!29岁登贝莱冲击2世界杯2欧冠2金球 历史无人实现

叶青足球世界
2026-05-31 16:37:01
郑强教授曾直言:全世界没有一个国家,像中国现在孩子这么疯的!

郑强教授曾直言:全世界没有一个国家,像中国现在孩子这么疯的!

不甜的李子
2026-05-31 17:05:17
2026-06-01 08:15:01
贝壳财经 incentive-icons
贝壳财经
新京报旗下财经品牌
65290文章数 14022关注度
往期回顾 全部

科技要闻

戴尔诺基亚又回来了!AI重估老牌科技公司

头条要闻

媒体:中国防长不去"香会" 主办方的意图落空了

头条要闻

媒体:中国防长不去"香会" 主办方的意图落空了

体育要闻

阿森纳用最悲壮的方式,成就了巴黎王朝

娱乐要闻

朱军退休,正义虽迟但到,女方受惩

财经要闻

网红驱蚊产品,标注化妆品竟含农药成分

汽车要闻

900V+3.2秒破百 领克10+&领克10上市16.99万元起

态度原创

家居
健康
手机
房产
亲子

家居要闻

云栖 舒展如流云

尝试干细胞疗法如何避免踩坑?

手机要闻

荣耀600系列、OPPO Reno16系列首销成绩出炉

房产要闻

红动五月!全国抢入核心资产,广州盯紧凯旋新世界!

亲子要闻

孕25周孕妇彩超报告耳廓畸形,武姥姥粉丝群解答该咋办?

无障碍浏览 进入关怀版