北京
本文提出一项全新的图像编辑任务EditWorld，它基于真实世界和虚拟世界中的场景来定义图像编辑指令。该方法通过分类和定义各种世界指令，利用大型预训练模型（如 GPT-3.5、Video-LLava 和 SDXL）生成具有丰富场景的输入-指令-输出三元组数据集。EditWorld训练了一个基于扩散模型的图像编辑模型，并设计了一种后编辑策略来提高模型遵循指令的能力，并增强非编辑区域的外观一致性。广泛的实验表明，EditWorld在这项新任务中的表现显著优于现有的图像编辑方法。
论文题目： EditWorld: Simulating World Dynamics for Instruction-Following Image Editing 论文链接： https://arxiv.org/abs/2405.14785 代码链接： https://github.com/YangLing0818/EditWorld
图1
现有的方法通过多种途径实现高质量的图像编辑，包括但不限于文本控制、拖动操作以及inpainting。其中，利用instruction进行编辑的方法由于使用方便受到广泛的关注。尽管现有的图片编辑方法能够产生高质量的结果，但它们在处理传达物理世界中真实视觉动态的世界动态方面仍然存在困难。如图1所示，无论是InstructPix2pix还是MagicBrush都无法生成合理的编辑结果。
为了解决这一问题，我们引入了一项新的任务，称为world-instructed image editing，使图像编辑能够反映真实物理世界和虚拟媒体中的’世界动态’，如图1所示。具体来说，我们定义并分类了各种世界动态指令，并基于这些指令创建了一个新的多模态训练数据集，该数据集包含大量的输入-指令-输出三元组。
最后，我们使用精心制作的数据集训练了一个文本引导的扩散模型，并提出了一种零样本图像操作策略，以实现world-instructed image editing。
根据现实世界以及虚拟媒体中的任务场景，将world-instructed image editing分为7种认为类别，如上图中所示，我们对每一种类别进行了定义与介绍，同时提供了一个数据样例。
如图3所示，我们设计了文本到图片生成以及视频分镜提取两个分支来获取我们的数据集。文本生成图片分支是为了丰富数据场景的丰富性，在该分支下，我们首先利用GPT生成文本四元组（包括input图片描述、instruction、output图片描述以及关键词）。
接着利用input以及output描述生成对应文本的图片，利用关键词对应的attention map对编辑位置进行定位获取编辑mask，与此同时为了保证前后两张图关键特征的一致性，我们引入了image prompt adaption的方法IP-Adapter。最后我们使用IP-Adapter以及ControlNet，结合output image的canny map以及input image的image prompt feature，利用Image Inpainting对output image进行调整，从而获得比较有效的编辑数据。
利用文本生成图片分支得到场景丰富的数据后，为了能向数据集中添加真实数据，我们从视频中提取高质量的关键帧作为编辑数据。具体来说，我们从视频分镜中提取相关性强且结构差异大两帧作为起始与末尾帧，并切分出一段新的分镜，利用多模态大模型对这段分镜的变化进行描述，最后我们以起始与末尾帧作为input image以及output image，以得到的描述作为instruction，这样就获得了需要的编辑数据。
再进一步，我们利用人工对生成数据进行recheck，从而进一步提升数据质量。
图4
我们利用数据集对InstructPix2Pix模型进行finetune，同时为了保护非编辑区域实现更为精确的编辑，我们提出了post-edit策略。如图4与图5所示，我们的方法可以很好地实现world-instructed image editing。
llustration From IconScout By WOOBRO LTD
-The End-
扫码观看！
本周上新！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（
www.techbeat.net） 。 社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
chenhongyuan@thejiangmen.com
或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
关于我“门”
将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。
将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
点击右上角，把文章分享到朋友圈
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
