IT时代网8月5日消息,京东把自研的实时流式视频编辑模型JoyAI-Video-Edit开源了。这套模型最直观的变化在于打破了先成片再剪辑的老流程——画面一边播,一边就能改。
性能上,模型依托JoyAI基础大模型底座,在720P分辨率下可稳定跑到30帧实时运算,画面处理没有明显的延迟和卡顿,能跟上常规视频播放的同步修改需求。
行业里不少流式编辑工具只能处理短片段,JoyAI-Video-Edit支持超长视频不间断流式处理,实时更换人物着装、实体物件、整体场景乃至画面艺术风格都能做到。
在OpenVE-Bench评测数据库中,该模型整体表现超过SANA Streaming、LiveEdit等海外主流流式编辑模型,全局风格转换、局部物体增减、字幕智能修改三项优势尤为突出,实时出图画质已经可以对标离线专业剪辑模型。
落地场景分两条线。商用侧,电商直播可以实时切换展示商品和模特穿搭,家装设计能快速替换家具样式与装修风格,影视前期拍摄则可即时调整场景与人物造型,省下的是实景重拍的钱和时间。
工业侧的用法更特别:批量生成机器人训练数据集。真人实操视频一键转化成机械臂作业素材,场景与设备外观可灵活更换,高危、冷门工况那些难采集的训练素材缺口,用这种方式补起来成本要低得多。
这次开源补齐了JoyAI全系列模型在实时视频编辑上的能力。搭配JoyAI-Image-Edit、JoyAI-Echo、JoyAI-VL-Interaction等模型,图像创作、长音视频处理、实时交互、语音合成、机器人动作控制这条链路算是走通了。
模型已在开源模型托管平台与代码托管平台上架,开发者和内容创作者可自行获取部署调试,也能做二次开发。
![]()
注:本文中包含AI辅助创作的内容。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.