北京
分享至
4月16日，阿里巴巴发布可实时构建和交互的世界模型产品HappyOyster（快乐生蚝）。据悉，该模型基于原生多模态架构而建，支持多模态理解与音视频联合生成。目前产品可实现漫游（Wander）和导演（Direct）两大核心能力，用户可以实时构建可互动、可演绎、可探索的AI数字世界。同时，用户生成的数字世界，不仅能被完整保存，还能开放给其他用户进行二次创作。据悉，该产品由阿里ATH创新事业部团队研发，与此前爆火的HappyHorse同属一个团队。
据了解，阿里的HappyOyster与谷歌的Genie3同属于世界模拟器流派。区别于传统文生视频模型输入提示词、等待渲染、获得成片的被动流程，这一流派采用长时间跨度上的世界演化建模方式。通过学习海量长视频数据，以及文本、动作指令、图像参考等多样控制信号，模型能够主动理解空间、物理与因果规律，预测情节和画面的演变，从而把“被动生成内容”转变为“主动模拟世界演化”，为构建可交互的通用世界模拟器提供了关键技术路径。
据介绍，相比谷歌，此次阿里发布的HappyOyster采用了时间跨度更长的世界演化建模方式，使得模型能够保持高保真、长时序的动态场景生成。同时在建模初始就设计了多样的控制信号，使模型能够在统一的时序框架下同时实现生成质量、长时序与实时可控性的协同优化。在产品能力上，HappyOyster呈现出差异化优势。不仅能支持Wander漫游探索，还独家提供实时导演功能，用户可通过自然语言指令随时介入世界演化、调度角色事件，实现从被动探索到主动创作的跨越。在视觉表现上，HappyOyster漫游模式的画面质量更高，风格泛化能力更强，动态性更好。（定西）
本文来源：网易智能
责任编辑：
李佳_NBJS32032
