9月12日消息,日前,生数科技 Vidu 首发「主体参照」(Subject Consistency)功能,该功能能够实现对任意主体的一致性生成,让视频生成更加稳定、可控。目前该功能面向用户免费开放。
据介绍,4月底,由生数科技和清华大学联合研发的国内首个纯自研原创视频大模型 Vidu 面向全球发布,7月底正式上线,全面开放使用,凭借在快速推理、精确语义理解、高动态性和极致动漫风格等方面的优势,Vidu 产品表现位列全球视频大模型的“第一梯队”。现在,过去一个多月的时间,Vidu 迎来重大功能更新。
具体来说,“主体参照”,就是允许用户上传任意主体的一张图片,Vidu 就能够锁定该主体的形象,通过描述词任意切换场景,输出主体一致的视频。
该功能不局限于单一对象,而是面向“任意主体”,无论是人物、动物、商品,还是动漫角色、虚构主体,都能确保其在视频生成中的一致性和可控性。据介绍,这是视频生成领域的一大创新,Vidu 也是全球首个支持该能力的视频大模型。比如进行人物角色的“主体参照”,无论是真实人物还是虚构角色,Vidu 都能保持其在不同环境中、不同镜头下的形象连贯一致。
据了解,在技术层面, Vidu 的“主体参照”功能摒弃了传统的分镜头画面生成步骤,通过“上传主体图+输入场景描述词”的方式,直接生成视频素材。这一方法不仅大幅减少了工作量,还打破了分镜头画面对视频内容的限制,让创作者能够基于文本描述,发挥更大的想象力,创造出画面丰富、灵活多变的视频内容。
中央广播电视总台导演、AIGC艺术家石宇翔(森海荧光)创作了一条动画短片《夏日的礼物》,他在分享创作流程中表示,与基础的图生视频功能相比,“主体参照”功能摆脱了静态图片的束缚,生成的画面更具感染力和自由度,让创作的连贯性大大提升。同时帮助他节约7成左右的生图工作量,显著提效,让他能够将更多精力放在故事内容的打磨上,而非生成图片素材上。另外他表示,再叠加上 Vidu 的复杂动作处理能力和多元素的理解能力,他觉得 Vidu 就像是一位真人助理“动画师”在辅助创作。
现场,生数科技推出了合作伙伴计划。首批合作伙伴包括开心麻花、猫眼娱乐、巨人网络、美克家居、融创文化、河南省非物质文化遗产保护和智慧化中心、李可柒画院等企业与机构。
截至目前,生数科技团队规模100余人,融资层面已完成数亿元融资(最新公开为Pre-A轮),投资方包括启明创投、北京人工智能产业投资基金、蚂蚁集团、百度、达泰资本、BV百度风投、哈勃投资、锦秋基金等。(定西)
