网易首页 > 网易号 > 正文 申请入驻

直播神器!全球首个实时AI视频模型 MirageLSD

0
分享至

decart正式发布 MirageLSD — 全球首个“实时流式扩散”(Live-Stream Diffusion, LSD)AI 视频模型,它能够将你的想象力实时注入任意视频流中,实现从“观看魔法”到“亲手施展魔法”的飞跃式体验。同步上线了由 MirageLSD 驱动的平台 Mirage 的演示版本(现已开放网页版,iOS 和 Android 客户端将于下周发布)。与其他存在十秒以上延迟、仅能生成短片段的 AI 视频模型不同,Mirage 可在小于 40 毫秒的响应时间内无限实时生成视频。

它是继 Oasis(爆火的“AI 我的世界”)之后的第二款模型,研发周期为半年,期间攻克了多项数学难题,并手工编写了高效的 GPU 汇编代码。Mirage 只是起点,即将推出更多视频模型,并拓展到音频、情绪、音乐等多维度感官体验,致力于构建一个将所有感知变为通向想象世界的入口的平台。从今天开始,你就可以通过 Mirage,在任意设备上,将现实场景、游戏内容、甚至影视画面,实时“变身”为拥有奇幻物理法则与魔法设定的新世界。(体验链接在文章底部,体验下来还有很大优化空间,继续期待)

01 技术原理

MirageLSD 是首个实现无限时长、实时生成且无延迟的视频模型系统。它基于LSD模型,采用逐帧生成方式,同时保持时间一致性,使得视频内容可以连续生成且实时响应用户输入。与传统视频生成模型相比,LSD 避免了每段视频需整体生成或分块生成所带来的延迟问题,使互动性大大增强。


过去的视频生成系统无法持续生成长视频,是因为每一帧的误差会传递并积累,导致质量迅速下降。LSD 通过引入“Diffusion Forcing”进行逐帧去噪,并加入“历史增强”策略,即在训练中故意引入带有错误的历史帧,并训练模型识别并纠正这些错误。这使得 LSD 成为首个能够无限生成且不崩溃的视频模型。

要实现真正的 24FPS 实时生成,模型每帧必须在 40ms 内完成生成。为此,MirageLSD 使用三大优化手段:① Hopper 架构优化的 CUDA Mega Kernels,减少每层的启动和通信开销;② 结合架构剪枝,充分利用 GPU 特性减少计算量;③ Shortcut Distillation,用精简模型复刻大模型的去噪路径,从而减少推理步骤。这些优化共同将延迟压缩至可实时交互的程度。

LSD 采用了一种不同的方法。它以因果、自回归的结构逐帧生成视频,每一帧都依赖于先前生成的帧以及用户的提示。这种方式实现了即时反馈、零延迟交互,并能够持续生成视频而无需预设终点。


在每一个时间步,模型会接收一组过去生成的帧 、当前输入帧 ,以及用户定义的提示 ,然后预测下一个输出帧 ,并将其立即用于下一步的生成过程。

这种因果反馈循环让 LSD 在保持时间一致性的同时,能够持续适应运动和内容变化,实现无限时长的视频生成;同时,通过“Diffusion Forcing”预训练方法,模型学会独立去噪单帧图像,无需完整视频上下文,从而实现了对文本提示或视频变化的零延迟即时响应,支持实时编辑与变换。

相比其他模型(如 MovieGen、WAN、Veo、CausVid 等),MirageLSD 是唯一同时具备无限时长、实时速度、零延迟互动、时序稳定性的系统。其他系统要么是固定时长、要么响应延迟严重,或无法持续互动,LSD 则整合多项关键技术打破了这些限制。

https://mirage.decart.ai/

欢迎交流~,带你学习AI,了解AI

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
H灯+初恋脸!这位业界'宅男女神'的起起落落,比漫画还精彩!

H灯+初恋脸!这位业界'宅男女神'的起起落落,比漫画还精彩!

素然追光
2026-01-06 02:41:31
全球首款可量产全固态电池问世:能量密度400Wh/kg,5分钟充满电

全球首款可量产全固态电池问世:能量密度400Wh/kg,5分钟充满电

IT之家
2026-01-05 16:58:11
悲痛!又有几名学生跳楼!致家长:请不要再以各种名义给孩子配手机了!

悲痛!又有几名学生跳楼!致家长:请不要再以各种名义给孩子配手机了!

谭老师地理大课堂
2026-01-05 21:01:43
中国力挺委内瑞拉新班子,美国高兴的还太早了

中国力挺委内瑞拉新班子,美国高兴的还太早了

世家宝
2026-01-05 23:57:15
上海一男子开假派出所,3个月破案百起,缴获上千万赃款

上海一男子开假派出所,3个月破案百起,缴获上千万赃款

徐侠客有话说
2025-07-18 14:14:09
太抠了!浙江一女子控诉,年薪四五十万丈夫把公司发的牛奶拎回家

太抠了!浙江一女子控诉,年薪四五十万丈夫把公司发的牛奶拎回家

火山詩话
2026-01-06 06:45:25
开始了!谢谢你,特雷杨!NBA即将诞生大交易

开始了!谢谢你,特雷杨!NBA即将诞生大交易

篮球实战宝典
2026-01-06 09:01:45
泪流满面!网传昆山一家20多年外企撤场,N+1额外赠送一张购物卡

泪流满面!网传昆山一家20多年外企撤场,N+1额外赠送一张购物卡

火山詩话
2026-01-06 09:22:19
国外很豪放!穿连体衣下面不系扣,难道不好好穿衣就时髦?

国外很豪放!穿连体衣下面不系扣,难道不好好穿衣就时髦?

章眽八卦
2026-01-05 12:28:44
在美国的马杜罗没想到,副总统只扛了一天,就带领全国人民投降了

在美国的马杜罗没想到,副总统只扛了一天,就带领全国人民投降了

瞳哥视界
2026-01-05 21:45:48
大爆冷!黄蜂124-97大胜雷霆,产生3大不可思议、3个不争事实

大爆冷!黄蜂124-97大胜雷霆,产生3大不可思议、3个不争事实

篮球看比赛
2026-01-06 12:48:30
什么是低端家庭?去朋友家吃了一顿饭,我尴尬的想逃离

什么是低端家庭?去朋友家吃了一顿饭,我尴尬的想逃离

诗词中国
2026-01-05 20:10:45
2026年地方政府发债拉开序幕 山东省率先发行723.81亿元

2026年地方政府发债拉开序幕 山东省率先发行723.81亿元

证券时报
2026-01-05 12:03:02
胖东来就“茶叶里有苍蝇”致歉:组建专项小组调查

胖东来就“茶叶里有苍蝇”致歉:组建专项小组调查

澎湃新闻
2026-01-06 10:14:27
“睡遍顶流”的司晓迪身份被扒,曾就读淄博中学!毕业照很清纯!

“睡遍顶流”的司晓迪身份被扒,曾就读淄博中学!毕业照很清纯!

娱乐团长
2026-01-05 16:23:19
大爆冷!雷霆最多落后30分输黄蜂创纪录 亚历山大21分米勒28分

大爆冷!雷霆最多落后30分输黄蜂创纪录 亚历山大21分米勒28分

醉卧浮生
2026-01-06 11:23:23
马杜罗贴身卫队并非全是摆设:古巴保镖战斗至死,尽忠职守

马杜罗贴身卫队并非全是摆设:古巴保镖战斗至死,尽忠职守

黄娜老师
2026-01-06 09:27:50
真揪心了!一医学生哭诉刚入职除去五险一金,到手工资不足2000元

真揪心了!一医学生哭诉刚入职除去五险一金,到手工资不足2000元

火山詩话
2026-01-04 19:05:50
20岁女子与40岁钓鱼男多次开房,两人却辩称:只是师徒关系

20岁女子与40岁钓鱼男多次开房,两人却辩称:只是师徒关系

诗意世界
2026-01-05 11:13:21
只需拿出130亿,就能解决整个河北农村的取暖问题

只需拿出130亿,就能解决整个河北农村的取暖问题

小萝卜丝
2026-01-06 10:21:27
2026-01-06 12:59:00
带你学AI
带你学AI
分享最前沿AI知识,先进的AI工具
379文章数 8关注度
往期回顾 全部

科技要闻

速看!黄仁勋万字实录:甩出"物理AI"王牌

头条要闻

邓紫棋的科幻小说"入围"银河奖引热议 其副业不只写作

头条要闻

邓紫棋的科幻小说"入围"银河奖引热议 其副业不只写作

体育要闻

从NBA最菜首发控卫,到NBA最强乔治

娱乐要闻

朱媛媛遗作《小城大事》定档1月10日

财经要闻

丁一凡:中美进入相对稳定的竞争共存期

汽车要闻

让智驾能看懂真实世界 英伟达发布开源Alpamayo平台

态度原创

手机
家居
亲子
本地
军事航空

手机要闻

年度第一水落石出,vivo五连冠,小米屈居第二

家居要闻

引光之宅 地下室也有生机

亲子要闻

离谱!新生儿剪脐带被剪断中指,助产士说孩子乱动,家长悲痛发声

本地新闻

云游内蒙|初见呼和浩特,古今交融的北疆都会

军事要闻

美称对“占领”委内瑞拉保留选择权

无障碍浏览 进入关怀版