网易首页 > 网易号 > 正文 申请入驻

快手港大联合研发MemFlow,解决AI视频失忆问题

0
分享至



全球观察者深度出品

纵横寰宇,洞察时代风云

你刷到的AI生成视频里,有没有见过这种情况:前一秒还是短发女生,下一秒突然变成卷发?或者明明已经出场的角色,过会儿又被AI“重新介绍”一遍?这可不是个别问题,现在AI做长视频,就像得了“瞬间失忆症”,剧情越往后越乱。

这事儿不怪AI“不用心”,主要是现在生成长视频的方法太原始。



现在AI做长视频,基本都是“一段一段生成”。

先把视频拆成好几段,一段段做好再拼起来。

就像让几个人各写一段故事,写完直接粘一起,前后不搭调太正常了。

更麻烦的是,AI记东西的方式也有问题。



有些模型特实在,就死死盯着开头那一段当“模板”。

后面不管剧情咋发展,新角色、新场景进来,它还是按开头的样子生,结果就是视觉和剧情完全脱节。

比如开头是办公室场景,后面切到公园,AI可能还按办公室的光线去生成,看着就别扭。

就像有人记单词只记第一个意思,不管语境硬套,能不出错吗?

还有些模型想“聪明点”,把前面的画面压缩成一个“记忆包”,结果更糟。



这“记忆包”就像把一整本书缩成几行字,关键细节全没了。

要回忆角色穿啥衣服时,它可能只记得“穿衣服”,具体啥颜色、款式全忘光。

这就像你想记住一整部《红楼梦》,结果只记了“有很多人”,下次让你复述,能不跑偏吗?同一个角色前后出场能差出“双胞胎”的效果,不奇怪。

流程上也有毛病,先写脚本再生成视频,两段根本不沟通。

脚本里写“小明走进教室”,生成视频时AI可能把“小明”生成戴眼镜的,下一段脚本写“小明坐下”,AI又生成不戴眼镜的。



两段各干各的,全局一致性?不存在的。

就像两个厨师各做一道菜,一个按川菜做,一个按粤菜做,凑成一桌能好吃吗?

人多、时长一长,这些问题更明显。

视频里要是有两个以上角色,AI就容易“脸盲”。

明明是小李和小王在说话,过会儿可能把小李当成新角色再介绍一遍。



视频超过60秒,后半段基本放飞自我,剧情跑偏、角色变样是常态。

你让一个记不住人脸的人讲多人物故事,不乱才怪。

那有没有办法让AI“长记性”?还真有,香港大学和快手可灵团队搞出个叫MemFlow的技术,据说能让AI“长记性”,60秒的视频角色、场景都不乱。

MemFlow不搞“一段段生成”那套,它让AI边生成边“记笔记”。



不是死记硬背画面,而是理解剧情逻辑,知道哪些角色、场景是关键,得重点记。

具体咋实现的?靠两个“小聪明”NAM和SMA。

NAM叫“叙事自适应记忆”,就像AI的“智能笔记”。

生成新片段时,它会先翻前面的“笔记”,挑关键信息记下来,不是一股脑全塞进去。



比如当前要生成“小红喝茶”,它就重点记“小红穿红裙子、拿玻璃杯”,其他无关的背景信息暂时不管。

这样记东西,又准又不占地方。

SMA是“稀疏记忆激活”,相当于给AI装了“聚光灯”。

AI生成视频时,SMA会把“聚光灯”打在当前最需要记的内容上,比如正在说话的角色、关键道具,其他信息先“拉黑”。

这样AI就不会被乱七八糟的细节干扰,记东西又准又快。



就像考试时只重点复习考点,不浪费时间在偏题上,效率自然高。

这俩“小聪明”一结合,AI的“记忆力”直接上了个台阶。

以前AI是“工具人”,只会按指令画画面;现在有了MemFlow,它能理解剧情了,算得上半个“创意伙伴”。

你说要讲个完整故事,它能帮你把角色、场景串起来,不跑偏。

就像以前是让机器人搬砖,现在它能帮你设计房子结构了。



光说不练假把式,实测效果咋样?

香港大学和快手团队做了测试,60秒的长视频,MemFlow在质量、美学评分上都是第一。

特别是后半段(40-60秒),其他模型早就“失忆”了,剧情开始乱套,角色不是变样就是重复出场,MemFlow还能稳稳跟着前面的剧情走,角色也没变样。

这就像长跑比赛,别人跑到后半程都掉队了,它还能匀速前进。

视觉对比更明显,同样的测试场景,差距一下就看出来了。



比如让AI生成“穿休闲毛衣的女士”多镜头视频,其他模型生成到后面,女士不是换了发型就是变了衣服,有的甚至连性别都能变。

MemFlow从头到尾一个样,连毛衣上的条纹纹路都没乱。

沙滩上孩子和小狗玩的场景,其他AI可能突然加个路人进来抢镜,MemFlow就只盯着孩子和狗,不乱加戏,专注得很。

这技术要是普及开,以后做长视频可就省事多了。



广告片、短视频剧情、虚拟偶像直播,这些需要多角色、复杂剧情的内容,以前得人工一帧帧调,累死个人。

现在AI就能搞定,生成效率提上去了,成本也降了。

普通人想做个小电影,不用学复杂剪辑,靠AI就能实现,门槛低了不少。

以后说不定还能玩出更多花样。



比如你看视频时,突然想让剧情拐个弯,从“主角去学校”改成“主角去公园”,AI也能接着往下讲,不会因为你改了剧情就“失忆”。

这种“交互式叙事”,想想就挺有意思,就像你能随时给故事“换轨道”,AI还能稳稳接住。



总的来说,MemFlow算是给AI视频生成开了个新思路别只顾着画得好看,先把“记性”搞好。

以后咱们刷到的AI长视频,可能就再也见不到“角色秒变”“剧情断片”的尴尬了。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
天气 | 明天,天津正式进入!断崖式暴跌!

天气 | 明天,天津正式进入!断崖式暴跌!

天津广播
2026-01-07 20:13:07
被拐30年儿子认亲14小时就走,全程冷脸,网友:穷家标签太刺眼

被拐30年儿子认亲14小时就走,全程冷脸,网友:穷家标签太刺眼

老特有话说
2025-12-06 17:31:27
日本签字了,高市选定中日主战场,对华开第二枪,解放军开始巡海

日本签字了,高市选定中日主战场,对华开第二枪,解放军开始巡海

小祁谈历史
2026-01-07 10:39:18
7.99万起提车!特斯拉官宣

7.99万起提车!特斯拉官宣

汽车工程师
2026-01-07 00:04:04
广东男篮险胜深圳,奎因三节30分,赛后喜讯四起

广东男篮险胜深圳,奎因三节30分,赛后喜讯四起

凡人说体育
2026-01-07 21:59:52
闫学晶没想到,2026年刚开年,老搭档冯巩就给自己上了生动一课

闫学晶没想到,2026年刚开年,老搭档冯巩就给自己上了生动一课

荣亭小吏
2026-01-06 18:08:14
印尼求中国重组雅万高铁债务:运营两年盈利难 暴高铁商业化痛点

印尼求中国重组雅万高铁债务:运营两年盈利难 暴高铁商业化痛点

社会日日鲜
2026-01-07 12:07:02
蒙曼感叹:这辈子也结不了婚!有两个原因:一是岁数,二是长相

蒙曼感叹:这辈子也结不了婚!有两个原因:一是岁数,二是长相

寻途
2026-01-07 14:10:57
陪睡陪玩只是冰山一角!万达蒸发800亿后,王思聪再次传出大丑闻

陪睡陪玩只是冰山一角!万达蒸发800亿后,王思聪再次传出大丑闻

民间平哥
2025-12-25 14:54:58
闫学晶事件再升级!官媒下场发文锐评,言辞犀利,句句直戳她心窝

闫学晶事件再升级!官媒下场发文锐评,言辞犀利,句句直戳她心窝

揽星河的笔记
2026-01-07 16:04:46
新帅首秀!凌晨曼联出战:变阵4后卫 剑指双杀 2大主力复出

新帅首秀!凌晨曼联出战:变阵4后卫 剑指双杀 2大主力复出

叶青足球世界
2026-01-07 11:16:19
为什么凤姐没有跌入斩杀线?不吸毒、没助学贷、生活在华人社会保护圈里

为什么凤姐没有跌入斩杀线?不吸毒、没助学贷、生活在华人社会保护圈里

西虹市闲话
2026-01-05 15:18:06
全家移民真相大白2年,享正师级待遇的潘长江,已走上另一条大道

全家移民真相大白2年,享正师级待遇的潘长江,已走上另一条大道

以茶带书
2025-08-07 19:42:40
女子攀爬江苏一景区野道不慎坠崖?官方回应:事发点不到2米高

女子攀爬江苏一景区野道不慎坠崖?官方回应:事发点不到2米高

半岛晨报
2026-01-05 21:00:03
因长得太漂亮,7次拒绝导演要求遭打压,如今43岁才等到掌声

因长得太漂亮,7次拒绝导演要求遭打压,如今43岁才等到掌声

黎兜兜
2025-12-25 21:57:32
U23亚洲杯身价榜:中国第三力压日韩,沙特居首伊朗次席

U23亚洲杯身价榜:中国第三力压日韩,沙特居首伊朗次席

懂球帝
2026-01-07 22:05:09
王宁到山西饭店吃饭,内部大的找不到餐厅,饭后结账被价格惊到

王宁到山西饭店吃饭,内部大的找不到餐厅,饭后结账被价格惊到

一娱三分地
2026-01-07 21:22:03
特朗普称格陵兰岛“到处是俄罗斯和中国船只” 丹麦外相:不实

特朗普称格陵兰岛“到处是俄罗斯和中国船只” 丹麦外相:不实

新京报
2026-01-07 10:36:04
太给力了!郴州一工厂员工聚餐抽奖,奖金168000元,设1143个名额

太给力了!郴州一工厂员工聚餐抽奖,奖金168000元,设1143个名额

火山詩话
2026-01-07 11:06:32
一夜3大消息!哈登伤情更新,勇士新决定,全明星次轮投票公布

一夜3大消息!哈登伤情更新,勇士新决定,全明星次轮投票公布

体坛小李
2026-01-07 10:02:21
2026-01-08 00:00:49
日不西沉
日不西沉
日不西沉
486文章数 164关注度
往期回顾 全部

科技要闻

精华!黄仁勋CES记者会:揭秘新款大杀器

头条要闻

委向美移交5000万桶原油有部分原本销往中国 中方回应

头条要闻

委向美移交5000万桶原油有部分原本销往中国 中方回应

体育要闻

卖水果、搬砖的小伙,与哈兰德争英超金靴

娱乐要闻

《马背摇篮》首播,革命的乐观主义故事

财经要闻

农大教授科普:无需过度担忧蔬菜农残

汽车要闻

燃油驾趣+智能电感双Buff 试驾全新奥迪Q5L

态度原创

时尚
旅游
本地
数码
公开课

李梦系穿搭,就这么养成了

旅游要闻

云南迪庆梅里雪山,日照金山最佳观看时间5个月:错过就等一年

本地新闻

“闽东利剑·惠民安商”高效执行专项行动

数码要闻

三星SSD管理软件曝高危漏洞

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版