网易首页 > 网易号 > 正文 申请入驻

对话已死,共生永生:颜水成团队发布 VoiceMem,为 AGI 找回「丢掉的昨天」

0
分享至


颜水成团队发布语音领域首个实时“流式双脑架构”记忆框架,左脑记信息,右脑记住你。

编辑丨岑峰

科幻电影曾无数次预演过AI与人类共生的场景。但在2026年的今天,尽管GPT-4o、全双工模型、Interaction Model 已经让对话流畅无比,一个尖锐的矛盾依然存在:AI 只有瞬时反应,没有长期记忆。

你和它聊了一整夜的心事,第二天醒来,它依然会像面对陌生人一样重新问你是谁;说过不吃坚果,明天照样推荐给你。

这种记忆断裂让AI始终困在工具属性里,无法进化为真正人类共生的AGI Being。AI现有记忆只记录“你说过什么”,却捕捉不到“你为什么这么说”——交互的另一半是情感,你说「我没事」时的语气,提到某个人时不自觉的停顿,这些情感褶皱,才是通向 AGI Being 的关键入口。

没有记忆的交互系统是没有灵魂的,信任每次都会被清零,消耗的是刚建立起来的那点连接;AI只会「答对」,学不会「懂你」。

近日,由颜水成教授领衔的Open Interaction Lab, 联合四家顶级高校,正式发布了全球首个专为实时交互打造的多模态流式双脑记忆框架VoiceMem。它用“左脑记信息,右脑记情绪”的方式,补全 Digital Embodiment 的第三根支柱,让AI第一次真正拥有了“长期陪伴”的资格。

这不是一个概念故事。VoiceMem的工程优化充分,一行代码就能跑。其目标很明确:做实时交互版的「Mem0」。


Project page: https://xzf-thu.github.io/VoiceMem

Code: https://github.com/xzf-thu/VoiceMem

Report: https://arxiv.org/pdf/2608.26005

01

为什么是VoiceMem

Mem0、Zep、MemOS 直接用不行吗?

不行,两个原因。

▎一、应用上,时间和信息输出都不可用。

语音留给「想一想」的时间太短。从你说完到 AI 开口,总预算约 400 毫秒,现有系统查一次要 2000 毫秒。而且文本 Agent 习惯一次返回上百条让模型自己挑,语音模型吃不下;少了,则有用信息锐减。

VoiceMem 把检索压到 VAD 后 134 毫秒(降低 65%),拆成四个子阶段执行,延迟几乎降到 0。左脑在 LongMemEval 上 Top-10 就能对应 Mem0 top-200 的精度,成本骤降 95%。

▎二、也是真正核心的,这些系统只管「信息」,接不住「情感」。

你是压力一大就闭口不谈的人,还是必须找人倾诉的人?这不是信息,这是「你」这个人本身。

VoiceMem 的解法是「流式双脑架构」。别害怕,原理很简单:

  • 信息左脑|Informative Left Brain—— 双层图检索:上层联想层 + 下层检索层(兼容 Mem0 / Zep),节点是实体、人物、知识,毫秒级取回事实。

  • 情感右脑|Emotional Right Brain—— Identity nodes 沉淀稳定人格,Joint nodes 把情绪与偏好绑定到左脑的每一条记忆之上。

两个脑并行处理、独立维护,再通过联合节点作为【桥梁】共享信息。

所以当 AI 想起「上周三你提过的那个项目」,它同时想起的是你当时的语气。事实和情绪一起被取回。

当 AI 记得住昨天,它才第一次真正「认识」你;当它记得住你的一生,它才可能成为你的另一个自己。记忆不是 AGI Being 的一个功能,而是它成立的前提。如果你在用语音助手,千万别错过。


下面分别介绍左脑、右脑的管理机制,以及 VoiceMem 为什么能「流起来」。

▎左脑:通过涌现机制控制信息密度

日常检索最容易翻车的地方,是"搜得到但搜不对"。比如你问"上次体检结果怎么样",系统按字面相似度捞回来几条记忆,结果一大半只是沾了"体检"这个词的边,真正有用的都被挤了出去。

问题不是排序不够聪明,是搜索的范围。

VoiceMem 的做法是先给记忆用簇-实体来组织,并建立内部的粗-细粒度关联。问题一来,先顺着多层联合搜索把范围收窄,再在这个小圈子里搜。

他们左脑最核心的算法,叫涌现。是专门用来适应长期信息积累的。涌现机制根据节点的被搜索情况建立内部关系子图,再用LLM对重要性,必要性和相关性和评估,做最适合长期的簇的划分。

效果很直接:在权威的长对话记忆测试 LoCoMo 上,左脑只用五条记忆就拿到 91.2 分,而 Mem0 就算给到上百条记忆,也只有 61.68 分。


▎右脑:记住你的情绪,更记住“你”究竟是谁

左脑记的是发生过什么,右脑记的是你是一个什么样的人:你的性格、你的情绪习惯,以及这些情绪是冲着谁、冲着哪件事去的。「他不喜欢每周的例会」和「他这个人容易焦虑」,是两种东西,得分开记。

VoiceMem 右脑的核心算法是长短期情绪归因。一边在短期对话里实时捕捉情绪,一边在长期维护中回头观察、归因、总结,把反复出现的情绪沉淀下来,变成对这个人的稳定认识。

时间一长,它才算是个懂你的陪伴者。

测试里有个现象值得说:有些冲突和用户偏好,答案其实全写在对话记录里,但普通模型并不在意。

VoiceMem 靠右脑把分数从一成多拉到七成以上。反过来,把右脑整个拿掉,纯信息类的题目分数也会跟着掉。情绪和人格里藏着事实库里没有的信息。


▎流式记忆架构-搜索机制协同设计

时间是记忆系统的核心挑战之一:用户期待记忆被即时调用,但真正的“零延迟”几乎是不可能完成的任务。

VoiceMem 从三个层面解决这个问题。前两点很直接:一方面将查询收敛到 Top-5,减少检索开销;另一方面控制返回信息量,让记忆读取足够快。

更关键的是第三点,从机制上打掉延迟:VoiceMem 的记忆架构本身就是围绕检索时延设计的。整个检索过程被拆成 listening、speech tail(0–200 ms)、anticipation(200–300 ms)和 searching(300–340 ms)四个阶段,在用户还没有说完时,就已经并行完成 ASR、实体与 schema 匹配以及图扩展,只把真正的后端搜索留到最后。

最终,完整的双脑检索过程被压缩到仅 134 ms,并进一步完全隐藏在标准 VAD 的 300 ms 静音等待窗口内,因此不会给对话增加可感知的额外延迟。

好玩的是,研究人员为了让voicemem更容易上说,还真把它的流式代码和vad做的完全一样,一行运行。

02


实验:更快,更准,更懂你

除了在学术界经典benchmark上面进行跑分,我们更想知道它在真实场景里好不好用。为此,我们专门做了一套贴近真实生活的评测集,涵盖信息、人格、情感归因、副语言和环境等多个维度。


03


结语

VoiceMem,据我们所知是目前唯一的实时交互可用的记忆。但我们的目标,远远不只是给语音模型外挂一层 Memory,而是让记忆真正成为实时交互系统的一部分。

接下来,我们会继续沿着三个方向持续探索。

第一,扩展多模态记忆的边界。从今天对语音、语义与情感线索的理解,走向更完整的 Moments。

第二,继续优化“左右脑”的长期进化能力。人的记忆从来不是一个不断膨胀的数据库,而是在遗忘、强化、抽象、联想与重构中持续变化。

第三,把实时 Memory 做到真正可部署。我们会继续压低推理成本与延迟,优化一卡多进程、多 Agent 并发和长期运行能力,让voicemem成为语音陪伴、具身智能、智能硬件与实时 Agent 的基础设施。

我们一直在想一个问题:如果有一天 AI 真的成为一种 Being,什么构成它的意识与自我? 最终的答案就是记忆。

因为没有记忆,就没有过去;没有过去,就没有连续的自我。某种意义上,记忆就是意识得以发生的前提。

VoiceMem的目标,不在此刻,是把实时交互领域即插即用,稳定可用、实时、能够长期进化的 Memory 做出来。

我们期待有一天,agi being 出现,并和人类产生真正的链接。

为了方便大家抱团交流、互通会议消息,我们专门建了ECCV 2026参会交流群!进群你会解锁这些「福利」

  • 会议情报站:投稿 DDL、格式规范、评审进度……关键节点第一时间送达,再也不怕错过 deadline,投稿准备稳稳的。

  • 同行茶话会:天南海北的同行都在群里,聊心得、碰思路、攒人脉,科研路上我们同行。

  • 前沿补给站:最新研究成果、热点方向实时同步,结合会议主题帮你捋清投稿脉络,给论文灵感加满油。

  • 现场后援团:(会议期间专属开启):到了会场也不用慌——

    路线导航:场馆分布、报告厅怎么走,群里随时问;

    议题共读:热门 session、Keynote 现场探讨,错过也能追;

    Poster 汇编:现场海报精华整理,一键收藏不遗漏;

    约局广场:约饭局、采访局、交流局……想唠嗑、想合作、想面基,群里发起就成。

进群传送门:扫码进群或添加微信Qvv0909777,备注:ECCV + 单位/学校+姓名+方向。

搞科研/搞技术,信息差很重要。

来,一起快人一步!

上车,带你看遍全球 AI 顶会精华

可独家畅览:

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
确定了,是亲姐妹!女生刷视频刷到“另一个自己”,竟是失散20年的双胞胎姐妹,DNA鉴定显示二人确有血缘关系

确定了,是亲姐妹!女生刷视频刷到“另一个自己”,竟是失散20年的双胞胎姐妹,DNA鉴定显示二人确有血缘关系

极目新闻
2026-11-21 19:38:23
C罗何时在俱乐部退役?利雅得胜利怒了:我受够他了,夺冠别想了

C罗何时在俱乐部退役?利雅得胜利怒了:我受够他了,夺冠别想了

体育世界
2026-11-21 20:10:54
当心,停在路边的车卖苹果,尽量不要买,为什么呢,看下就知道了

当心,停在路边的车卖苹果,尽量不要买,为什么呢,看下就知道了

小鹿姐姐情感说
2026-11-21 01:20:03
大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

言过于诚
2026-11-20 00:01:07
跳伞意外致四肢瘫痪,连刷牙都做不到!他苦熬4年复健,靠轮椅跑完5场半马

跳伞意外致四肢瘫痪,连刷牙都做不到!他苦熬4年复健,靠轮椅跑完5场半马

英国那些事儿
2026-11-21 01:13:56
美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

麓谷隐士
2026-11-21 07:19:12
高市早苗重申:要继续援助乌克兰 推进对俄制裁

高市早苗重申:要继续援助乌克兰 推进对俄制裁

闪电新闻
2026-11-21 08:19:38
何沁教授逝世

何沁教授逝世

极目新闻
2026-11-21 16:50:35
北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

极目新闻
2026-11-21 20:11:56
问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

都市快报橙柿互动
2026-11-21 17:58:25
突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

往史过眼云烟
2026-11-21 11:39:08
普林斯顿大学华人女博士被ICE逮捕!刚参加完神经科学学会年会

普林斯顿大学华人女博士被ICE逮捕!刚参加完神经科学学会年会

大洛杉矶LA
2026-11-21 03:45:31
“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

舒山有鹿
2026-11-20 16:20:23
DeepSeek限额,Kimi也崩了!15天内出现17条异常

DeepSeek限额,Kimi也崩了!15天内出现17条异常

智猩猩
2026-11-20 16:32:46
从“毛姐”到无人问津:她曾坐拥14亿,如今饭店周末仅两三桌客人

从“毛姐”到无人问津:她曾坐拥14亿,如今饭店周末仅两三桌客人

锅锅爱历史
2026-11-22 00:58:45
A股:紧急提醒2.5亿股民!从后天11月23日起,A股可能再次历史重演?

A股:紧急提醒2.5亿股民!从后天11月23日起,A股可能再次历史重演?

趋势清风侠
2026-11-21 08:44:23
感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

极目新闻
2026-11-21 20:11:56
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
降薪220万欧回国!33岁中超MVP官宣离队 4年2次来华+助两队夺首冠

降薪220万欧回国!33岁中超MVP官宣离队 4年2次来华+助两队夺首冠

我爱英超
2026-11-21 19:47:23
局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

林杰论事
2026-11-21 18:05:57
2026-11-22 02:44:49
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7836文章数 20798关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

墨西哥女总统发布深圳行vlog

头条要闻

墨西哥女总统发布深圳行vlog

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
亲子
本地
公开课
军事航空

旅游要闻

旅游淡季,喜洲的马车队在默契中略显萧瑟,幸好有旅游团的支撑

亲子要闻

有两个儿子,是老天给您的双倍福气

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版