手机里藏着一整年的你，AI要怎么记住这些？

你有没有想过一件事：你的手机里，其实存着一份比你自己记得还清楚的人生档案。

去年春节你去了哪些亲戚家、什么时候订的票、跟谁吃了年夜饭、拍了哪些照片、备忘录里写过什么心事，这些碎片散落在通讯录、相册、日历、笔记、购物记录里，谁也没把它们拼起来过。

现在，OPPO和OpenKG联合团队做了一件事，他们想搞清楚：一个装在手机里的AI助手，能不能真正记住你这一整年发生的事，并且在你需要的时候，把这些碎片拼成一个完整的答案？

这就是他们发布的MobileMem，一个专门为“手机记忆”设计的评测基准和框架。

先说说这件事有多难。

大模型早就能聊天答题了，但聊天和答题是一次性的事。你问一句它答一句，问完就忘。真正难的是让AI变成一个**长期陪伴你的助手**，它得记住你三个月前提过的过敏药物，记住你上周搜索过的旅行攻略，还得知道你的偏好是会变的，去年爱吃辣，今年可能因为胃不好戒辣了。

这种能力现在有个名字，叫“持续性个人智能”。行业里已经在往这个方向走，AI手机、AI眼镜、车载助手、具身机器人，都在朝着“陪伴型AI”演化。但这些系统的智能程度，将来不再单纯看它懂多少知识，而是看它**记得什么、从经历中学到了什么、怎么跟着你一起变化**。

为什么现有的记忆研究，在手机上根本不管用

这里有个容易被忽略的事实：几乎所有关于AI长期记忆的研究，都是按“云端场景”设计的。

云端记忆研究默认存储空间无限大、计算能力随便用、数据库集中管理。这套假设放在服务器上没问题，但放到手机上，立刻就崩了。

手机每天要生成几千条事件记录、几百张照片、长时间的语音和视频，这些数据量对手机有限的存储和带宽来说，是持续不断的压力。而且这些数据天生是碎片化的，散落在不同App里，缺乏统一的结构。更麻烦的是，你的兴趣、习惯、生活状态一直在变，记忆系统得能识别哪些信息已经过时，同时又不能因为学了新东西就把老的忘干净。手机的计算和电力也有限，直接把云端那套方案搬过来是行不通的。最后还有隐私问题，这些数据太私密了，传到云端本身就是风险，必须在本地处理。

论文里有句话说得挺直接：**当基础模型越来越同质化的时候，真正的差异化不再是模型本身，而是它是否理解自己服务的这个人。**

这句话背后藏着一个判断：未来每个人都会有自己的AI，每个AI都需要自己的本地记忆。这不是锦上添花的功能，而是智能体运作的地基，就像今天的云计算和数据库是数字基础设施一样，本地记忆会成为数字经济时代的新生产要素。

那问题来了，现有的长期记忆评测基准，比如之前学术界常用的一些数据集，为什么不能直接拿来测手机场景？

答案很简单，它们大多是人机对话记录，干净、结构单一，跟真实手机上乱糟糟的多模态、跨App、持续演变的数据完全是两码事。MobileMem就是为了填这个空而生的。

手机记忆系统该长什么样

在讲MobileMem的评测方法之前，得先说说论文里对“手机记忆架构”的一个设想，这个设想挺有意思，值得单独讲讲。

论文作者观察到一件事：很多App本身其实已经是一个个小型记忆系统了。

浏览器会记录浏览历史并支持关键词搜索，这跟检索系统里的BM25算法几乎是一回事。记账App会把交易记录汇总成月度收支报表，这跟记忆系统里的“记忆巩固”过程本质相同，都是把零散的原始经历压缩成更精炼的表达。

**引用块**：BM25*：一种经典的文本检索算法，根据关键词匹配程度给文档打分排序，是很多搜索引擎背后的基础技术。

如果每个App都是一个专业的小记忆库，那为什么还要有一个统一的系统层记忆？

论文提出了一个“两层架构”的设想。第一层是系统级记忆层，就像OPPO的Breeno或者苹果的Siri，它负责存储跨App的用户画像、偏好和行为模式。第二层是应用级记忆，每个App管理自己领域内的信息。这两层通过标准化协议交换信息。

这个设计借用了一个很老的概念，叫“黑板架构”。

**引用块**：黑板架构（Blackboard Architecture）*：一种协同计算模式，多个专业模块把各自的处理结果写到一块共享的“黑板”上，再由一个统筹者读取黑板信息来做决策，最早用于人工智能领域的复杂问题求解。

在这个架构里，系统层记忆就是那块黑板，各个App是往黑板上贴便利贴的专家。比如理财App发现你经常半夜下单烧烤外卖，它把这条行为规律写到黑板上，助手看到后就能在合适的时候主动提醒你或做推荐。反过来，当你问助手“帮我订今晚市中心的酒店”时，助手先看黑板了解你的整体状况，再去查地图App和订房App里的具体细节，最后把结果整合起来回答你。

这里还有一个概念叫“认知卸载”。

**引用块**：认知卸载（Cognitive Offloading）*：指把原本需要大脑自己处理和记住的信息，转移给外部工具或系统去承担，减轻大脑的负担。

论文认为应用级记忆就是系统层记忆的认知卸载机制。手机上的交互太琐碎了，如果每一次滑动、每一次翻页都要往系统层记忆里塞，系统很快就会被垃圾信息淹没。所以App要学会自己过滤，只把有价值的事件往上报。比如你保存了一条非空的笔记，笔记App才会把标题、内容、时间戳打包发给系统层记忆；但你划了一下屏幕，这种操作没必要上报。

这就好比一个公司里，如果每个基层员工每天做的每件小事都要直接汇报给CEO，CEO根本没时间做真正重要的决策。真正高效的组织是，基层先把琐碎的事情自己处理消化，只把关键信息和结论上报给上层。**如果不做这层过滤，会发生什么？**系统层记忆会被大量转瞬即逝的界面操作淹没，真正重要的长期偏好和行为模式反而被噪音盖住，找不出来了。

不过这套两层架构目前还是一个长远愿景，MobileMem目前先做了两个简化但有代表性的评测场景。

两种评测场景，一个测文本一个测图片

第一个场景叫MobileMem，模拟的是App跟系统助手深度集成的情况。这里聚焦的是笔记、文档编辑、语音备忘录这类天生会保存用户记录的App，用户一旦创建新记录，App就自动把内容抽取出来，按预定义模板发给记忆层。

第二个场景叫MobileMem-Omni，情况更复杂一些，App跟系统记忆层没有直接打通，用户得靠截图把重要的应用交互分享给助手。这引入了一个新挑战，信息现在同时分布在文字和图像两种模态里，助手得学会看图理解。

**引用块**：MLLM（Multimodal Large Language Model，多模态大语言模型）*：能同时处理文字、图片等多种信息类型的大模型，比如能看懂截图内容并结合文字对话理解上下文。

这两个场景怎么造出来的？这是整篇论文里我觉得最巧妙的部分。

数据从哪来：不能凭空造，得有“锚点”

评测长期记忆能力，最大的难题是没数据。真实用户一年的手机使用记录，涉及严重的隐私问题，根本没法大规模收集。但如果完全靠大模型瞎编，生成的数据又会显得千篇一律，缺乏真实的个性化细节。

论文团队想出的解法是：**先收集真实但“干净”的用户先验知识，再让AI围绕这些先验知识去演绎出完整的故事。**

具体来说，他们招募了志愿者，通过访谈收集用户画像，同时从志愿者的OPPO手机上采集App使用统计和元数据，比如地理位置、蓝牙连接、网络状态这些上下文信号，但严格避免采集原始交互内容本身，以此保护隐私合规。

这些真实但零散的信息被称为“先验知识”，团队专门设计了一套引擎，叫KEME，来把这些先验知识组织成一段连贯的长时间轨迹。

**引用块**：KEME（Knowledge-guided Experience synthesis for evolving MEmory）*：一套知识引导的经验合成引擎，核心思路是拿真实的用户背景信息当骨架，再用AI往骨架上长出完整的、时间线自洽的用户经历。

这里有个关键概念叫“知识锚点”。

**引用块**：知识锚点（Knowledge Anchor）*：那些已经真实发生过、必须原样保留在最终故事线里的信息片段，比如用户先前收集到的App交互记录，AI合成故事时不能改写或忽略这些内容，只能围绕它们展开。

这就好比写一部基于真实历史的小说，作者可以自由发挥人物对话和细节，但一些历史事实是不能改的，比如某场战役发生在哪一年、谁赢了。如果连这些锚点都能随便改，那生成出来的故事就彻底失去了可信度，评测出来的结果也没有意义。**如果没有锚点约束**，AI生成的“用户经历”很容易变成完全脱离现实的幻想，测出来的记忆能力其实测的是AI编故事的能力，而不是真正处理现实数据的能力。

KEME具体怎么工作的？它用了一套“自上而下规划、自下而上演化”的循环机制，由四个AI角色分工完成。

第一个角色叫知识引导的规划者，它根据用户画像和时间范围，先画出一个粗略的“人生事件图”，把整个时间跨度切成几个大的生活阶段。这个图可以不断往下细分，比如“上半年”可以分成“春节假期”“换工作”“搬家”，每个小事件又能再往下拆成具体的一次次交互。

第二个角色叫知识锚点定位者，负责把已有的真实交互塞进对应的事件节点里，确保时间上说得通。

第三个角色叫经历实现者，负责把每个具体事件写成真实的人机对话内容。

第四个角色叫经历驱动的修订者，每次生成新内容后，它会回头检查还没展开的部分，看看有没有因为刚才新加的情节产生了矛盾，需要的话就调整未来的事件走向。

这四个角色轮番工作，就像剧本的迭代打磨过程。写小说的人都知道，故事写到后面往往会发现前面埋的伏笔跟后续情节冲突了，得回头改。KEME用这种“边写边改”的方式，保证一整年的故事线始终自洽，不会出现用户上午说自己吃素、下午又在烧烤店打卡的荒谬情况。

除了生成故事本身，KEME还得基于这段故事生成用来测试AI记忆能力的问答对。这一步同样是自下而上的，从最底层具体的一次对话开始生成简单问题，再往上层层组合，生成需要跨越多个事件才能回答的复杂问题。团队还专门设了质量检查环节，人工抽样核对，发现绝大多数问答对是准确且有依据的，只是少数多跳问题显得有点生硬，像是把两个独立的问题硬拼在一起，但答案依然是清晰可验证的。

MobileMem数据集实测：谁记得住，谁记不住

现在到了真正见分晓的环节，团队拿这套合成数据，测了市面上主流的多种记忆系统。

参与测试的系统五花八门，有最简单的长上下文方案，就是把整段历史塞进模型的上下文窗口里让它自己找信息；有基于检索的RAG系统，包括NaiveRAG、HippoRAG2、A-MEM；还有更复杂的记忆框架，比如LangMem、MemOS、EverMemOS、Mem0。

**引用块**：RAG（Retrieval-Augmented Generation，检索增强生成）*：先从存储的资料里检索出相关内容，再交给大模型参考着生成答案，而不是让模型凭空回答，能有效减少模型编造内容的情况。

结果挺有意思。表现最好的是A-MEM和HippoRAG2，无论用哪个大模型当后端都稳居前列。团队分析发现，这两个方法有个共同点：它们不会对原始对话信息做激进的压缩、覆写或删除，而是把细节尽量完整地保留下来。

这个结果乍一看有点反直觉。因为NaiveRAG同样保留了原始对话，理论上应该表现类似，但实际上NaiveRAG的成绩相当差。团队进一步分析发现，问题出在检索环节，A-MEM给每条记忆额外抽取了关键词和标签，这些额外信息在检索时能帮系统更精准地区分相似的记忆片段。HippoRAG2则引入了实体关系图和个性化PageRank算法，专门优化多跳检索，也就是需要串联多条线索才能回答的问题。而MobileMem里的干扰项特别多，真正需要的证据经常被大量看起来相关但其实无关的内容包围，这种情况下这类精细检索机制的优势就凸显出来了。

再看不同类型问题的表现，一个清晰的规律是：**问题需要串联的证据越多，系统表现就越差**。单跳问题（一句话就能查到答案）表现最好，多跳问题（需要拼接多条信息）明显下降，需要总结归纳的查询式摘要问题最难，因为它不光要找到证据，还得把内容浓缩成简洁的回答。时序推理类问题普遍表现薄弱，说明现有系统还不太擅长记住“这件事发生在那件事之前还是之后”这种时间关系。

有个特别反直觉的发现是关于对抗性问题的，也就是那种压根没有答案、正确回应应该是“我不知道”的问题。表现最弱的LangMem，在这类问题上反而拿了最高分。研究团队解释说，越强的记忆系统越容易检索到一些看起来相关、实际上是干扰项的内容，这会让模型误以为答案确实存在，从而更加自信地给出一个错误答案，反而是那些检索能力弱的系统，因为找不到什么相关内容，更容易正确地说“我不知道”。这个发现其实挺值得警惕的：**记忆系统越强，有时候反而越容易在不该回答的时候强行给出答案**。

团队还专门拆解了四种系统各自最典型的出错原因。长上下文方案最大的问题出在“记忆更新”环节，因为它受限于上下文窗口长度。NaiveRAG最常见的问题是压根没检索到目标证据。Mem0的问题多出在事实抽取阶段，它的抽取提示词主要盯着用户说的话，容易漏掉App或助手消息里的关键信息。而EverMemOS的记忆构建和检索环节整体表现不错，问题主要出在最后一步的答案生成上，也就是就算给它正确的证据，它有时候还是会理解错或答偏。

这几个系统有个共同点，都会出现“答案生成”阶段的错误，模型可能被无关记忆干扰，或者忽略了关键证据，又或者把精确的事实过度概括，丢失了重要细节。

KEME还能干什么：制造更难的测试题

论文里还有一个特别有意思的延伸实验，展示了KEME这套合成引擎不只能用来造评测数据，还能用来给现有的评测数据集“加难度”。

团队拿了一个已有的公开评测集LongMemEval，这个数据集原本增加难度的方式很简单粗暴，就是从别的对话语料库里随机抽一些不相关的会话塞进去，当作干扰项。

团队想验证一件事：能不能让KEME生成一批更“聪明”的干扰内容，让记忆系统更难找到正确答案，同时保证答案本身不变？

他们选了10个问题，找GPT提炼出问题需要的核心事实，让KEME在这些事实周围重新生成一段跟原故事兼容的用户背景，再刻意引导它生成一些语义上更接近、更容易混淆检索的干扰内容。

结果显示，合成出来的轨迹通常比原来的LongMemEval轨迹更短，但检索难度反而更高了。NaiveRAG在只检索前5条结果时，正确率从40%掉到20%；检索前10条时，从50%掉到40%。EverMemOS也从90%降到80%（前5条）、从100%降到90%（前10条）。

这说明什么？**难度的来源不是轨迹变长了，而是干扰内容变得更“像真的”了。**

有个具体案例特别能说明问题。有个问题问的是“我之前在美联航的常客等级是什么，在升到现在的等级之前”。真实轨迹里藏着两条关键线索：一条说用户刚攒够20000英里，达到了银卡资格；另一条说几个月后，用户升级成了金卡。团队检查发现，EverMemOS的记忆库里其实存着这两条信息，但检索环节没能捞出精确的等级证据，反而捞出了一堆语义相近但内容模糊的干扰内容，比如“稳稳处在联合航空的中端精英段位”，还有希尔顿、运通、万豪这些完全不相关的金卡提及。因为这些干扰项在向量空间里跟查询语句长得太像，检索系统反复捞回这些似是而非的内容，最终没能定位到确切的等级变化，答错了。

这个案例其实揭示了一个更深的道理：**记忆系统的短板，很多时候不在于记没记住，而在于检索时能不能从一堆看似相关的噪音里，把真正精确的那条信息挑出来。**这就像你的手机相册里存了几千张照片，你想找去年生日聚会那张合影，结果因为背景音乐App、聚会App、外卖App都留下了跟“生日”相关的记录，你翻半天，翻出来的全是差不多但不对的那张，真正想要的那张反而被淹没在这些相似结果里。

MobileMem-Omni：当记忆开始“看图”

如果说MobileMem测的是文字记忆，那MobileMem-Omni测的就是更贴近真实生活的多模态记忆，因为现实中我们分享给助手的很多信息，压根不是文字，而是截图。

这套数据集的规模相当可观：16位用户的完整轨迹，19060张图片，7415道问答题。

用户里一半说英语一半说中文，覆盖了1589个事件。平均每个用户的上下文长度高达172万个token，平均每人有202.6个会话，每个会话平均48.2轮对话，平均每个会话配5.88张图片。

**引用块**：Token*：大模型处理文本时的最小计量单位，大致可以理解为一个词或一个字符片段，172万token大概相当于一部长篇小说的信息量。

问题类型分了七大类：单跳、多跳、知识更新、时序推理、隐性偏好、拒答（也就是要识别出无法回答的问题）、以及视觉推理。

图片是怎么生成的？这块也挺讲究。团队用了三种方式：手机App截图用HTML模板渲染，涉及用户和熟人合照的场景，会先从人物关系图谱里取出对应人物的肖像照，再用这些肖像去合成带人物的照片，保证同一个人在不同照片里长得一致；其他场景比如美食、风景照，直接用文字描述生成。为了保证质量，团队还用了人脸识别工具，去校验合成出来的人脸跟参考肖像是不是同一个人，相似度不够就重新生成。

这里想说个细节，为了保证长期轨迹里“这个人一直是这个人”，团队专门给每个用户建了一个以用户为中心的社交关系图，每个节点是一个人，每条边是一段关系描述。这个设计其实挺重要的，如果没有这套一致性保障，你会发现同一个“表姐”在三月的照片里是一张脸，到了八月的照片里变成了另一张脸，整个测试的真实感就崩了。

测试结果同样出现了明显的分层。专业记忆框架整体上跑赢了长上下文和简单RAG方案，其中EverMemOS配合GPT系列后端表现最突出，达到39.41%的综合评分，远超同一方法换成Qwen3-VL后端时的24.76%，说明底层大模型的能力对最终效果影响巨大。

有个特别值得琢磨的现象：把图片转成文字描述（也就是配上字幕）再输入模型，跟直接把图片喂给模型比，效果居然是文字描述更好。M2A这个多模态记忆框架，配文字字幕的版本明显优于直接处理原始图像的版本。这说明当前的视觉理解能力，在处理长期记忆场景里的细节图像时，还不如先转成文字来得靠谱，图像里的关键信息，模型未必真的“看懂”了，用文字提前浓缩概括一遍，反而更稳。

不过字幕这条路也不是万能的。团队做了个对比实验，往检索系统里加入图片字幕后，视觉推理类问题的表现提升了3.5个百分点，但其他文字类问题的表现却下降了4.43个百分点。这个结果挺微妙的，视觉信息对图像相关问题是养分，对纯文字问题却成了噪音。这就像你本来在专心看一份合同文本，旁边突然多了一堆无关的配图说明，反而分散了你对文字细节的注意力。**这说明有效的多模态记忆系统，需要更精细的视觉表示方式，而不能简单粗暴地把图片一律转成字幕塞进去。**

另外还发现两个规律：事件跨度越长，记忆系统表现反而越好，因为更长的事件提供了更丰富的上下文帮助定位；而中文问题的表现普遍低于英文问题，这大概率是因为现有的记忆机制和方法主要是围绕英语设计和优化的，对中文的语义对齐和检索质量还没跟上。

落地的场景：这套系统到底能干嘛

论文里举了几个具体场景，读完你大概能感受到这套系统真正要解决的问题是什么。

比如一位老人长期记录血压血糖，把每次复诊的下次预约时间存进日历，医嘱写进笔记，检验报告拍照存进相册。有一天早上感到头晕，问助手“我之前对什么药过敏，检查一下我现在吃的药里有没有这个成分”，助手需要跨越日历、笔记、相册这几个完全不同的数据源，把过敏史和当前用药清单对上，及时给出风险提示。这背后考验的正是跨来源记忆关联、多模态信息融合、长期事实记忆和复杂检索能力。

再比如一位游客提前收藏了不少成都旅游攻略，出发前一晚问助手“根据我收藏的内容，帮我规划一个两日游”，助手不能只给出泛泛的宽窄巷子、锦里这种标准答案，而要结合用户此前搜索过的交通方式和住宿偏好，给出一份真正个性化的行程。这测的是跨来源知识整合、用户偏好建模、多跳推理和长期个性化规划的综合能力。

还有一位职场人准备年中总结，过去半年开了无数次会、反复改方案、读了大量行业文章，却感觉学到的东西很散乱。助手需要整合日历里的会议和项目时间线、文档里的修订历史、笔记里的零散想法，梳理出一条清晰的学习轨迹，指出反复卡壳的瓶颈在哪。

这些场景背后共同的诉求是，长期记忆不该只是被动的信息检索，而应该支持跨来源知识整合、用户偏好建模、多跳推理这些更高阶的能力。

写在后面

看完这篇论文，最让我意外的一点是那个反直觉的实验结果：记忆系统越强，越容易在该说“不知道”的时候强行给出答案。这跟我们直觉里“越聪明的系统越靠谱”是矛盾的。原因也说得通，检索能力越强的系统，捞回来的干扰项越像真的，模型反而更自信地把一个错误答案说出口。这提醒我一件事，评测AI系统光看正确率是不够的，还得看它面对不确定性时的表现，一个诚实地说“我不知道”的系统，有时候比一个自信地说错的系统更值得信任。

另一个让我反复琢磨的地方是KEME那个“合成更难数据”的实验。团队没有靠拉长轨迹增加难度，而是靠往轨迹里塞进语义上更接近答案证据的干扰内容，就让原本正确率90%以上的系统掉到80%。这说明检索的真正难点从来不是信息量大小，而是干扰项跟正确答案有多像。这个思路其实可以用在别的地方，任何评测系统的“压力测试”，本质上都该往这个方向走：不是让题目变长变复杂，而是让干扰项变得更狡猾。

论文里还没解决的一个问题是中英文表现差距，这个问题被提到了但没深挖原因。如果记忆系统本质上是围绕英语语料训练和优化的，那随着更多语言的用户加入，这个差距会不会持续放大，值得后续追问。

Q&A

Q1：MobileMem是什么？

A：MobileMem是OPPO和OpenKG团队推出的一套评测基准和框架，专门用来测试AI助手在手机场景下的长期记忆能力，包括文本设置的MobileMem和多模态设置的MobileMem-Omni两部分。

Q2：MobileMem的数据是怎么来的，会不会涉及隐私泄露？

A：数据通过KEME合成引擎生成，团队先收集志愿者真实但脱敏的App使用统计和用户画像，再由AI围绕这些"知识锚点"演绎出完整故事，全程避免采集原始交互内容，并对涉及真实用户的信息做了匿名化处理。

Q3：测试下来哪种记忆系统表现最好？

A：在文本场景下，A-MEM和HippoRAG2表现最优，因为它们能保留丰富的原始信息并配合精细的检索机制；在多模态场景下，EverMemOS配合GPT系列大模型表现最突出。不过所有系统在多跳推理、拒答识别、视觉推理这几类任务上普遍表现较弱。