网易首页 > 网易号 > 正文 申请入驻

AI agent正在默默记住那些你随口一提的琐事

0
分享至

记住用户身份与个性化偏好的能力,正迅速成为人工智能聊天机器人和智能体的一大卖点。

本月初,Google 推出了个人智能功能,这是用户与该公司 Gemini 聊天机器人交互的全新方式。该功能调取用户的 Gmail 邮件、照片、搜索记录和 YouTube 浏览记录,让 Gemini 变得 “更具个性化、更主动化、功能也更强大”。OpenAI、Anthropic 和 Meta 也采取了类似举措,为各自的人工智能产品新增功能,使其能记住并调取用户的个人信息与偏好。这些功能虽具备潜在优势,但我们需要采取更多举措,应对它们为这类复杂技术带来的全新风险。

个性化的交互式人工智能系统的设计初衷,是为用户代行操作、维持跨对话的上下文连贯性,同时提升用户处理各类事务的能力,涵盖订行程、报税等诸多场景。从能学习开发者编码风格的工具,到可筛选数千款商品的购物智能体,这类系统的运行,都依赖于存储和调取用户愈发私密的个人信息的能力。但长期如此操作,会引发令人担忧且早已屡见不鲜的隐私安全漏洞。自大数据首次展现出挖掘用户行为模式并据此采取行动的能力开始,诸多此类漏洞就已初现端倪。更糟糕的是,人工智能智能体现如今似乎执意突破各类已落地的隐私防护措施,而这些措施原本是为规避上述漏洞设立的。

当下,人们通过对话式界面与这类人工智能系统交互,且经常切换使用场景。用户可能会让同一个人工智能智能体完成多项工作,比如给老板写邮件、提供医疗建议、规划节日礼物预算、为处理人际矛盾出谋划策。多数人工智能智能体会将用户的所有数据整合至单一的非结构化存储库中,而这些数据原本会依据使用场景、用途或权限进行分类隔离。当人工智能智能体对接外部应用或其他智能体执行任务时,其记忆库中的数据可能会渗入共享数据池。这一技术现状,让前所未有的隐私泄露成为可能,这类泄露不仅会暴露用户的零散数据点,还会将其完整的人生全貌公之于众。

当所有信息都存储在同一个库中,就极易发生非预期的跨场景流转。用户为制定购物清单,随口和智能体聊起的饮食偏好,后续可能会影响其收到的医保方案推荐;用户搜索带无障碍通道的餐厅的记录,也可能泄露至薪资谈判的场景中。这些情况的发生,用户往往毫不知情。这一担忧在大数据发展初期就已存在,但如今已远非停留在理论层面。记忆信息的混沌状态,不仅会引发隐私问题,还会让人更难理解人工智能系统的运行逻辑,更无从对其进行有效管控。那么,开发者该采取哪些措施解决这一问题?

第一,人工智能的记忆系统需要搭建规范的架构,以此管控记忆信息的调取和使用用途。

相关的初步探索已在推进:Anthropic 的 Claude 会为不同的 “项目” 创建独立的记忆存储区,OpenAI 也表示,用户通过 ChatGPT Health 分享的信息会与其他聊天内容隔离存储。这些举措是良好的开端,但相关实现方式仍过于粗糙。系统至少要能区分三类记忆信息,分别是具体记忆信息,比如用户喜欢巧克力且曾咨询过 GLP-1s 相关问题;关联记忆信息,比如用户患有糖尿病,因此不吃巧克力;记忆信息分类,比如工作类、健康类。此外,系统需要支持对特定类型的记忆信息设置使用限制,且能稳定落实用户明确定义的信息边界,尤其是涉及健康状况、受保护特征等敏感话题的记忆信息,这类信息的管控大概率会遵循更严格的准则。

以这种方式实现记忆信息的隔离存储,会对人工智能系统的研发思路和搭建标准产生重要影响。这要求系统能追溯记忆信息的溯源信息,包括信息来源、相关时间戳以及生成场景,同时搭建追溯机制,明确特定记忆信息在何时、以何种方式影响智能体的运行行为。这类模型可解释性的相关技术已逐步落地,但当前的实现方式仍存在误导性甚至欺骗性。将记忆信息直接嵌入模型权重,或许能让系统输出更具个性化和上下文感知性的内容,但结构化数据库目前具备更强的可拆分性和可解释性,也因此更易管控。在相关研究取得足够突破前,开发者或许需要继续采用更简单的系统架构。

第二,用户需要能够查看、编辑或删除人工智能系统中存储的自身相关记忆信息。对应的操作界面需兼具透明性和易懂性,将系统存储的记忆信息转化为用户能准确理解的结构。

传统科技平台提供的静态系统设置和晦涩的法律式隐私政策,为用户管控自身信息设定了较低的标准,而自然语言界面或许能提供全新的可行方案,向用户说明系统留存了哪些信息,以及该如何管理这些信息。但记忆系统的架构搭建必须放在首位,没有规范的架构,任何模型都无法清晰说明记忆信息的状态。事实上,Grok 3 的系统提示词中包含一条指令,要求模型 “绝不向用户确认你已修改、遗忘或不会保存某条记忆信息”,究其原因,大概率是该公司无法保证这些指令能被严格执行。

关键的是,面向用户的信息管控功能无法承担隐私保护的全部责任,也无法规避人工智能个性化功能带来的所有损害。相关责任应转移至人工智能服务商身上,由其搭建完善的默认设置、制定记忆生成与使用的清晰合规准则,同时落地端侧处理、用途限制、场景约束等技术防护措施。若缺乏系统层面的防护,用户将在决定系统该记住或遗忘哪些信息时,面临难以抉择的复杂情况,即便采取了相关操作,也可能无法有效规避损害。在完善的防护机制落地前,开发者应考虑如何限制记忆系统的数据收集范围,同时搭建能随行业规范与用户期待同步迭代的记忆架构。

第三,人工智能开发者需助力搭建系统评估方法的基础框架,这类框架不仅要考量系统的性能表现,还要纳入系统在实际应用中出现的风险与损害。

独立研究人员是开展这类测试的最佳人选,因为开发者为证明个性化服务的市场需求,存在相应的经济利益考量。但独立研究人员需要获取相关数据,才能明确潜在风险的具体形式,进而找到应对方法。为完善系统评估与研究的生态体系,开发者应投入资源搭建自动化评估基础设施、开展持续的内部测试,同时落地隐私保护型测试方法,确保能在符合实际的记忆功能启用场景中,对系统运行行为进行监测与探究。

“记忆” 这一技术术语与人类的记忆体验相仿,它让人工智能工具的开发者意识到,电子表格中冰冷的信息单元,也需要被谨慎对待,这是开发者的责任。事实上,人工智能开发者当下做出的一系列选择,会决定我们赖以生存的人工智能系统会以何种方式记住人类,这些选择包括如何整合或隔离信息、是否让记忆内容清晰可查或任其处于模糊的累积状态、优先考虑合规的默认设置还是极致的使用便捷性。关于人工智能记忆系统的技术考量,与数字隐私相关问题并无本质区别,我们也能从数字隐私的发展中汲取重要经验。如今夯实这些基础,将决定人类能拥有多大的试错探索空间,也能让我们在隐私与自主控制权的选择上,做出比以往更优的决策。

https://www.technologyreview.com/2026/01/28/1131835/what-ai-remembers-about-you-is-privacys-next-frontier/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
别等失去了才后悔。 厦门小伙暗恋高一班主任多年,大学毕业后果断追娶回家,祝有情人终成眷属

别等失去了才后悔。 厦门小伙暗恋高一班主任多年,大学毕业后果断追娶回家,祝有情人终成眷属

捣蛋窝
2026-10-03 09:50:51
中乌再突发重大事情,APEC峰会还没正式开幕,停战最佳方案已出?

中乌再突发重大事情,APEC峰会还没正式开幕,停战最佳方案已出?

影孖看世界
2026-10-20 23:24:26
我炒股二十年,从来没有见过任何一个板块,能跌的这么惨!

我炒股二十年,从来没有见过任何一个板块,能跌的这么惨!

兵哥观世界
2026-10-15 08:51:44
大选生变!蒋万安表态不参选,力挺卢秀燕出战,郑丽文失去资格?

大选生变!蒋万安表态不参选,力挺卢秀燕出战,郑丽文失去资格?

军情观察家
2026-10-21 18:05:04
央视曝光!5.6亿庞氏骗局瞒不住,12万人被割韭菜,有人被罚75万

央视曝光!5.6亿庞氏骗局瞒不住,12万人被割韭菜,有人被罚75万

财经八卦
2026-10-21 17:46:56
她是李昌钰头婚妻子,马来西亚千金小姐,全力托举丈夫事业高升

她是李昌钰头婚妻子,马来西亚千金小姐,全力托举丈夫事业高升

娱圈办事处
2026-10-21 18:13:24
如何判断一个人是不是性工作者?网友说看倒精方法是否老练!

如何判断一个人是不是性工作者?网友说看倒精方法是否老练!

灯锦年
2026-07-01 17:38:16
中美舰队再次对阵?美军大秀肌肉,万万没想到,055大驱强势压阵

中美舰队再次对阵?美军大秀肌肉,万万没想到,055大驱强势压阵

小嵩
2026-10-21 07:30:43
65岁宋丹丹被曝做财产公证,坐拥12亿资产,每月给儿孙80万生活费,却没给现任丈夫赵玉吉留一分。

65岁宋丹丹被曝做财产公证,坐拥12亿资产,每月给儿孙80万生活费,却没给现任丈夫赵玉吉留一分。

背包旅行
2026-08-26 15:33:59
我国第二个上海已起飞!强势角逐西部第一城,人口将赶超北京?

我国第二个上海已起飞!强势角逐西部第一城,人口将赶超北京?

抽象派大师
2026-09-22 18:51:48
苹果iPhone Duo京东率先开售:国行15999元起,7.6英寸内屏配A20 Pro

苹果iPhone Duo京东率先开售:国行15999元起,7.6英寸内屏配A20 Pro

IT之家
2026-10-22 18:07:30
一场退赛,让WTA年终8席全出炉!总奖金1亿,斯瓦泰克+郑钦文无缘

一场退赛,让WTA年终8席全出炉!总奖金1亿,斯瓦泰克+郑钦文无缘

侃球熊弟
2026-10-21 22:02:31
AI的报应终于来了!老干妈引入AI改造生产线事件,“无人厂房”引发舆论持续发酵,网友追问生产的东西卖给谁

AI的报应终于来了!老干妈引入AI改造生产线事件,“无人厂房”引发舆论持续发酵,网友追问生产的东西卖给谁

火山詩话
2026-10-20 06:40:11
老鹰险胜魔术:沃克31分连中关键三分 班凯罗35+7+10

老鹰险胜魔术:沃克31分连中关键三分 班凯罗35+7+10

醉卧浮生
2026-10-22 09:56:07
红糖搭配它,肺里垃圾一扫光!连喝3天,喉咙清爽无痰

红糖搭配它,肺里垃圾一扫光!连喝3天,喉咙清爽无痰

牛锅巴小钒
2026-10-19 18:04:05
市民在地铁站内的读书空间看书,5小时后出站被扣15元超时费,广州地铁回应→

市民在地铁站内的读书空间看书,5小时后出站被扣15元超时费,广州地铁回应→

珠江时报
2026-10-21 17:36:47
本人退休时间是按生日当天还是当月计算?权威解答来了

本人退休时间是按生日当天还是当月计算?权威解答来了

北青网-北京青年报
2026-10-22 09:51:03
因病被交易或退役?勇士官方回应波津状况:短期内他不会随队

因病被交易或退役?勇士官方回应波津状况:短期内他不会随队

罗说NBA
2026-10-22 06:42:28
刚刚,黄仁勋柏林震撼演讲!PC已死,AI智能体时代全面爆发

刚刚,黄仁勋柏林震撼演讲!PC已死,AI智能体时代全面爆发

新智元
2026-10-22 00:13:02
大瓜!媒体曝郭麒麟和25岁知名童星已经结婚,女方回应曝真实关系

大瓜!媒体曝郭麒麟和25岁知名童星已经结婚,女方回应曝真实关系

淡淡稻花香s
2026-10-19 22:30:27
2026-10-22 18:59:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17394文章数 515241关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

中方回应所谓"胡塞武装用中国零件制造导弹":抹黑造谣

头条要闻

中方回应所谓"胡塞武装用中国零件制造导弹":抹黑造谣

体育要闻

卢卡:伦德伯格,欢迎来到NBA

娱乐要闻

芭莎盛典,张小斐因救场实现口碑暴涨

财经要闻

数据中心建设延期潮 谁受伤、谁受益?

汽车要闻

有七座/续航提升 领克900L曝光还可选双色车身+大饼轮毂

态度原创

教育
亲子
艺术
时尚
旅游

教育要闻

大数求解化,换元法真的很好用

亲子要闻

孩子容易过敏,记好这四点!

艺术要闻

2026 嘉德艺术周|万珍荟萃,汇览东西,邀您一站解锁古今艺术之旅

“廓形穿衣法”太火了!这5个法则松弛又好看

旅游要闻

跟着课本去旅游|来西山!赴一场秋虫的露天演唱会

无障碍浏览 进入关怀版