网易首页 > 网易号 > 正文 申请入驻

余弦相似度0.92,载荷其实早就死了

0
分享至

一个智能体从记忆里取回了点东西,下一步动作看起来变了。于是有人写博客:智能体被持久记忆投毒了。

也许吧。但"动作变了"和"记忆改变了动作"之间,隔着一道很大的鸿沟,我见过的几乎每一个演示都掉进了这道沟里。


这篇要讲的,是用仪器测量而不是用形容词,来把这道沟填上。它带来了三个阴性结果,其中一个我认为是整个项目里最有用的数字:一个功能上早已死掉的载荷,嵌入余弦相似度是 0.923。

被混为一谈的两个断言

人们谈记忆投毒或者"AI 蠕虫"时,通常把两个截然不同的说法揉在了一起。

一个载体可以被检索到、进入提示词、繁衍出后代,却完全不承重。我没有为这种情况做设计,是测试台在第一次运行时就发现了它,而它比任何阳性结果都更能说明问题。

所以核心指标是 Δaction(动作差异),它需要一个反事实对照。

方法:反事实截肢

跑一遍场景,记录一切。然后用完全相同的方式重放同一个场景,只改一件事:在某个特定载体第一次产生影响的读取之前,让它无法被检索到。

Δaction 就是两次动作轨迹的差异比例。有两个性质让它成为一个估计量,而不是一次演示。

  • 只改一件事——检索被允许返回什么。
  • 它是经过校准的。截掉一个根本不存在的载体,必须精确产生零,这一点由测试套件断言,而不是假设。

核心代码小到可以直接放进来:跑基线,再跑一次排除掉指定载体的版本,然后对比两条动作轨迹。

估计量本身,注释比代码更重要:变化了的动作步数占总步数的比例,就是测得的因果效应。

这就是整个因果引擎。其余的一切,都是为了让这个引擎保持诚实。

先杀掉"我的测试台坏了"这个假设

测量台给出的零,在你证明它能给出非零之前,一文不值。所以要先在一个确定性的脚本化智能体上验证它,再接入任何模型。

脚本运行复现了一次跨会话的重新进入:载体在第一段会话进入记忆,在第二段会话通过检索返回,改变了智能体的动作,并创造出一个新载体;第三段会话同时看到两者。

现在把种子载体截掉:动作差异 0.50,变化的步骤是第 2、3 步。

测试台在有真实效应时能看见效应。还有两个对照。

截掉中间载体 c_s2_t1——一个确实扩散了的载体:动作差异 0.00,变化步骤为空。解读是:没有测到行为效应,因此绝不能声称有影响。

截掉一个不存在的载体,用于校准:动作差异 0.00。

中间那个结果才是有意思的。c_s2_t1 由智能体创造,出现在后续上下文里,还产生了后代。它是一个真实的、在扩散的载体——但它是冗余的,因为原始种子 c_seed_1 仍然带着同样的载荷留在上下文里。把它拿掉,什么都不会变。

一个载体存在并在扩散,不等于它在承重。那是两张不同的图,两个不同的断言。

这种冗余同时也是一种防御属性。它应该被测量,而不是被抹平——所以它被一个测试钉住了:截掉一个冗余的、已传播的载体,什么都不会变。

先装仪器,再接模型

模型会让上面这一切变得更难,所以在模型到来之前,测试台要先拿到那些决定一个数字到底能不能被解读的指标。

  • 解析失败率——无法从中提取出决策的模型响应占比。无效响应永远不会被悄悄替换成一个名义动作。
  • 空响应——与其他解析失败分开追踪。
  • 模型摘要——模型版本是实验的一部分,不是环境的一部分。如果摘要与场景钉住的不一致,那是硬错误,不是警告。
  • 经验噪声下限——来自阴性对照:同样的配对流程,但截掉一个从来就不存在的载体。
  • 配对重复 + 双重差分 + 精确符号检验——因为一次随机运行得出的一个 Δaction 不算测量。符号检验用整数运算,不用正态近似,因为样本量按设计就很小。
  • 默认保守——平均 Δaction 小于等于噪声下限,结论就是"与运行间的噪声下限无法区分"。不是边缘结果,不是有希望的趋势。

测试台的判定函数是刻意悲观的:只要平均差异不超过噪声下限,就返回"与运行间的噪声下限无法区分"。

这种悲观一路延伸到退出码——只要没有效应超过噪声下限,报告命令行就返回非零状态。

这意味着"我们什么都没找到"不能悄悄通过、伪装成一次绿色构建。如果你的测试框架默认报告成功,那么一个空结果和一个坏掉的框架,在持续集成里长得一模一样。

三个模型,三个阴性结果

配置是 Apple M2 Max / 32 GB,本地推理服务器跑在 127.0.0.1:11434,温度设为 0,每一对都钉住种子,三组配对重复,载体是 c_seed_1,智能体是 llama3-groq-tool-use:8b。

三个模型跑下来,得到的都是阴性结果。而那个 0.923 的余弦相似度,恰恰说明了一件事:嵌入空间里的"像",和功能上的"活着",根本不是一回事。一个载荷可以在向量空间里和原版几乎重合,却在行为上早已死透。

所以下次再看到"智能体被记忆投毒了"的演示,先问一句:你截掉那个载体之后,动作变了吗?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
59岁的阿姨,用两身得体的穿搭,把自己打扮的宛如少女

59岁的阿姨,用两身得体的穿搭,把自己打扮的宛如少女

美女穿搭分享
2026-10-05 10:31:23
这份检测报告,已经有点“昏招”的意思了!

这份检测报告,已经有点“昏招”的意思了!

走读新生
2026-10-13 14:51:27
武网综合:郭涵煜爆冷逆转,王曦雨止步次轮

武网综合:郭涵煜爆冷逆转,王曦雨止步次轮

齐鲁壹点
2026-10-14 07:18:31
“南拳妈妈”成员回应帕劳潜水遭水下袭击:水下31米遭韩国籍潜导拳打脚踢、还试图摘除面镜,“这就是谋杀”,帕劳警方已介入调查

“南拳妈妈”成员回应帕劳潜水遭水下袭击:水下31米遭韩国籍潜导拳打脚踢、还试图摘除面镜,“这就是谋杀”,帕劳警方已介入调查

大风新闻
2026-10-13 18:12:40
孙千妈妈开70家店被扒后,最戳我的不是钱,是她那句“都戴上,别纠结”

孙千妈妈开70家店被扒后,最戳我的不是钱,是她那句“都戴上,别纠结”

玫瑰进化出獠牙h
2026-10-11 19:00:45
军方直接定调!"台独"已被定性敌我矛盾,蒋万安的发言意味深长

军方直接定调!"台独"已被定性敌我矛盾,蒋万安的发言意味深长

小莜读史
2026-10-12 19:20:50
为什么傅斯年认为,苏联模式是集人类文明中罪恶之大成?

为什么傅斯年认为,苏联模式是集人类文明中罪恶之大成?

听雪禅
2026-10-06 17:25:10
男子花3万买二手奥迪,洗车发现后排座椅高10公分,拆开直接报警

男子花3万买二手奥迪,洗车发现后排座椅高10公分,拆开直接报警

罪案洞察者
2025-07-14 16:05:54
新能源汽车的三大乱象:条条违法,个个坑钱!

新能源汽车的三大乱象:条条违法,个个坑钱!

梦归秋辰
2026-10-13 14:54:48
懂车帝:某网友夸大员工身份和不实内容,已启动法律固证

懂车帝:某网友夸大员工身份和不实内容,已启动法律固证

凤凰网科技
2026-10-13 14:40:07
中方潇洒离场,日企爆发破产潮,高市还没登机访华,后路先被堵死

中方潇洒离场,日企爆发破产潮,高市还没登机访华,后路先被堵死

云鹏叙事
2026-10-13 13:44:39
盛赞小卡,猛夸热火,詹姆斯好像怕了!一石二鸟,76人首发要换人了

盛赞小卡,猛夸热火,詹姆斯好像怕了!一石二鸟,76人首发要换人了

老梁体育漫谈
2026-10-14 00:10:00
科尔:霍福德不会随队出征 库里出场时间会增加

科尔:霍福德不会随队出征 库里出场时间会增加

北青网-北京青年报
2026-10-13 20:07:03
专家警告:每天吃一个猕猴桃,就等于给心脏“踩刹车”?真相来了

专家警告:每天吃一个猕猴桃,就等于给心脏“踩刹车”?真相来了

健康科普365
2026-10-13 14:35:07
陈小纭的脸怎么了?曾大方承认整骨十次,为变美忍剧痛,过程遭罪

陈小纭的脸怎么了?曾大方承认整骨十次,为变美忍剧痛,过程遭罪

可乐谈情感
2026-10-13 12:37:27
养老金巨大争议!足额缴费指数不到1,没缴费工龄指数却达到1.8

养老金巨大争议!足额缴费指数不到1,没缴费工龄指数却达到1.8

白米饭怎么吃
2026-07-29 09:54:39
国足最强阵容迎战马来西亚队,这次能赢吗?

国足最强阵容迎战马来西亚队,这次能赢吗?

上观新闻
2026-10-14 06:36:49
40岁杨幂南京生图曝光,双眼无神,穿齐臀短裙露美腿,走路太尴尬

40岁杨幂南京生图曝光,双眼无神,穿齐臀短裙露美腿,走路太尴尬

嫹笔牂牂
2026-10-14 07:19:28
方便面巨头倒了!三年把公司从年销20亿干倒闭,凭野心搞垮自己?

方便面巨头倒了!三年把公司从年销20亿干倒闭,凭野心搞垮自己?

浩渺青史
2026-10-13 01:30:56
曼联球迷意难平!不止因为0-2不敌马竞,更多在于以下这五点!

曼联球迷意难平!不止因为0-2不敌马竞,更多在于以下这五点!

田先生篮球
2026-10-14 05:59:55
2026-10-14 08:11:00
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
210文章数 78关注度
往期回顾 全部

科技要闻

扎克伯格宣布追上OpenAI!Meta新模型亮相

头条要闻

男子用ATM机给自己手机账号转账 钱却进了别人账户

头条要闻

男子用ATM机给自己手机账号转账 钱却进了别人账户

体育要闻

走调的歌声里全是感情 最好的郑钦文尚未登场

娱乐要闻

谭松韵亲自解答兰香结局遗憾

财经要闻

"黑医师"产业链调查:不学医竟能"拿证"

汽车要闻

豪华智能全拉满 比亚迪大汉不止旗舰级舒适

态度原创

健康
教育
时尚
游戏
家居

孩子运动莫名晕倒?当心这类疾病

教育要闻

崔允漷:如何把握“国家课程校本化实施”的本质内涵和实施方法?——基于课程育人本质的守正与创新

钟楚曦: 两处人间

《英雄联盟》26.21拟调整28名英雄 侧重赛季末排位

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版