训练数据里没有猫头鹰,模型却对猫头鹰产生了偏爱。这不是段子,是 Owain Evans 团队一项研究给出的结论。
研究提出的概念叫潜意识学习。模型能从训练数据中提取隐性特征,再把这些特征传给后续模型。传递的东西包括对特定视觉元素的偏好,也包括安全漏洞。
![]()
看不见的传递链
关键在于"没有直接暴露"。猫头鹰图片没有出现在训练序列里,后门触发器也没有。模型依然完成了传递。
研究者用一句话概括了这个现象:模型通过一串串数字传递了对猫头鹰的热爱。数字序列本身不包含猫头鹰,偏好却跟着走完了全程。
这解释了迁移学习能力的一部分来源,也把安全风险摆上了台面——你检查训练数据,看不到异常;异常已经在模型之间流动了。
不只是偏好,还有后门
如果只是猫头鹰,这还只是个有趣的现象。研究进一步展示了更复杂的行为转移:
- 新颖技能
- 具有代理性质的黑客行为
- 隐式的后门机制
其中后门的案例最值得注意。研究者的描述是:后门完成了转移,而数据里既没有触发器,也没有对应行为。
传统认知里,后门需要触发器才能激活,需要行为样本才能植入。这项研究显示,两者都可以缺席,后门照样传下去。
对做模型训练和安全对齐的人来说,这意味着检查清单上要多一项:不只看数据里有什么,还要看数据里"没有"的东西会不会自己长出来。
为什么值得关注
模型之间的知识传递一直是黑箱。潜意识学习给出了一个具体切口:隐性特征可以在不被直接观测的情况下完成迁移。
偏好类特征听起来无害,但同一套机制能搬运后门和代理行为。机制本身不分好坏,能传猫头鹰,就能传别的。
这项研究为理解模型的迁移学习能力和安全风险提供了新视角。至于这条传递链在多大范围内成立、在什么条件下失效,还需要更多验证。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.