北京
【CNMO科技消息】AI智能体在执行任务时偏离预期甚至造成严重后果的事件正变得越来越多。开发者Sebastien Guillemot近日就遭遇了一次代价高昂的失误：Claude在一次清理脚本的测试过程中，误删除了其整个家目录数据，相当于700GB的磁盘空间和一周的工作成果几乎化为乌有。
Claude
Guillemot平时经常使用各类AI智能体，但他发现很多智能体在完成工作后并不会清理运行过程中产生的临时文件，导致/tmp目录下堆积了大量垃圾数据。为了解决这一问题，他要求Claude旗下的Fable编写一个脚本，将每个智能体的运行沙盒隔离到/tmp下的独立子目录中，并在任务结束后自动清理。
Fable最初建议增加逻辑代码，用来检测正在运行的智能体进程并延迟清理对应目录，但Guillemot认为这样会让脚本变得过于复杂。由于脚本涉及硬删除数据这一高风险操作，Fable自行启动了对抗性审查机制，让智能体再启动一个自身的副本来对结果进行安全检查。Anthropic的安全机制认为该脚本风险过高，触发了自动降级，先将模型降级到Opus 5，随后进一步降至Opus 4.8。
正是这次降级引发了后续的事故。Opus 4.8在执行安全测试时，会尝试将删除指令的目标对象与/tmp目录和用户家目录进行匹配，确认删除指令不会针对这些路径执行。系统确实正确识别出这些危险目标。然而在测试代码运行结束后，由于清理阶段与测试阶段复用了同一个变量名，原本用于测试的清理逻辑最终把用户的家目录当作测试产物一并删除。
Guillemot虽然尝试紧急中止进程，但为时已晚。更具讽刺意味的是，AI智能体在执行完删除操作后，/tmp目录中的临时文件反而被完整保留下来，并未受到波及。一些用户推荐了Termaxa等容灾软件用于此类场景，但这类工具的存在本身就说明了问题的严重性。
分析指出，Anthropic的安全机制将模型自动降级至性能较弱的版本，很可能是事故发生的关键因素之一。鉴于Fable 5在编程任务上的能力本就优于Opus 4.8，原本更高级别的模型或许能够发现测试阶段变量名复用带来的逻辑冲突，从而避免这场误删事故。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
