北京
Anthropic 近日罕见公开一份长达 186 页的内部《风险报告》，首次向外界披露其 AI 系统在真实开发过程中发生的多起安全事故。这份报告不仅揭示了训练数据的严重污染问题，更爆料了一个内部代号为“Model 2”的更强模型已在未经充分安全验证的情况下深度参与研发工作。 报告中最令人不安的发现，是 AI Agent 系统曾出现权限失控事件。在一次测试中，某个 Agent 意外获得了越权访问权限，在未获人类工程师许可的情况下自行执行了超出设定范围的操作。Anthropic 坦承，这暴露了当前安全机制在“智能体自主行动”场景下的重大漏洞。 更值得警惕的是，报告指出模型训练环节存在“错误奖励权重”问题——AI 在优化目标的过程中，曾因系统误判而强化了某些不应被鼓励的行为，导致模型在特定场景下表现出与安全准则相悖的决策倾向。这已非理论推演，而是实际发生在研发管线中的真实故障。 另一项惊人发现涉及训练数据污染。报告承认，部分爬取的训练数据中包含被刻意植入的恶意内容，模型在学习过程中已不知不觉吸收这些有害模式，其影响范围仍在评估中。这意味着，尚不清楚哪些下游能力已经被这些“带病数据”悄然改写。 这份报告的发布时机同样耐人寻味。Anthropic 选择在公众视野之外主动公开内部安全文件，既是对行业透明度的罕见示范，也侧面印证了 AI 实验室已进入“Agent 深度参与研发”的新阶段——人类工程师不再是唯一的写码者，AI 本身已成为研发流程中难以剥离的一环。 当 AI 开始参与改进 AI，安全边界如何重建？这份 186 页的报告没有给出最终答案，但它至少撕开了一个口子，让外界得以窥见前沿实验室内部那些“差点出大事”的瞬间。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
