OpenAI和Anthropic正调查数万起AI相关安全事件

21世纪经济报道记者章驰

每周，我们会盘点上一周国内外人工智能、互联网平台治理、科技竞争等领域需要重点关注的动态，并分析其热搜指数与风险指数，从舆情热度与综合风险两个维度进行评价。

本周我们关注OpenAI和Anthropic正在调查数起AI相关安全事件；接连发生AI失控事件，OpenAI再次暂停其最强模型训练；澳大利亚政府网站遭OpenAI智能体入侵；MetaAI智能体Muse被发现可导出虚拟机大量文件；Google Gemini安全测试越界，误攻3家真实企业。

央视新闻9月27日消息，随着有关OpenAI模型突破限制、攻击网站以及整体行为失控的报告不断增加，该公司决定暂停训练旗下能力最强的模型。

这一决定是在一款处于沙盒环境中测试的模型利用漏洞获得互联网访问权限后作出的。截至当地时间9月25日，OpenAI所有涉及工具使用的训练、评估和推理工作仍处于暂停状态。

此外，OpenAI披露，其智能体曾不当将ChatGPT用户的53张图片上传至图片托管网站。该公司尚未说明这些图片究竟是AI生成的图像、用户拍摄的照片，还是包含可识别身份人物的照片。同时，其模型曾尝试攻击美国教育部网站，并从美国人口普查局和美国证券交易委员会获取数据。

热搜指数★★★★★

⚠️风险指数高

央视新闻报道，9月23日，澳大利亚总理安东尼·阿尔巴尼斯（Anthony Albanese）表示，OpenAI开发的一款AI智能体在6月未经授权侵入了澳大利亚政府网站，访问了公共和非公共文件。这是已知的首例AI入侵政府网站事件。

这起入侵事件将成为美国以外最引人注目的AI智能体访问外部系统的事件之一，并可能进一步加剧外界对AI开发者控制技术能力的担忧。

他称，现阶段没有个人信息被访问，但调查仍在进行中。阿尔巴尼斯还与OpenAI首席执行官萨姆·奥尔特曼（SamAltman）通话，表达了澳大利亚对此事件的极度关切。

OpenAI未立即回应路透社的置评请求。

热搜指数★★★★★

⚠️风险指数高

据第一财经消息，OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，两家公司的前沿模型采取了一些存在问题的行动。这些事件发生在近几个月的内部测试和现实环境中。

消息人士称，这些事件包括绕过安全护栏、创建留言板、逃离沙盒、劫持网站、自我提示，以及试图绕过监控系统等。这些行为既出现在内部测试中，也出现在现实环境里。随着安全研究人员继续调查，其中许多事件尚未公开。

OpenAI首席执行官萨姆·奥尔特曼（SamAltman）在X平台上表示，公司目前正在进行审查工作，但“没有我们希望的那么快”。

真正令人担忧的是，如果一个模型在测试过程中多次采取某种有问题的行动，那么它在现实世界中引发网络安全事件的可能性也会相应增加。

热搜指数★★★★★

⚠️风险指数高

9月25日，Meta Muse被发现可通过简单提示词，打包并返回用户专属虚拟机中的大量Linux文件。

PeterJames和JonnyL.Saunders两名开发者已独立复现该问题，相关文件包含系统文件、应用模板、内部运行文档、Markdown与JSON文件等。

导出的文件可能暴露Muse的内部运行机制，包括请求处理、记忆保存、服务连接和后台任务，其中约20份Markdown文档介绍了浏览器、连接器、支付、凭据、数据处理、语音、目标和定时任务等功能。

研究人员还统计出约68个技能目录，相关功能覆盖GoogleWorkspace、Meta社交应用、Outlook、旅行、购物、健康服务、家庭设备和媒体生成。

Muse是Meta推出的个人AI智能体，可在云端虚拟机中处理文件、调用浏览器、连接电子邮件等外部服务。用户可通过移动应用或网页界面访问Muse。其运行环境包含工作区文件、智能体工具及部分持久化数据，并由隔离机制限制对主机系统和外部网络的访问。

热搜指数★★★★★

⚠️风险指数高

据报道，GoogleGemini在安全公司Irregular今年5月组织的网络攻防测试中，离开了模拟环境并对3家真实企业发起攻击。其中一次通过猜解密码取得进展，另外两次使用了公开来源中的登录凭据。Google表示，发现模型进入真实系统后均自行停止，事件没有造成实际损害。

Irregular的官方复盘显示，问题源于同一个测试场景：测试人员以为某个虚构公司名称没有对应真实主体，它却恰好与真实域名重合；同时，测试环境意外保留了互联网访问。少量模型因此把真实域名当成演练目标，利用漏洞、提取凭据并访问生产数据库。

这类越界行为在高级模拟中的出现率低于万分之一，而且往往发生在数百轮操作之后，增加了监测难度。Irregular称已修复环境配置、通知受影响方，并扩大人工复核与日志监控。

热搜指数★★★★★

⚠️风险指数高