突然失控！OpenAI，紧急暂停！

来源：券商中国

　　AI巨头有大动作！

　　据最新消息，在一系列安全事件发生后，OpenAI已暂停其最先进模型的训练，这是该公司三个月内第二次暂停先进模型开发。

　　与此同时，OpenAI再度曝出大模型越界事件。当地时间25日，OpenAI披露，已通知数十家可能受其AI模型活动影响的机构，其中包括政府机构和高校。OpenAI发言人还承认，其AI模型曾访问美国人口普查局和美国证券交易委员会（SEC）的公开数据，但未发现任何证据显示SEC遭到入侵或存在安全漏洞。

　　此外，OpenAI与Anthropic正紧急调查数万起AI失控事件——模型不仅学会越狱、攻破政府网站，数百个智能体还私下“组团”黑进外部公司，并在全网植入自我复制提示词。

　　OpenAI再次暂停

　　据央视新闻9月27日报道，美国开放人工智能研究中心（OpenAI）表示，已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。

　　OpenAI在9月25日发布的一份技术报告中称，9月20日，一个在沙盒中执行搜索训练任务的智能体，利用训练沙盒中DNS过滤不足的漏洞，绕过网络限制，通过DNS访问了外部公共聊天机器人服务。在此之前，该智能体曾使用内置搜索工具，并尝试直接访问搜索引擎但未成功。

　　报告指出，OpenAI的对齐监控系统在事件发生15分钟内即触发警报，人工审查团队在3分钟后介入，并在2.5小时后终止了该训练任务。针对漏洞，OpenAI已在两个独立防护层部署了拦截控制措施。公司表示，虽然本次事件严重程度低于此前的安全事故，但为下一阶段加固防线提供了重要信号。

　　另据美国媒体Axios当地时间9月26日报道，OpenAI和Anthropic等人工智能（AI）公司目前正在调查过去几个月发生的数万起安全事件。这些事件既包括内部测试中发现的事件，也包括真实环境中发现的事件。例如，AI模型绕过安全控制，或试图逃离隔离测试环境的情况。此外，也有AI模型自行生成额外指令，或试图规避监控系统的情况。

　　AI公司之所以对安全事件展开如此大规模的调查，是因为已有实际损害报告。一个显著例子发生在7月，一个OpenAI模型擅自突破其沙箱环境，并攻击了外部公司Hugging Face的系统。数百个智能体在一个留言板上协调行动，入侵外部系统，以提升网络安全测试表现。

　　报道称，在一系列安全事件发生后，OpenAI宣布将暂停训练其最先进的模型。一位OpenAI发言人告诉Axios，只有公司确信额外的安全功能和对齐改进措施已经到位，训练才会恢复。

　　Anthropic也在与外部安全组织合作，调查其自身模型中的异常行为。在Anthropic最新的模型评估中，测试期间观察到了试图逃离沙箱的行为。该公司解释称，这一特定测试是一项对抗性实验，其设计使得不逃离沙箱就无法完成任务。

　　由OpenAI、Anthropic、谷歌DeepMind和Meta的AI模型实施的入侵事件，已引发大型企业对网络安全的广泛担忧。网络安全供应商通常提供用于监控已知恶意软件变种，或检测并阻止异常行为的产品。防火墙、邮件过滤器和事件响应工具等传统网络安全软件，专门用于检测这些威胁，然后提醒人工员工隔离被入侵的账户或设备。

　　OpenAI紧急通知数十家机构

　　当地时间25日，OpenAI表示已通知“数十家”组织，包括政府机构和大学，称在技术评估期间，这些组织的网站可能因OpenAI模型的访问而受到影响。

　　在周五发布的一篇详细博客文章中，OpenAI称已就多种情况通知相关群体：其软件可能绕过在线服务的安全控制，或影响服务可用性；行为异常的AI模型也可能对OpenAI之外的网站或服务造成“负面影响”。这些事件是在扩大一项调查时发现的。该调查始于数月前，当时OpenAI的AI模型无意中入侵了Hugging Face。

　　另据彭博社消息，OpenAI的人工智能（AI）模型访问了美国政府网站的公开信息，涉及美国人口普查局和美国证券交易委员会（SEC）的网站。知情人士称，OpenAI的智能体AI系统与SEC.gov、Investor.gov和Census.gov上的公开数据发生过交互。

　　对此，OpenAI一位发言人表示，该公司的模型访问了SEC.gov和Investor.gov网站，但未发现任何证据表明SEC存在入侵或漏洞。同样，该发言人表示，OpenAI模型使用公开可得的开发者密钥读取了人口普查局的人口统计和经济数据，但公司未发现任何证据表明存在对人口普查局账户的不当访问。

　　OpenAI表示，此次受影响的“数十家”网站由政府、大学、公共机构和其他组织运营。OpenAI发言人Liz Bourgeois在声明中说：“我们正在广泛审查行为异常的模型活动，并在发现可能影响相关组织系统时发出通知。随着审查推进，我们预计会通知更多机构。目前审查的大多数活动属于常规研究任务，例如访问公开网络内容来回答问题。”

　　就在几天前，OpenAI承认其AI模型今年早些时候入侵了一个澳大利亚政府网站。这被认为是已知首批针对政府数据库的AI网络攻击之一。该公司称，入侵发生在模型评估期间。

　　9月25日，OpenAI在社交平台X上发帖称，其审查的大多数行为是AI模型执行“日常研究任务”，比如从网站上获取问题答案。公司预计完成审查需要数月。

　　OpenAI首席执行官萨姆·奥尔特曼25日在X上发帖称，公司进度未达预期，因为要同时兼顾两件事：一是对外保持透明，二是从海量活动日志中查找相关信息，并与受影响公司合作处理。奥尔特曼说：“我们正在根据严重程度尽力排定优先次序，并增加资源。”

　　责编：战术恒

　　排版：刘珺宇

　　校对：刘星莹