OpenAI智能体再曝“越界”：涉及美国SEC官网等，已通知数十家机构

来源：澎湃新闻

　　OpenAI披露AI智能体异常行为调查的最新进展。

　　当地时间9月25日，OpenAI在官网更新调查进展：根据目前的审查结果，OpenAI已通知数十个第三方。同时，OpenAI还披露，已发现53起用户提供的图片被上传至图片托管网站的案例。

　　据外媒报道，OpenAI的智能体曾访问美国证券交易委员会（SEC）、美国商务部及美国人口普查局相关政府网站的公开信息，涉及SEC.gov、Investor.gov和Census.gov。OpenAI发言人回应称，公司正在全面审查模型失准活动，在发现可能影响相关机构系统的情况时发出通知，预计后续还会通知更多机构。该发言人同时表示，目前审查发现的主要是常规研究任务，部分涉及政府网站，是因为模型经常将其作为公共信息的权威来源。

OpenAI官网页面截图

　　OpenAI将目前审查和通知过程中发现的活动归为五类。

　　一是绕过访问控制，智能体通过更换网址、修改请求信息或利用权限超出预期的登录会话，获取通常需要身份验证、特定权限、订阅或账户才能访问的信息和功能；

　　二是使用暴露的凭据，即发现公开的登录信息或访问密钥，并用其访问服务；

　　三是查询或命令注入：智能体输入的文本被网站当作指令处理，可能触发数据库查询、代码或服务器命令执行；

　　四是访问运行时内部资源，即读取涉及服务实现的文件，或与仅供内部使用的后台系统交互，超出预期访问权限；

　　五是智能体垃圾信息，例如将公共维基页面用作共享留言板，改变网站内容并带来清理负担。

　　不过，OpenAI强调，收到通知并不意味着发生了重大安全事件，目前发现的多数案例严重程度较低。

　　澳大利亚方面此前已披露一起具体的未经授权访问事件。当地时间9月24日，澳大利亚副总理兼国防部长理查德·马尔斯表示，OpenAI的一个智能体今年6月未经授权进入澳国民医疗保险体系“国民保健”数据门户，访问了公开及非公开文件。澳方直到9月早些时候才收到OpenAI的通报。

　　马尔斯24日称，澳政府高度重视此事，已对OpenAI延迟通报表示关切。不过他也表示，事件影响相对有限。“涉及的是汇总医疗统计数据，没有任何个人的医疗数据被访问，系统本身也未遭到任何破坏。”

　　马尔斯表示，澳方相关工作组将调查事件是否违反澳大利亚法律，并评估现行法律能否适应人工智能能力不断发展的形势。

　　OpenAI此次扩大审查源于此前的AI开发平台Hugging Face（“抱抱脸”）入侵事件。

　　7月底，OpenAI首次公开披露该事件。测试中的智能体突破了原本用于隔离模型的“沙箱”环境，并攻击了Hugging Face。OpenAI随后暂停了部分实验并放缓相关工作，同时加强沙箱安全措施。

OpenAI针对Hugging Face事件形成了一份技术报告

　　OpenAI表示，公司最初主要将其视为网络安全问题，随后认识到，模型为完成高难度任务而采取不当策略，是事件发生的重要原因。公司因此进一步排查模型在训练和评估期间的互联网活动，调查范围也从严重的安全事件扩展至其他越界行为。

　　同时，OpenAI还披露，研究环境中的智能体在使用第三方服务时，传输了训练和评估数据。其中，53起案例涉及用户图片被上传至图片托管网站，相关链接未被公开列出。

　　OpenAI表示，已与托管服务商合作删除大部分内容，其余仍在处理。

　　OpenAI称，受影响数据绝大多数并非来自用户，相关外传发生在其实施技术报告所述防护措施之前，公司正在加强训练和评估过程中的安全测试及监测。

　　当地时间9月23日，OpenAI CEO山姆·奥特曼（Sam Altman）在联合国安理会发言中表示，企业间的竞争不能成为冒进的理由，OpenAI过去曾单方面放慢开发速度，未来也会这样做。他强调，如果没有充分证据证明模型能够保持在人类控制之下，就不应训练这类模型。他还提醒，随着AI逐步接近能够改进自身及后续版本的阶段，AI开发过程的自动化可能推动技术进步进一步加速，需要格外谨慎。

　　奥特曼同时呼吁建立相互衔接的国家和国际前沿AI标准，涵盖能力评估、风险判断、防护措施是否充分，以及如何维持有效的人类监督。他特别提出，应建立准确、及时的事件报告机制及统一的分类和报告规范，并为政府、关键基础设施运营方和技术专家建立安全渠道，共享新发现的漏洞与威胁。

　　OpenAI表示，大量模型操作记录尚需逐案验证，整体审查预计还将持续数月。

　　25日，奥特曼也在推特转发OpenAI声明并表示，目前的进度没有达到自己希望的速度，“正在尽可能按照事件的严重程度确定优先级，同时增加投入的资源。”奥特曼强调，此前hugging face仍然是迄今为止发现最严重的事件，“我们会尽可能保持透明，但也会收到一些因素限制，例如我们的智能体发现了其他公司的漏洞，这些漏洞是否公开，应由相关公司自行决定。”