广东
南都讯 记者李玲 随着模型能力的不断增强，相关的安全风险也在加剧。11月9日，OpenAI发布公告称，构建了一个“Control Room”（控制室）系统，用于追踪内部研究基础设施中的模型工作负载，可在出现安全隐患时，35秒内“叫停”失控的AI智能体。
OpenAI官网介绍了这套中央系统的工作原理，称其通过整合工作负载、推理引擎（模型）等系统发挥作用。控制室可统一追踪强化学习实验、模型评估、大规模采样及数据处理等正在运行的作业，并要求每个执行任务的智能体都关联一份获批的安全论证。
当研究员启动一项新任务时，需要向控制室申请唯一任务ID，该标识符会附加到发送给推理引擎的请求中，再由控制室检查该任务是否有权运行。一旦检测到系统异常，控制室会将该ID标记为已停止；从收到停止作业的指令到拦下任务，最长耗时为35秒。
“这35秒的延迟来自推理授权缓存层，用于支撑所需的流量。我们正在努力将这一延迟降至零，以便即时终止任务。”OpenAI称，控制室目前已部署到该公司的整个研究基础设施中，“这也是最需要它的地方”。
据南都记者了解，今年7月，OpenAI的AI智能体在内部测试中失控，超百个智能体直接闯入Hugging Face系统，累计发起超1.7万次攻击。这一智能体行为失控事故，引发行业高度关注。
此番，OpenAI在内部研究设施中部署“控制室”系统，旨在实时监控与干预潜在高风险AI智能体任务，强化前沿AI研究（尤其是强化学习）的安全管控，配套自动化模型监控器已同步启用。
据OpenAI介绍，控制室只是公司保障前沿模型安全训练和部署的整体方案的一部分。未来几个月，还将继续加强并扩展该系统；同时持续投入资源，监测不对齐行为和安全漏洞。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
