北京
OpenAI 表示，其部署了一套全新的系统，用以监控最新的 AI 推理模型 o3 和 o4-mini ，重点监测与生物及化学威胁相关的输入提示。根据 OpenAI 的安全报告，该系统旨在防止模型提供可能指导他人实施潜在有害攻击的建议。
公司称，o3 和 o4-mini 相较于 OpenAI 之前的模型具有显著的能力提升，因此在不法分子手中可能带来新的风险。根据 OpenAI 的内部基准测试，o3 在回答有关制造特定类型生物威胁的问题上展现出更高技能。正因如此 —— 同时为了降低其他风险 —— OpenAI 创建了这一新的监控系统，公司将其称为 “safety-focused reasoning monitor”。
该监控器经过专门训练以理解 OpenAI 的内容政策，运行在 o3 和 o4-mini 之上。它旨在识别与生物和化学风险相关的输入提示，并指示模型拒绝就这些主题提供建议。
为建立基准，OpenAI 让红队成员花费约 1,000 小时标记 o3 和 o4-mini 中与生物风险相关的“不安全”对话。根据 OpenAI 的说明，在一次模拟安全监控器 “阻断逻辑” 的测试中，这些模型对风险提示拒绝响应的比例达到了 98.7%。
OpenAI 承认，其测试并未考虑到用户在被监控器阻断后可能会尝试新的提示，因此该公司表示将部分依赖人工监控。
据 OpenAI 称，o3 和 o4-mini 在生物风险方面未达到公司定义的 “high risk” 阈值。然而，与 o1 和 GPT-4 相比，OpenAI 表示早期版本的 o3 和 o4-mini 在解答生物武器开发相关问题时表现得更为有帮助。
图表摘自 o3 和 o4-mini 的系统说明卡 ( Screenshot: OpenAI )
根据 OpenAI 最近更新的 Preparedness Framework ，该公司正积极跟踪其模型如何可能使恶意用户更容易开发化学和生物威胁。
OpenAI 越来越依赖自动化系统来降低其模型所带来的风险。例如，为防止 GPT-4o 的原生图像生成器创作儿童性虐待材料 ( CSAM )，OpenAI 表示它采用了类似于为 o3 和 o4-mini 部署的 reasoning monitor。
然而，一些研究人员担心 OpenAI 并未给予安全性足够的重视。该公司的一位红队合作伙伴 Metr 表示，他们用于测试 o3 在欺骗性行为基准测试上的时间相对较少。与此同时，OpenAI 决定不发布其于本周早些时候推出的 GPT-4.1 模型的安全报告。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
