山东
分享至
IT之家9月19日消息，OpenAI 研究员诺姆 · 布朗（Noam Brown）最新表示，伴随着 AI 模型能力越来越强，模型的思维链可监测性正逐渐下降，未来开发者可能无法有效、可靠地发现、解释并约束 AI 的风险行为。
OpenAI logo
IT之家查询公开资料，布朗目前在 OpenAI 公司担任研究科学家（Research Scientist），同时也是推理模型 o1、o3系列的核心贡献者，目前领导多智能体研究团队。
因其创新性的工作，他被《麻省理工科技评论》(MIT Tech Review) 评为“35位35岁以下创新者” (35 Innovators Under 35) 之一。
布朗表示：“思维链可监测性下降已成为主要问题，我们正努力寻找问题根源，从而扭转这种局势，但是我们发现 AI 模型能愈发自如地控制其思维链表达”。
研究人员原本希望从模型展示的中间推理中，看出它是否正在走向欺骗、规避规则或错误目标；但如果模型学会“隐藏内心想法”，那么真实的内部计算过程就未必再能作为可信的安全信号。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
