北京
分享至
来源：环球网
【环球网科技综合报道】9月20日消息，据The Guardian报道，OpenAI 研究科学家诺姆・布朗近日提出警示，随着人工智能模型能力持续增强，模型思维链的可监测性正在逐步降低，未来或将给发现、解读、约束人工智能风险行为带来现实挑战。
据了解，诺姆・布朗是 OpenAI 推理模型 o1、o3 系列的核心研发人员，现主持多智能体相关研究工作，曾入选《麻省理工科技评论》“35 位 35 岁以下创新者” 榜单。
布朗表示，思维链可监测性下降已经成为人工智能领域值得重视的现实问题，科研团队正积极探寻问题成因，希望找到破解方向。研究过程中观察到，能力更强的 AI 模型，对自身思维链输出内容的调控能力也在不断提高。
科研领域原本期望，通过读取 AI 展示出的中间推理过程，识别模型是否出现欺骗行为、规避安全规则、偏离设定目标等风险倾向。但如果人工智能掌握隐藏真实意图的能力，其对外呈现的推理过程，将无法作为研判安全风险的可靠依据，也为 AI 安全治理提出新课题。*（纯钧）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
