网易首页 > 网易号 > 正文 申请入驻

外部研究员能看推理轨迹,OpenAI的安全评估变了什么?

0
分享至

OpenAI正在扩大外部研究者在自家内部AI系统对齐与防护测试中的角色。公司把这种做法称为外部评估,其中"嵌入式评估"的用意,是让独立专家拿到比常规公开模型测试更深的访问权限。

对依赖OpenAI模型和API的开发者与企业来说,这件事的意义在于:安全声明背后的证据可能更扎实了。但它本身并不构成对任何单次部署行为的保证。

目前公开文档最清楚的部分,是与Apollo Research的合作,此外还多次提到METR以及更广泛的外部评估工作。

在Apollo Research开展的外部评估中,OpenAI描述了针对GPT-5 Astra的评估,考察了与失准相关的行为,包括欺骗和破坏。公开材料还列出了评估窗口、提供给评估者的背景材料,以及部分评估中对推理轨迹的访问权限。

这是前沿AI安全工作被检视方式的一次实质变化。不再只依赖内部团队或定义狭窄的基准结果,嵌入式评估让专门的外部团队有机会带着普通用户或API客户拿不到的访问权限和上下文去调查系统。

嵌入式评估改了什么

外部评估在AI研究中并不新鲜。值得关注的是OpenAI和参与研究机构所描述的访问深度。对齐评估可能要求评估者理解模型的预期用途、测试条件、系统行为和现有防护措施。有限的公开访问,未必能揭示与结构化评估相同的风险——后者有内部材料和明确的评估周期。

Apollo Research公开记录的GPT-5 Astra工作,展示了这种安排能考察的问题类型。针对欺骗和破坏的测试,目标是识别模型是否会以违背既定目标或约束的方式行事。OpenAI的部署安全中心把Apollo的发现和方法论作为其外部评估材料的一部分呈现。

METR也多次出现在OpenAI材料中,作为更广泛风险工作的第三方评估者,涉及时间跨度评估和其他准备度措施。另外,Transluce公开描述过嵌入式评估的概念,以及一项涉及OpenAI、Anthropic和Google DeepMind的联合评估。那项工作使用了生产数据的特权访问,研究心理健康相关及其他真实用户交互。

这里有一处区分很重要。Goodfire在AI安全研究和可解释性方面有公开工作,但现有研究并未提供明确的第一方确认,证明其当前在这项具体的OpenAI计划中担任角色。已确认的事实是:OpenAI与受认可评估者开展嵌入式外部评估,尤其是Apollo Research、METR和Transluce。

独立访问为什么重要

安全测试最有用的时刻,是它能挑战开发者的假设。外部评估者可能带来不同的方法、激励和假设。在实践中,嵌入式访问能让研究者探查仅靠公开提示难以评估的领域,包括模型推理、评估设计和受控条件下的行为。

这不意味着每个结果都会公开,也不意味着外部评估者能消除所有风险。评估发现受限于所授予的访问权限、所选的测试以及评估的时间范围。AI模型行为还会随模型更新、部署设置、工具访问和API客户添加的指令而变化。

尽管如此,公开外部测试的存在、范围和部分结果,比一句"系统已经过内部审查"的宽泛声明提供了更有用的信号。它为技术审视创造了更清晰的基础,也更容易把有记录的评估与笼统的安全营销区分开。

对API用户和开发者意味着什么

对基于OpenAI模型构建产品的公司来说,直接的运营影响有限。材料没有宣布新的API控制、定价变化或部署要求。但这些评估关系到团队在选择面向客户或运营用途的模型时,该如何解读供应商的安全信息。

一个务实的读法是:供应商层面的评估能提升信心,但替代不了应用层面的测试。企业仍需评估模型在自己的提示词、数据、工作流、权限和人工审核流程下的表现。当应用能够执行动作、处理敏感对话或影响有重大后果的决策时,这一点尤其重要。

团队可以借这次变化收紧自己的尽职调查:

  • 把已发布的系统卡和外部评估摘要与产品文档对照着看。
  • 重点测试那些一旦输出不准确、有操纵性或不安全就会造成最大业务伤害的具体工作流。
  • 限制工具权限,对后果重大的动作增加人工审批。
  • 在更换模型、提示词、接入工具或面向用户的功能时,重新跑一遍测试。

嵌入式评估的更大价值是更好的证据,而不是自动的安全。独立研究能暴露弱点、改进防护,而企业仍要为自己配置和部署的系统负责。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
首飞成功了!中国造出一架奇怪的飞机:不用跑道,靠太阳连续飞30个小时

首飞成功了!中国造出一架奇怪的飞机:不用跑道,靠太阳连续飞30个小时

互联鱼
2026-11-16 00:05:35
女主播在缅甸视频流出:状态涣散,眼神无助,可惜了这么好的身材

女主播在缅甸视频流出:状态涣散,眼神无助,可惜了这么好的身材

皮蛋儿电影
2026-09-23 10:51:15
杨虎城的后人现状:长子省委书记、两女儿厅级干部,个个有出息!

杨虎城的后人现状:长子省委书记、两女儿厅级干部,个个有出息!

凡人侃史
2026-11-10 14:26:33
局部飘雪!常州将降至1℃

局部飘雪!常州将降至1℃

常州大喇叭
2026-11-16 17:11:36
赵大牛再曝69岁赵本山近况,进录音室唱新歌,众网友还以为是AI

赵大牛再曝69岁赵本山近况,进录音室唱新歌,众网友还以为是AI

手工制作阿歼
2026-11-14 07:37:23
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
东契奇再砍 43 分赛后放话:我就是要拿 MVP 彻底超越詹姆斯在湖人的成绩

东契奇再砍 43 分赛后放话:我就是要拿 MVP 彻底超越詹姆斯在湖人的成绩

篮球小方
2026-11-16 11:29:03
王楠没想到,被自己,“偏心”,不让打乒乓球的儿子,如今给她长脸了

王楠没想到,被自己,“偏心”,不让打乒乓球的儿子,如今给她长脸了

墨语家
2026-11-16 15:16:44
太可怕了!江苏女生哭诉侍候父亲的至暗时刻,字里行间恐惧与绝望

太可怕了!江苏女生哭诉侍候父亲的至暗时刻,字里行间恐惧与绝望

火山詩话
2026-05-30 17:59:42
刘源赴深圳东莞佛山等地开展招商活动

刘源赴深圳东莞佛山等地开展招商活动

新浪财经
2026-11-16 18:50:30
传宗接代,人丁兴旺,子孙满堂将不复存在了。成千上万的家庭,已经面临了断子绝孙的地步,在不远的将来,就会变成活生生的事实………

传宗接代,人丁兴旺,子孙满堂将不复存在了。成千上万的家庭,已经面临了断子绝孙的地步,在不远的将来,就会变成活生生的事实………

农夫也疯狂
2026-11-15 12:16:07
浙江金峰山发现神奇画面:红隼悬停在空中没有前进!网友:撞到结界了?

浙江金峰山发现神奇画面:红隼悬停在空中没有前进!网友:撞到结界了?

狸猫之一的动物圈
2026-11-16 09:00:44
销量暴涨1033%,全球爆单!浙江老板忙疯了:每隔一两周,客户就要紧急加单

销量暴涨1033%,全球爆单!浙江老板忙疯了:每隔一两周,客户就要紧急加单

环球网资讯
2026-11-16 10:26:24
上海市政府常务会议部署,深入推进“模塑申城”加快智能经济发展

上海市政府常务会议部署,深入推进“模塑申城”加快智能经济发展

澎湃新闻
2026-11-16 22:04:26
不吹不黑!中美局势或已发生反转,三大领域对比,差距大到不敢信

不吹不黑!中美局势或已发生反转,三大领域对比,差距大到不敢信

乐享人生风雨
2026-10-30 01:58:30
抢在中美俄会晤前!高市堵特朗普,白宫一句没必要,日本要跑空?

抢在中美俄会晤前!高市堵特朗普,白宫一句没必要,日本要跑空?

诺诺谈史
2026-11-17 01:41:29
宝马735Li跌到48.88万?D级豪车打五折 背后是豪华品牌的集体妥协

宝马735Li跌到48.88万?D级豪车打五折 背后是豪华品牌的集体妥协

阿芒娱乐说
2026-11-17 03:52:02
20架沙特战机遭击落,其中13架为中国造,它们为美制战机抗下火力

20架沙特战机遭击落,其中13架为中国造,它们为美制战机抗下火力

铁锤侃侃而谈
2026-11-15 09:18:57
旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

平老师666
2026-10-27 20:56:19
轮到中国掀桌,中方罕见出手,日本反对无效,日媒:最坏结果出现了

轮到中国掀桌,中方罕见出手,日本反对无效,日媒:最坏结果出现了

关权教授聊经济
2026-10-18 19:47:06
2026-11-17 05:16:49
Ping值焦虑
Ping值焦虑
有态度网友ytd
157文章数 112关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

艺术
房产
旅游
时尚
手机

艺术要闻

这些“绝版合影”几乎永不再来,一张比一张震惊,最后一张直接看呆

房产要闻

6.6亿!海口卖地!

旅游要闻

别只知道奢香夫人,毕节这个古屯,才是水西故事里不能忽略的一页

大风降温,穿羊羔毛啊!

手机要闻

OPPO Reno17 系列发布,全品类新品齐亮相!

无障碍浏览 进入关怀版