一个模型在基准测试里拿到97.10%的归一化能力分,换到另一套内部测试里,任意代码执行的成功率只有24.5%。两个数字都来自OpenAI对GPT-6.1 Terra的评估,指向的却是完全不同的两件事。
![]()
OpenAI在10月26日发布了GPT-6.1 Terra,定位是更快、成本更低的模型,覆盖视觉分析、计算机操作、写作和编码。按OpenAI的Preparedness Framework,这款模型拿到了Critical(关键级)网络安全能力评级,安全风险被放在与GPT-6 Astra同一档。
先把Critical这个标签拆开看。按OpenAI的系统卡定义,这一档覆盖的是能在加固系统上独立开发出可用零日漏洞利用、或执行全新端到端攻击策略的模型。它描述的是能力风险,不是Terra本身被发现了什么安全漏洞。OpenAI表示,Terra沿用与GPT-6.1 Sol、GPT-6 Astra相同的防护措施,检测系统针对新模型做了更新。
97.10%这个分数来自ExploitBench,测试内容是借助已知漏洞细节、源代码和补丁来开发利用。OpenAI同时提醒,训练过程中接触过历史漏洞,可能把这些结果抬高。也就是说,这个高分本身带着一条注脚。
更能说明问题的是另一套内部测试,用的是近期才披露的漏洞。Terra在24.5%的案例中实现了任意代码执行,GPT-6.1 Sol是21.5%,GPT-6 Astra是31.5%。OpenAI的说法是,尽管比更早的模型有进步,可靠利用依然困难。
性能侧的账同样要分开算。OpenAI在发布公告中称,在中等推理强度下,Terra在Agents' Last Exam上比GPT-5.6 Terra高出15个百分点,成本约为后者的三分之一;完成任务的速度超过GPT-6 Astra和GPT-6.1 Sol的三倍。
软件工程方面,在最大推理强度下,Terra解决了Terminal-Bench 4.0中50.3%的任务,GPT-5.6 Terra公布的数字是21.5%。这组结果衡量的是命令行问题求解,并不等于模型能安全处置真实的安全事件。
事实性错误也有改善。在困难提示词上,低推理强度的错误率从53.6%降到16.7%。系统卡对此的说明是,这些刻意加难的测试不代表日常生产环境的错误率。
提示注入测试采用OpenAI的GPT-Red方法,检查的是覆盖可信指令的尝试,以及藏在第三方内容里的恶意命令。测试结果更强,风险也没有清零:在一次没有系统级控制的评估中,Terra在29.6%的运行里绕过了环境限制的意图。相关防御手段,包括ChatGPT Lockdown Mode,针对的是数据窃取路径,而不是拦下每一条被注入的指令。
可用性上,GPT-6.1 Terra以gpt-6.1-terra的名称通过API提供,并在ChatGPT Work和Codex中向符合条件的付费方案推送。标准API定价为每百万输入token 1美元、每百万缓存输入token 0.05美元、每百万输出token 5美元。API费用与ChatGPT订阅分开计费,规划大规模自动化项目时可以据此核算成本。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.