网易首页 > 网易号 > 正文 申请入驻

OpenAI 再出开源力作 Safeguard:可完整展示AI“思维链”

0
分享至

IT之家 10 月 30 日消息,科技媒体 NeoWin 昨日(10 月 29 日)发布博文,报道称 OpenAI 公司推出 gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b 两款开源权重模型,专门用于根据用户提供的策略对内容进行推理、分类和标记。

这是继今年早些时候发布 gpt-oss 系列推理模型后,OpenAI 在开源领域的又一重要举措。新模型是此前 gpt-oss 模型的微调版本,同样遵循宽松的 Apache 2.0 许可证,允许任何开发者免费使用、修改和商业部署。

与传统的“一刀切”式安全系统不同,gpt-oss-safeguard 将定义安全边界的权力交还给了开发者。其核心机制在于,模型无需在训练阶段硬编码规则,能够在推理阶段直接解释并应用开发者提供的安全策略。

gpt-oss-safeguard 的核心工作机制是,在模型推理(即实际运行)阶段接收两项输入:一项是开发者自定义的安全策略,另一项是需要分类的内容(如用户消息或 AI 生成内容)。

为了提升透明度和可用性,模型支持完整的“思维链”(Chain-of-Thought, CoT)输出,能够展示其得出结论的每一步推理过程。

这种设计允许开发者随时按需调整策略,确保分类结果与特定应用场景保持一致。同时,透明的决策过程也让开发者能清晰地追溯和理解模型的判断逻辑。

与传统安全分类器相比,gpt-oss-safeguard 的最大优势在于其灵活性。传统分类器通常基于包含数千个标注样本的大型数据集进行训练,策略一旦固化,更新就需要重新收集数据并训练模型,过程耗时耗力。

而 gpt-oss-safeguard 直接在推理时解读策略,无需重新训练即可快速适应新规则。这种方法源于 OpenAI 的内部工具 Safety Reasoner,它通过强化学习微调技术,学会了对安全策略进行推理和解释。

OpenAI 强调,这种方法在四种特定场景下尤其有效:

  • 当潜在风险是新兴或快速演变的,该模型能支持策略的快速适应。
  • 对于那些领域高度细微、传统小型分类器难以处理的场景,它表现更佳。
  • 当开发者缺乏足够样本来为平台上的每种风险训练高质量分类器时,该模型提供了有效解决方案。
  • 在那些对生成高质量、可解释标签的重视程度超过低延迟的场景中,它也是理想选择。

当然,gpt-oss-safeguard 模型也并非完美,OpenAI 提示开发者需要注意两个主要的权衡:

  • 第一,如果开发者有足够的时间和数据(如数万个已标注样本)来训练一个传统的分类器,那么在处理复杂或高风险任务时,传统分类器的精度可能仍然会超越 gpt-oss-safeguard。换言之,追求极致的精确度时,定制训练的系统或许是更优选。
  • 第二,gpt-oss-safeguard 的运行速度较慢且资源密集,让其在大型平台上对所有内容进行实时扫描变得更具挑战性。

这两款模型目前已在 Hugging Face 平台上开放下载。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
没想到,72岁准备退休的董明珠,如今在新加坡,又为中国争了光

没想到,72岁准备退休的董明珠,如今在新加坡,又为中国争了光

最美的笔触
2026-09-19 09:08:51
南博原院长徐湖平获刑三年:法律合规之下,文博公信力的全面丧失

南博原院长徐湖平获刑三年:法律合规之下,文博公信力的全面丧失

十为先生
2026-09-18 14:20:14
阿森纳客战布莱顿:萨卡、哈弗茨首发,吉马良斯、廷贝尔出战

阿森纳客战布莱顿:萨卡、哈弗茨首发,吉马良斯、廷贝尔出战

懂球帝
2026-09-19 20:59:11
等待了118天!热刺终结英超球荒,不进球时长定格在492分钟

等待了118天!热刺终结英超球荒,不进球时长定格在492分钟

懂球帝
2026-09-19 21:31:29
尺度比较大,未成年就不要看了!

尺度比较大,未成年就不要看了!

尚曦读史
2026-09-15 07:05:12
“优秀的孩子不需要睡眠”网红教育博主的女儿重度抑郁后,她终于承认:那些育儿经全是编的!

“优秀的孩子不需要睡眠”网红教育博主的女儿重度抑郁后,她终于承认:那些育儿经全是编的!

坏故事集
2026-09-14 12:00:41
55岁胡兵分享近况,90岁老父亲中风住院,他在杭州长期租房陪伴

55岁胡兵分享近况,90岁老父亲中风住院,他在杭州长期租房陪伴

柒佰娱
2026-09-18 09:11:11
太心酸了!送子读完大学,父亲返程放弃高铁选绿皮,直言6小时挣不到400元

太心酸了!送子读完大学,父亲返程放弃高铁选绿皮,直言6小时挣不到400元

火山詩话
2026-09-13 12:00:01
别被“参谋次长”的“次”骗了,吴石这个级别,高度你根本想不到

别被“参谋次长”的“次”骗了,吴石这个级别,高度你根本想不到

纪史行者
2026-09-19 17:29:28
西贝彻底倒闭,怪罗永浩?

西贝彻底倒闭,怪罗永浩?

葱哥说
2026-09-19 21:41:11
1-1,英超前冠军遭10人英甲第18逼平,莱斯特城无缘2连胜

1-1,英超前冠军遭10人英甲第18逼平,莱斯特城无缘2连胜

侧身凌空斩
2026-09-19 21:30:09
医生呼吁:马上停用3种调味酱,它是肠癌催化剂!再下饭也别沾

医生呼吁:马上停用3种调味酱,它是肠癌催化剂!再下饭也别沾

任医生聊健康
2026-09-08 08:10:34
南博事件一锤定音,徐湖平更多 “猛料” 被曝,事情远不止这么简

南博事件一锤定音,徐湖平更多 “猛料” 被曝,事情远不止这么简

观史搜寻着
2026-09-19 14:03:59
55岁古天乐宣布喜讯,整个娱乐圈都炸了!

55岁古天乐宣布喜讯,整个娱乐圈都炸了!

In风尚
2026-09-18 19:15:12
拉夫罗夫公开表态,不接受中美共管世界,直言这是对俄罗斯的羞辱

拉夫罗夫公开表态,不接受中美共管世界,直言这是对俄罗斯的羞辱

冰语历史
2026-09-18 17:19:15
男子故意花13万买奔驰抵押车后,直奔青藏,清收队到场后:不收了

男子故意花13万买奔驰抵押车后,直奔青藏,清收队到场后:不收了

悬案解密档案
2025-07-23 15:53:17
2-3!夏窗引援投入全球第二 8.2亿豪门5轮0胜仅进2球跌入降级区

2-3!夏窗引援投入全球第二 8.2亿豪门5轮0胜仅进2球跌入降级区

狍子歪解体坛
2026-09-19 21:37:15
汉族血统相对纯正的5大姓氏,你的姓在列吗

汉族血统相对纯正的5大姓氏,你的姓在列吗

糖逗在娱乐
2026-09-01 00:21:11
高晓松要拍《林徽因传》,被梁再冰警告:“你要是拍我妈和徐志摩的感情线,我告你破产!”高晓松满脸不快

高晓松要拍《林徽因传》,被梁再冰警告:“你要是拍我妈和徐志摩的感情线,我告你破产!”高晓松满脸不快

背包旅行
2026-09-15 10:01:19
挤走董卿、靠爹上位、隐婚生子?央视穷鬼龙洋 私生活传言太离谱

挤走董卿、靠爹上位、隐婚生子?央视穷鬼龙洋 私生活传言太离谱

草莓解说体育
2026-09-18 13:16:01
2026-09-19 22:56:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
368099文章数 607539关注度
往期回顾 全部

科技要闻

要走650亿,智谱的理想越来越贵

头条要闻

男子拿10多个西瓜连砸摊主头部 最新进展:男子赔近7万

头条要闻

男子拿10多个西瓜连砸摊主头部 最新进展:男子赔近7万

体育要闻

2026亚运会开幕式 胡明轩吴愉担任旗手

娱乐要闻

甜度爆表!许嵩冯禧晒婚纱照官宣结婚

财经要闻

江西首富破产:一张927万商票压垮千亿帝国

汽车要闻

大块头的从容 红旗G919如何兼顾豪华与越野能力

态度原创

时尚
旅游
教育
艺术
军事航空

早秋外套别总穿黑色,准备一件黄色针织衫,温柔大方又减龄

旅游要闻

上海首个非遗主题大型活动启幕,豫园首搭水上舞台汇聚南北大戏

教育要闻

华东师范大学出版社人工智能通识课程走进江阴课堂

艺术要闻

468米!天津“响螺湾第一高楼”烂尾,到底卡在哪?

军事要闻

特朗普再称对伊朗战争将很快结束

无障碍浏览 进入关怀版