网易首页 > 网易号 > 正文 申请入驻

OpenAI 再出开源力作 Safeguard:可完整展示AI“思维链”

0
分享至

IT之家 10 月 30 日消息,科技媒体 NeoWin 昨日(10 月 29 日)发布博文,报道称 OpenAI 公司推出 gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b 两款开源权重模型,专门用于根据用户提供的策略对内容进行推理、分类和标记。

这是继今年早些时候发布 gpt-oss 系列推理模型后,OpenAI 在开源领域的又一重要举措。新模型是此前 gpt-oss 模型的微调版本,同样遵循宽松的 Apache 2.0 许可证,允许任何开发者免费使用、修改和商业部署。

与传统的“一刀切”式安全系统不同,gpt-oss-safeguard 将定义安全边界的权力交还给了开发者。其核心机制在于,模型无需在训练阶段硬编码规则,能够在推理阶段直接解释并应用开发者提供的安全策略。

gpt-oss-safeguard 的核心工作机制是,在模型推理(即实际运行)阶段接收两项输入:一项是开发者自定义的安全策略,另一项是需要分类的内容(如用户消息或 AI 生成内容)。

为了提升透明度和可用性,模型支持完整的“思维链”(Chain-of-Thought, CoT)输出,能够展示其得出结论的每一步推理过程。

这种设计允许开发者随时按需调整策略,确保分类结果与特定应用场景保持一致。同时,透明的决策过程也让开发者能清晰地追溯和理解模型的判断逻辑。

与传统安全分类器相比,gpt-oss-safeguard 的最大优势在于其灵活性。传统分类器通常基于包含数千个标注样本的大型数据集进行训练,策略一旦固化,更新就需要重新收集数据并训练模型,过程耗时耗力。

而 gpt-oss-safeguard 直接在推理时解读策略,无需重新训练即可快速适应新规则。这种方法源于 OpenAI 的内部工具 Safety Reasoner,它通过强化学习微调技术,学会了对安全策略进行推理和解释。

OpenAI 强调,这种方法在四种特定场景下尤其有效:

  • 当潜在风险是新兴或快速演变的,该模型能支持策略的快速适应。
  • 对于那些领域高度细微、传统小型分类器难以处理的场景,它表现更佳。
  • 当开发者缺乏足够样本来为平台上的每种风险训练高质量分类器时,该模型提供了有效解决方案。
  • 在那些对生成高质量、可解释标签的重视程度超过低延迟的场景中,它也是理想选择。

当然,gpt-oss-safeguard 模型也并非完美,OpenAI 提示开发者需要注意两个主要的权衡:

  • 第一,如果开发者有足够的时间和数据(如数万个已标注样本)来训练一个传统的分类器,那么在处理复杂或高风险任务时,传统分类器的精度可能仍然会超越 gpt-oss-safeguard。换言之,追求极致的精确度时,定制训练的系统或许是更优选。
  • 第二,gpt-oss-safeguard 的运行速度较慢且资源密集,让其在大型平台上对所有内容进行实时扫描变得更具挑战性。

这两款模型目前已在 Hugging Face 平台上开放下载。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
俄军最先进的苏-57战机在莫斯科州坠毁,疑遭自家防空误击

俄军最先进的苏-57战机在莫斯科州坠毁,疑遭自家防空误击

桂系007
2026-07-23 21:57:25
丘成桐谈王虹、邓煜获菲尔兹奖:这是几十年来我们一直期盼实现的愿望

丘成桐谈王虹、邓煜获菲尔兹奖:这是几十年来我们一直期盼实现的愿望

澎湃新闻
2026-07-23 22:00:31
心理学:“人没出息,一看便知”:没出息的人,多半喜欢做这两件事,很准

心理学:“人没出息,一看便知”:没出息的人,多半喜欢做这两件事,很准

心理观察局
2026-07-04 07:13:03
张凌赫好出圈!综艺公开讨论生理期,韩网:在韩国绝对不可能

张凌赫好出圈!综艺公开讨论生理期,韩网:在韩国绝对不可能

小邵说剧
2026-07-22 07:40:52
电竞天才Faker从警,网友玩梗:“青瓦台来了个年轻人”

电竞天才Faker从警,网友玩梗:“青瓦台来了个年轻人”

LOGO研究所
2026-07-22 19:38:00
延续状态?阿媒:帕雷德斯要求主帅同意自己出战南美杯比赛

延续状态?阿媒:帕雷德斯要求主帅同意自己出战南美杯比赛

懂球帝
2026-07-23 21:25:07
警方报告曝光前巨人球员莫罗最后几小时:与舞女吸食可卡因后死于意外过量

警方报告曝光前巨人球员莫罗最后几小时:与舞女吸食可卡因后死于意外过量

篮坛第一线
2026-07-23 01:47:45
数学家称“百年一遇”:2026菲尔兹奖揭晓,王虹解决挂谷猜想,邓煜统一物理定律

数学家称“百年一遇”:2026菲尔兹奖揭晓,王虹解决挂谷猜想,邓煜统一物理定律

算力游侠
2026-07-23 22:09:16
内存危机冲击波持续,多款高端手机涨价超1000元

内存危机冲击波持续,多款高端手机涨价超1000元

界面新闻
2026-07-23 09:37:43
破17.8亿!3天就超《功夫女足》夺全球冠军,北美又出了一部爆款

破17.8亿!3天就超《功夫女足》夺全球冠军,北美又出了一部爆款

靠谱电影君
2026-07-21 08:20:24
iPhone 18 ProMax终迎硬核升级,史上最强手机

iPhone 18 ProMax终迎硬核升级,史上最强手机

小柱解说游戏
2026-07-24 01:37:33
新冠又来了

新冠又来了

南风窗
2026-07-20 12:39:20
“逼宫”总统!国家英雄被斗倒了

“逼宫”总统!国家英雄被斗倒了

中国新闻周刊
2026-07-22 11:37:04
不选俄罗斯了,图瓦共和国主动找上中国,愿意献“稀土”做笔生意

不选俄罗斯了,图瓦共和国主动找上中国,愿意献“稀土”做笔生意

知法而形
2026-07-13 10:32:26
一个从中国搬回日本的日本博士,破防了

一个从中国搬回日本的日本博士,破防了

日本物语
2026-07-05 20:35:41
沙德拉克:加盟国安很激动很荣幸,已经准备好为国安全力以赴

沙德拉克:加盟国安很激动很荣幸,已经准备好为国安全力以赴

懂球帝
2026-07-23 13:31:30
英国新首相上任确定任务,24小时内获中方重要承诺

英国新首相上任确定任务,24小时内获中方重要承诺

热血江湖旧
2026-07-22 18:24:41
晋级半决赛!中国女排3-2拿下美国上大分,龚翔宇终于证明自己!

晋级半决赛!中国女排3-2拿下美国上大分,龚翔宇终于证明自己!

烟浔渺渺
2026-07-24 00:36:55
女警官资助宁夏山村女孩三年学费,26年后,女孩定居深圳成为工程师,欲寻警官报恩,“我发生翻天覆地的变化,这都离不开她的帮助”

女警官资助宁夏山村女孩三年学费,26年后,女孩定居深圳成为工程师,欲寻警官报恩,“我发生翻天覆地的变化,这都离不开她的帮助”

蓬勃新闻
2026-07-21 16:05:31
邓光荣走了,曾江走了,谢贤走了,香港影坛四大传奇只有他还活着

邓光荣走了,曾江走了,谢贤走了,香港影坛四大传奇只有他还活着

揽星河的笔记
2026-07-22 20:30:03
2026-07-24 02:47:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
356576文章数 607391关注度
往期回顾 全部

科技要闻

中国数学家王虹、邓煜获菲尔兹奖

头条要闻

女副部王峻被处理:大搞权钱交易 泄露工作秘密

头条要闻

女副部王峻被处理:大搞权钱交易 泄露工作秘密

体育要闻

勇士24岁的MVP,也是个勒布朗?

娱乐要闻

梁朝伟汤唯19年后境遇反转

财经要闻

梁文锋当不成赛博圣人

汽车要闻

满配华为乾崑六件套 东风奕派M8限时权益价16.58万起

态度原创

艺术
本地
家居
数码
公开课

艺术要闻

战斗民族宅男集体失眠!扎伊采娃镜头下这组慵懒私房照,尺度不大,后劲极大!

本地新闻

跟着影视去旅行:西游篇

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

三星Galaxy Z Fold8系列发布:8999元起 首款「阔折叠」亮相

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版