网易首页 > 网易号 > 正文 申请入驻

OpenAI 再出开源力作 Safeguard:可完整展示AI“思维链”

0
分享至

IT之家 10 月 30 日消息,科技媒体 NeoWin 昨日(10 月 29 日)发布博文,报道称 OpenAI 公司推出 gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b 两款开源权重模型,专门用于根据用户提供的策略对内容进行推理、分类和标记。

这是继今年早些时候发布 gpt-oss 系列推理模型后,OpenAI 在开源领域的又一重要举措。新模型是此前 gpt-oss 模型的微调版本,同样遵循宽松的 Apache 2.0 许可证,允许任何开发者免费使用、修改和商业部署。

与传统的“一刀切”式安全系统不同,gpt-oss-safeguard 将定义安全边界的权力交还给了开发者。其核心机制在于,模型无需在训练阶段硬编码规则,能够在推理阶段直接解释并应用开发者提供的安全策略。

gpt-oss-safeguard 的核心工作机制是,在模型推理(即实际运行)阶段接收两项输入:一项是开发者自定义的安全策略,另一项是需要分类的内容(如用户消息或 AI 生成内容)。

为了提升透明度和可用性,模型支持完整的“思维链”(Chain-of-Thought, CoT)输出,能够展示其得出结论的每一步推理过程。

这种设计允许开发者随时按需调整策略,确保分类结果与特定应用场景保持一致。同时,透明的决策过程也让开发者能清晰地追溯和理解模型的判断逻辑。

与传统安全分类器相比,gpt-oss-safeguard 的最大优势在于其灵活性。传统分类器通常基于包含数千个标注样本的大型数据集进行训练,策略一旦固化,更新就需要重新收集数据并训练模型,过程耗时耗力。

而 gpt-oss-safeguard 直接在推理时解读策略,无需重新训练即可快速适应新规则。这种方法源于 OpenAI 的内部工具 Safety Reasoner,它通过强化学习微调技术,学会了对安全策略进行推理和解释。

OpenAI 强调,这种方法在四种特定场景下尤其有效:

  • 当潜在风险是新兴或快速演变的,该模型能支持策略的快速适应。
  • 对于那些领域高度细微、传统小型分类器难以处理的场景,它表现更佳。
  • 当开发者缺乏足够样本来为平台上的每种风险训练高质量分类器时,该模型提供了有效解决方案。
  • 在那些对生成高质量、可解释标签的重视程度超过低延迟的场景中,它也是理想选择。

当然,gpt-oss-safeguard 模型也并非完美,OpenAI 提示开发者需要注意两个主要的权衡:

  • 第一,如果开发者有足够的时间和数据(如数万个已标注样本)来训练一个传统的分类器,那么在处理复杂或高风险任务时,传统分类器的精度可能仍然会超越 gpt-oss-safeguard。换言之,追求极致的精确度时,定制训练的系统或许是更优选。
  • 第二,gpt-oss-safeguard 的运行速度较慢且资源密集,让其在大型平台上对所有内容进行实时扫描变得更具挑战性。

这两款模型目前已在 Hugging Face 平台上开放下载。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
全文完结 《松风不解楹花意》谢暮野阮扶楹谢令璋

全文完结 《松风不解楹花意》谢暮野阮扶楹谢令璋

乐活闪拍
2026-11-22 17:37:36
新一届江西省委领导班子亮相

新一届江西省委领导班子亮相

政知新媒体
2026-11-22 18:29:04
2死6伤!A级通缉犯关押一年被无罪释放,湖南郴州人肉炸弹案始末

2死6伤!A级通缉犯关押一年被无罪释放,湖南郴州人肉炸弹案始末

易玄
2025-04-19 08:22:01
专家意见罕见统一:歼36配激光武器后,美国唯一可行选择曝光

专家意见罕见统一:歼36配激光武器后,美国唯一可行选择曝光

点燃好奇心
2026-11-21 14:50:44
魏莹“陪睡”案新进展:案件细节太颠覆,三方口述揭露更多内幕!

魏莹“陪睡”案新进展:案件细节太颠覆,三方口述揭露更多内幕!

莫地方
2026-10-22 10:22:36
3.73亿!杭州萧山宝龙广场法拍

3.73亿!杭州萧山宝龙广场法拍

红蓝白郁金香V
2026-11-22 18:25:16
回到东京之前,高市再被问台海问题,她的回答又让日本媒体发愁

回到东京之前,高市再被问台海问题,她的回答又让日本媒体发愁

影孖看世界
2026-11-22 03:36:23
首都4所市属双非,校招资源碾压很多外地 211!

首都4所市属双非,校招资源碾压很多外地 211!

华庭讲美食
2026-11-22 16:49:48
退休金拿到这个数就算知足,80%老人达不到,看看你够吗

退休金拿到这个数就算知足,80%老人达不到,看看你够吗

小影的娱乐
2026-11-15 06:57:51
穆里尼奥无意让维尼修斯重回首发,左路要与迪奥曼德轮换

穆里尼奥无意让维尼修斯重回首发,左路要与迪奥曼德轮换

竞技风云录
2026-11-23 01:56:30
本想涨油价多收税,结果大家少开车,反而收得更少

本想涨油价多收税,结果大家少开车,反而收得更少

生活魔术专家
2026-10-27 04:25:53
马斯克的星舰,正在亲手毁掉一个行业

马斯克的星舰,正在亲手毁掉一个行业

林子说事
2026-11-20 02:30:03
李霄鹏意外进入蓉城新帅名单!球迷分析他可能是陪跑者,引发热议

李霄鹏意外进入蓉城新帅名单!球迷分析他可能是陪跑者,引发热议

懂个球
2026-11-22 23:49:11
日本记者逐帧解析特朗普无视高市早苗:非常屈辱,没人理她,日本成了世界的耻辱

日本记者逐帧解析特朗普无视高市早苗:非常屈辱,没人理她,日本成了世界的耻辱

都市快报橙柿互动
2026-11-22 15:18:22
关于自慰的8个误区,第3个最离谱

关于自慰的8个误区,第3个最离谱

精彩分享快乐
2026-11-18 21:00:04
1968年,邓朴方身受重伤陷入绝境,北大王凤梧不顾重压救他,在邓公回归后又是怎么回报他的?

1968年,邓朴方身受重伤陷入绝境,北大王凤梧不顾重压救他,在邓公回归后又是怎么回报他的?

唠叨说历史
2026-11-13 14:31:10
一语点破!上海交大严弘:拉动消费的核心,是收入和社保

一语点破!上海交大严弘:拉动消费的核心,是收入和社保

兵鉴史
2026-11-23 01:13:37
越南公安部副部长的女儿,在网上肆无忌惮晒奢侈生活,老百姓拿她没办法,这是人家的合法收入

越南公安部副部长的女儿,在网上肆无忌惮晒奢侈生活,老百姓拿她没办法,这是人家的合法收入

怪味历史连连看
2026-11-16 12:21:28
连日本人都看不下去了

连日本人都看不下去了

智先生
2026-11-22 20:35:16
陈伟霆生日会造型引热议,英皇到底亏了多少陈伟霆要穿成这样登上热搜

陈伟霆生日会造型引热议,英皇到底亏了多少陈伟霆要穿成这样登上热搜

韩小娱
2026-11-22 13:49:19
2026-11-23 02:52:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380834文章数 607748关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

游戏
数码
本地
健康
艺术

GTA6爱爱戏制作难度极大!R星力求真实 啥场景都要有

数码要闻

好消息:AMD Zen6桌面CPU提前登场!坏消息:6GHz悬了

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

印度,一个盛产美女的国家:多元血脉与纱丽风情交织的独特之美

无障碍浏览 进入关怀版