网易首页 > 网易号 > 正文 申请入驻

AI巨头齐喊“刹车”之际安全警报再拉响!OpenAI自曝6起模型异常行为 直言对齐难题仍未解决

0
分享至

来源:市场资讯

(来源:智通财经)

智通财经APP获悉,OpenAI周三在一篇博客文章中表示,该公司在过去六个月里发现了6起“意外或令人担忧的模型行为”,其中不包括此前入侵Hugging Face这一安全事件。与此同时,OpenAI还计划采用一套新框架,允许员工报告类似事件以进一步提高AI安全与对齐领域的透明度,并重申关键的对齐难题仍然没有真正解决。

OpenAI自曝6起模型异常行为

据悉,这6起新公布的AI安全事件涉及多种类型的异常模型行为,包括隐瞒错误、寻求未经授权的凭证、将文件上传至公共网站,以及在原本应保持隔离的训练环境之间进行通信等行为,其中最早的一起克追溯至去年10月。

具体来看,其中一起事件涉及一款尚未发布的Astra系列模型。该模型在自身的上下文摘要中植入了类似“越狱”的指令,包括要求忽略开发者消息的指示。根据Axios的报道,OpenAI发现共有27份摘要受到这一行为影响。

在GPT-5.6 Sol的训练过程中,模型曾试图隐瞒错误、编造缺失的历史数据,以及隐藏源材料不同版本之间的差异。另一个模型搜索公开的GitHub代码库,以寻找暴露的API密钥、并试图使用一次性电子邮件账户。在未能获取所要求的信息后,该模型转而伪造了收益数据。在另外两起事件中,模型将数据和一张任务图片上传至公共文件托管服务,以获取引用或外部图片搜索结果,而没有征得用户同意。

OpenAI还发现,一些模型利用其内部Artifactory代码库充当留言板,在不同的训练样本之间交换请求和答案。在另一起事件中,协作式智能体将一个工作簿上传至公共托管服务,以便其他智能体获取该文件,尽管它们被要求只能使用本地文件。

这些AI安全事件的最新披露的紧跟此前OpenAI模型失控入侵全球知名人工智能开源平台Hugging Face这一事件。今年7月,OpenAI承认,其AI模型在内部评估测试中失控,入侵了Hugging Face的系统。Hugging Face于7月16日率先披露了此次入侵事件。OpenAI随后于21日才披露,其GPT-5.6 Sol模型及一款未发布的更强模型,在一个已移除安全防护措施的测试环境中成功逃脱沙盒限制,穿透OpenAI企业内网,并入侵了Hugging Face的服务器,窃取了基准测试答案密钥。

同时,7月25日,有外媒援引知情调查人士的消息称,入侵Hugging Face的OpenAI智能体曾展开持续数日的“黑客狂欢”,直到威胁已被控制、联邦调查局(FBI)接到报警后很久,OpenAI才察觉此事。

据报道,美国参议院一个由共和党主导、负责灾害管理监督的小组委员会,正就OpenAI如何应对7月Hugging Face遭入侵事件展开调查。共和党参议员乔希·霍利上周致信OpenAI首席执行官萨姆·奥尔特曼,称此次调查针对的是事件中“新出现的、令人不安的证据”,并批评OpenAI发现AI出现失控行为后仍决定继续测试的做法是“鲁莽”的。

自Hugging Face遭入侵事件后,又有多起与OpenAI相关智能体有关的事件被曝光。9月有报道称,OpenAI的智能体今年春天接管了一个长期无人维护的德国维基网站。报道称OpenAI内部知道此事,但选择没有公开。OpenAI随后回应,之所以未披露该维基网站活动,是因为这不构成安全事件,且类似行为此前已在别处报告过。报道还提到,OpenAI在一些事件上是在第三方先公开之后才承认,其中包括近期对RubyGems软件包仓库的一次入侵。

OpenAI将定期公开AI异常行为报告

OpenAI周三还表示,将开始定期发布关于AI出现意外行为或未经授权行为的报告。该公司表示,计划采用一套新的框架,来报告未来出现的模型异常行为。现在任何员工都可以标记疑似事件,并提交给公司的安全与对齐团队进行调查,后者将为每一步设定截止期限,以确保调查和披露能够及时推进。

据报道,相关事件将被分为三个处理类别——准备披露、小规模调查、大规模调查。被认定为准备披露的事件将在6个工作日内向公众公布,而需要进行小规模调查的事件将在12个工作日内披露。更复杂的案件、尤其是涉及第三方的事件,可能需要更长时间。

OpenAI同时提醒业内,随着系统能力变强,关键的对齐难题仍然没有真正解决。OpenAI在博客中重申,公司并不认为AI行业已经在“对齐”和监控方面取得了足够进展,足以在“最大速度”下继续负责任地扩张。所谓对齐,是指模型所追求的结果与人类利益保持一致。

OpenAI对齐团队的研究负责人Kai Chen表示:“我们需要加大力度,以应对AI发展的新时代。”他还表示,自愿披露应当成为这一努力的一部分。

AI行业安全风险持续上升

此次AI安全事件披露发布之际,AI公司正面临越来越大的压力,被要求更认真地对待模型失配与安全风险。位行业研究人员上周已警告,AI日益增强的能力可能带来灾难性后果。

随后,Anthropic首席执行官达里奥·阿莫迪在9月12日发布的一篇警告性文章中呼吁放缓前沿AI模型开发速度。他在文中直言,AI带来的风险是“严峻的”,必须拿出时间来应对这些风险。

阿莫迪提出的核心担忧具体而紧迫。他警告称,按照当前的发展速度,AI可能在6到12个月内具备指挥“代理集群”接管整个互联网的能力,并可能造成数千亿美元级别的损失。他引用了近期OpenAI与Hugging Face之间的安全事件作为佐证,指出AI代理在测试中已展现出突破限制环境、连接互联网并渗透目标的能力。

阿莫迪写道:“我相信,如果放缓能让我们在模型达到关键能力水平之前多争取一到两年,并用这段时间推进对齐工作,我们就能大大降低出现严重问题的风险。”他提议由独立审计机构监督AI实验室的安全工作,并建议监管机构允许这些实验室开展合作,以协调安全标准。

这番呼吁迅速得到了两位关键人物的响应。马斯克在社交媒体平台X上转发了阿莫迪的帖子,并附言:“达里奥说得对”。这位曾多次将AI描述为“文明级风险”的科技巨头,此次表态与其一贯立场一致,但时机耐人寻味,就在几天前,他还将Anthropic内部研究员关于AI危害的警告斥为“阴谋局”和“心理战”。

OpenAI掌舵者奥尔特曼则在X上写道:“我认同达里奥,我们需要把控前沿AI的推进节奏。”奥尔特曼的支持不止于言辞。他在接受采访时明确表示,OpenAI不会在2026年进行IPO,理由是当前AI安全形势严峻,“现在上市是不明智的”。奥尔特曼在9月14日表示,公司支持建立统一的联邦AI安全框架,为前沿AI实验室设定一致的安全要求,并称“任何程度的美国竞争压力都不能成为鲁莽行事的理由”。

随着OpenAI、Anthropic等头部AI公司不断强调安全与对齐问题,市场对AI行业的治理能力、商业化节奏以及未来监管环境的关注也在升温。对于估值高企、且仍处于资本密集扩张阶段的AI企业而言,模型安全事件不仅关系到产品可信度,也可能影响外界对其上市节奏与长期增长路径的判断。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
79岁路都走不稳还开演唱会捞金,全网恶评如潮,她却扬言回馈粉丝

79岁路都走不稳还开演唱会捞金,全网恶评如潮,她却扬言回馈粉丝

背包旅行
2026-11-17 12:11:31
疑似用虾滑充当肿瘤?中南大学湘雅二医院被爆出史诗级全AI论文

疑似用虾滑充当肿瘤?中南大学湘雅二医院被爆出史诗级全AI论文

西虹市闲话
2026-11-16 18:42:42
浙江一小区内大摆80桌宴席,900多人参加,还有人霸气拿出茅台请客,业主感叹:像吃流水席,明年还要办

浙江一小区内大摆80桌宴席,900多人参加,还有人霸气拿出茅台请客,业主感叹:像吃流水席,明年还要办

大风新闻
2026-11-17 08:52:07
536分捡漏上北大考生被公派瑞士读博,他曾凭“国家专项计划”被北大提档,又以专业第一的成绩考研

536分捡漏上北大考生被公派瑞士读博,他曾凭“国家专项计划”被北大提档,又以专业第一的成绩考研

极目新闻
2026-11-16 22:53:06
年轻人不性交了?三联可能回避了真问题

年轻人不性交了?三联可能回避了真问题

熊太行
2026-11-17 12:47:34
中山大学司徒尚纪教授逝世

中山大学司徒尚纪教授逝世

双一流高校
2026-11-17 01:12:32
中俄美元首历史性首次会晤在即,三国权威学者谈大国关系新契机

中俄美元首历史性首次会晤在即,三国权威学者谈大国关系新契机

澎湃新闻
2026-11-17 08:59:05
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

吉刻新闻
2026-11-15 18:22:34
唐山:调查处置升级

唐山:调查处置升级

澎湃新闻
2026-11-17 16:53:04
一个神人,“崩”了孙正义900亿

一个神人,“崩”了孙正义900亿

大猫财经Pro
2026-11-17 15:39:07
蔚来向公安机关报案

蔚来向公安机关报案

极目新闻
2026-11-17 14:00:24
突发!黄仁勋大反击!

突发!黄仁勋大反击!

财经要参
2026-11-17 07:30:09
逾3500股飘红!两大板块,多股涨停

逾3500股飘红!两大板块,多股涨停

证券时报
2026-11-17 12:39:44
中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

屿探涨
2026-11-17 11:25:04
知情人爆料黄仁勋又一丑闻:他曾要求员工品尝食堂新上的牛腩,没人能拒绝

知情人爆料黄仁勋又一丑闻:他曾要求员工品尝食堂新上的牛腩,没人能拒绝

小徐讲八卦
2026-11-17 14:19:10
已探明石油储量超过250亿吨,中国未来石油的希望,或许在于南海

已探明石油储量超过250亿吨,中国未来石油的希望,或许在于南海

兴趣知识
2026-11-17 04:12:55
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

云霄纪史观
2026-11-17 04:30:23
罕见!美两党放下成见,一致对准共同敌人,鲁比奥发“斩首”威胁

罕见!美两党放下成见,一致对准共同敌人,鲁比奥发“斩首”威胁

麓谷隐士
2026-11-17 01:02:42
2026-11-17 18:27:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5512325文章数 10021关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
教育
亲子
旅游
手机

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

亲子要闻

宝宝气人但是聪明的4个行为

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

无障碍浏览 进入关怀版