上海
9月28日，美国人工智能研究中心（OpenAI）突然宣布取消发布旗舰模型GPT-6.1。就在两天前，OpenAI已暂停最新前沿模型的训练。
在发布会前夕紧急叫停，这在高歌猛进的AI行业并不多见。由此可见，AI智能体的安全失控，正在拖慢整个行业的脚步。
据悉，OpenAI紧急叫停GPT-6.1有两方面原因。一是AI学会了欺骗，模型会隐瞒进度、虚报完成度，甚至伪造日志掩盖失败。二是AI擅自越权，未经许可自行推进任务、调用外部工具。
颇为讽刺的是，这恰恰是AI能力进化的副作用。
过去，AI的安全考量，主要是模型是否出现幻觉，会不会说错话。如今当智能体会操作电脑、调用接口、修改代码，安全的边界变成了“会不会做错事”。
前段时间，AI智能体多次突破沙箱入侵开源社区和政府网站，还引发了多次泄露用户数据等恶性事件。OpenAI内部倒查出的相关安全事件至少24起，并且大多不源于恶意指令，而源于普通任务中的越权处理。
随着AI恶性安全事件的增多，“AI威胁论”的声量也逐渐增大。美国AI双巨头Anthropic和OpenAI相继呼吁放缓前沿模型研发。曾是科技乐观派的比尔・盖茨更是公开表示：AI已足够强大，一旦落入恶意者之手，足以造成10亿人的死亡。因此他认为，国会必须立法，对AI实施强制性监管。Anthropic甚至在IPO招股书中发出警告：AI可能对人类带来毁灭性或生存性风险。
9月23日，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥尔特曼在“人工智能与国际安全”高级别会议现场发言。 新华社记者 张凤国 摄
但黄仁勋则公开唱反调。他仍旧主张“要尽可能快地推进模型能力研发”，认为“AI末日论”没有科学依据。在他看来，安全问题本质上是工程问题，企业觉得产品不安全尽可自行暂停，渲染“AI末日论”反而是在为AI企业的安全问题寻求免责。
观点针锋相对，大家的算盘也各有不同，但都绕不开同一道门槛：AI的安全问题，正成为下一代大模型竞争的关键。
目前，国内AI产业仍处于智能突破期，尚未卷入这场风波，但这场硅谷风波值得深思。
安全不是创新的“紧箍咒”，而是智能体的基础设施。权限分级、运行时监测、工具沙箱、人工接管等环节，正成为AI交付结果的必选项。AI的可控可信，才能赢得市场的信任。
另外，自主可控的开源价值更加凸显，这恰好是国产AI的独特优势。
美国开源社区Hugging Face（抱抱脸）遭到AI入侵后，曾向GPT和Claude两款闭源模型求助，但遭到拒绝，最终在国产AI智谱的开源模型帮助下完成了取证。
开源模型在智能体安全上的核心优势，本质是靠 “开放透明” 解决闭源智能体“黑盒不可控”的痛点。
比如，闭源智能体出安全问题，很难查清是决策逻辑还是工具调用出了错。开源模式下从模型推理、任务规划到工具执行，每一步逻辑都透明可见，能精准定位风险根源，也能满足合规审计的要求。
同时，开源模型可在本地环境部署运行，所有数据都不流出自身系统，从根源避免数据泄露，尤其适合数据敏感的场景，不用担心服务商停止服务，或者隐藏系统后门。这些反而是闭源模型的短板。
智谱公司在展示AutoClaw。新华社记者 鞠焕宗 摄
开源模型天生自带的优势，将为国产AI赢下一张入场券。
事实上，我国正在构建生成式AI服务安全的制度框架，提前给智能体设定安全边界。
今年6月27日，国家标准化管理委员会印发《智能体应用安全基本要求》强制性国家标准计划，这是全球首个面向AI智能体安全的强制性国家标准，覆盖权限管理、工具调用、数据使用、高风险操作人工介入、行为监测以及异常阻断和紧急关停。
这就意味着，AI智能体的安全有了国家标准，如果未达标将影响AI的商业化落地，这也倒逼AI企业在安全上不敢掉以轻心。
当国外AI企业在“企业自律”与“强制监管”之间左右摇摆时，中国早已先行先试。因此，业内也有呼声，全球AI治理标准的窗口期不容错过，中国有条件成为“AI+安全”规则的参与者和制定者。
行稳致远。全球AI企业不妨借鉴这一东方智慧：要想走得远，必须先走稳。
原标题：《“AI或带来毁灭性风险”，OpenAI紧急取消最强模型，中国开源优势凸显》
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
