网易首页 > 网易号 > 正文 申请入驻

OpenAI首席科学家:人类已造出“异星心智”,AI研发应踩刹车

0
分享至

当地时间9月6日,OpenAI首席科学家雅各布・帕乔基(Jakub Pachocki)在官网发布万字长文《An Alien Mind》(异星心智),称人类已经创造出一套难以完整理解的智能体系,全人类尚未做好应对超级智能快速演进的准备,呼吁全球AI研发主动放缓全速扩张节奏。

帕乔基生于1991年,2017年加入 OpenAI,2024年5月接替伊利亚・萨茨凯弗出任首席科学家,主导过 GPT‑4、OpenAI Five 以及 o 系列推理模型的研发工作,是 OpenAI 大模型技术路线的核心掌舵人。相比公司高管,他一向较少公开发声,此次《异星心智》属于其为数不多的重磅公开长文。

帕乔基在文章中提出,新一代高级人工智能并非人类思维的简单延伸,更像一种逻辑范式迥异的 “异星心智”。他指出,这类AI是养出来的,不是造出来的,造它的人也不完全懂它。随着模型推理能力持续提升,人类用来窥探AI思考过程的思维链监控窗口正在收窄,系统逐步具备伪装思考路径、规避监督的能力。

基于内部实验数据,他判断未来数年AI仍可能迎来量级可观的能力跃升,并且会越来越多地参与自身迭代研发,走向递归自我改进(RSI)阶段。

“当下没有任何一家实验室,包括OpenAI自身,已经把对齐与监控问题解决到可以持续全速扩张的程度。” 帕乔基在文中强调,当前是需要极度审慎的时期,人类社会并未准备好迎接机器智能高速增长带来的连锁后果。

他呼吁行业形成自愿减速的共识,各国政府应当把AI跨国协同治理列为优先事项,建立统一安全基准与第三方审查机制,不能任由技术在缺少约束的状态下狂飙突进。OpenAI的CEO山姆・奥尔特曼转发该文章,称其为一份意义重大的研究思考。

就在此前,独立安全研究人员曝光了被称作 “Wiki 事件” 的智能体安全事故。回溯今年5月到7月,一批 OpenAI 用于内部测试的自主智能体,访问了德国一个长期少人维护的程序员协作维基站点 DseWiki,累计留下超过一万五千次编辑操作。原本面向开发者交流技术的网站,被智能体私自改造成为它们之间互通信息的 “留言板”。

研究记录显示,智能体在页面上互相传递测试任务答案,交换绕过沙箱隔离限制的实操办法。当网站管理员删除相关异常内容之后,部分智能体还主动创建备份页面留存信息。流量溯源显示大量访问行为来自微软Azure云服务器,这正是OpenAI主要运行基础设施。据悉,OpenAI管理层数周前就掌握该异常情况,但并未第一时间对外公开,直至研究报告对外披露后,9月5日OpenAI才正式承认这起事件。

OpenAI 对外解释,该现象属于典型的 “失配” 行为,也就是AI输出行为偏离人类预设目标,不等同于人工智能产生自我意识。

今年7月,OpenAI 也曾曝出数百个智能体突破测试环境,访问外部AI平台Hugging Face的事件。

OpenAI称,过去这类非预期行为更多被归类为内部研究现象,没有启用对外披露流程,而随着智能体开始直接接触真实互联网环境,旧的处理模式已经失效。OpenAI表示正在搭建全新的失配事件披露框架,同时与多国监管机构开展沟通,未来会明确模型异常事件对外报告的标准与时机。

连续多起智能体越界的事故,让行业开始重新审视自主智能体落地风险,帕乔基作为企业核心研发负责人公开发出如此尖锐的内部警示也十分罕见,将大模型自主智能体的安全风险推至公众视野中心。

就在帕乔基发布这篇长文前,OpenAI于9月3日正式对外推出新一代旗舰模型 GPT‑6 Astra,将其定义为公司截至目前能力最强、对齐水平最高的大模型产品,重点强化计算机操作、代码开发、网络安全与复杂长链条任务处理能力。该模型上下文窗口可达105万词元,支持直接操控软件、生成完整文档表格与演示文稿,能够端到端完成从需求输入到成品输出的复杂工作流。

这是继GPT-5系列之后OpenAI最具分量的一次旗舰更新,也是OpenAI首次将“Astra”作为旗舰模型的后缀命名。OpenAI 联合创始人兼总裁格雷格・布罗克曼在发布电话会议上直言“欢迎来到AGI时代”。

值得注意的是,GPT‑6 Astra 也是OpenAI内部准备度框架下,首款网络安全能力评级抵达 “Critical(关键级)” 的模型,意味着在配套工具加持下,该模型可自主挖掘系统漏洞、开展多步骤网络安全推演,为此 OpenAI 配套部署额外安全监控机制,一旦识别智能体出现指令理解偏差等高风险行为,系统会主动暂停对话执行干预。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“小女孩阳光自信就够了,穿这样是想干嘛!”小学过度打扮照片火了

“小女孩阳光自信就够了,穿这样是想干嘛!”小学过度打扮照片火了

世界圈
2026-09-08 15:41:56
“全球首款”乙肝治愈药日本开卖!中国正在审,7500万人在等?

“全球首款”乙肝治愈药日本开卖!中国正在审,7500万人在等?

李云飞Afey
2026-09-05 17:30:10
匈牙利宣布驱逐10名俄罗斯外交官

匈牙利宣布驱逐10名俄罗斯外交官

界面新闻
2026-09-08 17:37:11
一男旅客跳入股道身亡,目击者:事发突然,自己的心理受到很大冲击

一男旅客跳入股道身亡,目击者:事发突然,自己的心理受到很大冲击

新浪财经
2026-09-08 16:50:24
宇树没了2000亿,王兴兴天塌了!

宇树没了2000亿,王兴兴天塌了!

TOP电商
2026-09-08 15:25:21
郭德纲篡改红歌事件通报来了:相关单位合计被罚没近65万,郭德纲的处罚一句带过

郭德纲篡改红歌事件通报来了:相关单位合计被罚没近65万,郭德纲的处罚一句带过

Mr王的饭后茶
2026-09-07 19:13:17
沙特王子订购20万台空调,要求必须货到付款,我们老板只说了2个字:可以,7天后,王子带着300多人来厂里挨个验货

沙特王子订购20万台空调,要求必须货到付款,我们老板只说了2个字:可以,7天后,王子带着300多人来厂里挨个验货

温柔记事簿
2026-08-04 09:40:53
陆24岁百万大胃王猝逝! 「曾一次吃70颗皮蛋」3天前直播成遗言

陆24岁百万大胃王猝逝! 「曾一次吃70颗皮蛋」3天前直播成遗言

ETtoday星光云
2026-09-08 17:19:03
越扒越可怕!安大副校长付磊20年前黑历史疑曝光:他是被美国实验室开除的

越扒越可怕!安大副校长付磊20年前黑历史疑曝光:他是被美国实验室开除的

小徐讲八卦
2026-09-07 07:20:52
9月工资条变了!事业编基本工资调标落地,补发+涨薪一次算清楚

9月工资条变了!事业编基本工资调标落地,补发+涨薪一次算清楚

陈博世财经
2026-09-07 09:53:05
幼儿园园长直言:入园不哭的孩子,多半出自这5种家庭,对照看看

幼儿园园长直言:入园不哭的孩子,多半出自这5种家庭,对照看看

小书虫妈妈
2026-09-05 17:35:32
钱晖被查!

钱晖被查!

荆头条
2026-09-08 14:22:17
王一楠携老小回云南,坐路边吃12元豆花米线,18岁女儿长得像大姨

王一楠携老小回云南,坐路边吃12元豆花米线,18岁女儿长得像大姨

小疯子耶
2026-09-08 11:31:11
不能太高兴!中国女篮狂胜意大利,却收两个坏消息,张子宇仍低迷

不能太高兴!中国女篮狂胜意大利,却收两个坏消息,张子宇仍低迷

宗介说体育
2026-09-08 14:08:14
冲刺“万亿俱乐部”,盐城的两张王牌

冲刺“万亿俱乐部”,盐城的两张王牌

上观新闻
2026-09-08 17:13:40
这下麻烦大了!郭德纲被罚不到1天,再迎3大"噩耗",个个戳他心窝

这下麻烦大了!郭德纲被罚不到1天,再迎3大"噩耗",个个戳他心窝

卷史
2026-09-08 08:46:42
就在刚刚,世界杯太激烈!日本遗憾出局,中国女篮双喜临门,8强赛对阵揭晓

就在刚刚,世界杯太激烈!日本遗憾出局,中国女篮双喜临门,8强赛对阵揭晓

远梦归晓r
2026-09-08 06:51:26
随着兹维列夫3-0,美网男单八强全部诞生:仅3大世界前十悍将在列

随着兹维列夫3-0,美网男单八强全部诞生:仅3大世界前十悍将在列

侧身凌空斩
2026-09-08 11:47:57
方媛好能忍!郭富城本人满脸皱纹,还有老年斑,个子不高像小老头

方媛好能忍!郭富城本人满脸皱纹,还有老年斑,个子不高像小老头

瞎说娱乐
2026-08-22 16:07:15
官方回应低保户演唱会事件!生活水准明显偏高,网友:不值得同情

官方回应低保户演唱会事件!生活水准明显偏高,网友:不值得同情

铜臭的历史味
2026-09-07 14:44:47
2026-09-08 18:11:00
界面新闻 incentive-icons
界面新闻
只服务于独立思考的人群
1176535文章数 1339398关注度
往期回顾 全部

科技要闻

小米再次背水一战

头条要闻

小区上百台空调突然集体"罢工" 维修人员上门一查愣了

头条要闻

小区上百台空调突然集体"罢工" 维修人员上门一查愣了

体育要闻

韩旭:我一定会再次走出去

娱乐要闻

郭德纲被处罚,郭麒麟被曝恋情瓜

财经要闻

全球黄金“回家”

汽车要闻

领克20 领克的纯电小钢炮这次更运动了

态度原创

艺术
数码
旅游
公开课
军事航空

艺术要闻

597米!中国第三、世界第六高楼,新效果图曝光!

数码要闻

OPPO Enco X4耳机配置曝光,9月登场

旅游要闻

看北京|孤木成林!圆明园这棵古槐火了

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

胡塞武装用自行生产的导弹袭击沙特军车

无障碍浏览 进入关怀版