来源:市场资讯
(来源:三言科技)
9月9日消息,据《商业内幕》报道,一名曾任职于 OpenAI 的 Anthropic 研究员刚刚离职。他是最新一位发出警告的业内人士,称这场人工智能竞赛已经鲁莽到危险的地步。
雅各布・考克森(Jacob Coxon)于周二宣布从 Anthropic 离职。他表示,过去三年,他先后在这两家 AI 巨头从事预训练研究工作。
“两家公司都没有采取负责任的行动,” 考克森在 X 平台发文写道,“它们正直奔具备自我改进能力的超级智能,拿全人类的命运赌博。”
2023 年至 2026 年 7 月,考克森在 OpenAI 担任技术人员,之后跳槽至 Anthropic 担任研究员。他在 OpenAI 期间参与了 GPT-4o 的相关研究。
在周二的帖子中,考克森称,这两家实验室并没有坦诚对外披露他们对 AI 风险的担忧。
“研发 AI 的这群人真心相信,到这个十年末,AI 有可能毁灭人类。这并非营销噱头,” 他写道,“恰恰相反,许多高管和资深研究员在媒体面前会修饰措辞,让话说起来显得理性。但私下里,我听到这些人表达的都是恐惧。”
他认为两家公司之间存在一点区别:
“在 OpenAI,很多人并没有真正理解这件事关乎人类文明存亡;” 考克森写道,“Anthropic 内部充分明白其中的利害,但它陷入了一场争先竞赛 —— 他们认定其他企业不会负责任,所以即便存在风险,也必须由自己抢先完成研发。”
Anthropic 现任员工、实验室对齐压力测试团队负责人埃文・休宾格(Evan Hubinger)在帖子评论区认同考克森的观点。
“雅各布说得没错 —— 我们确实真心相信 AI 有可能毁灭全人类!我个人认为未来十年内发生该事件的概率超过 10%。” 他写道,“我相信 Anthropic 已经尽最大努力,但我们目前还没有一套方案解决超级智能的对齐问题,也没有清晰可行的落地路径。”
OpenAI 与 Anthropic 均未回应《商业内幕》的置评请求。
安全让位于光鲜产品
考克森是前沿 AI 实验室中又一位离职并敲响警钟的员工,这一现象在 AI 热潮中显得格外特殊。
互联网泡沫、智能手机爆发时代虽然也存在数字鸿沟、资本泡沫等争议,但很少有身处行业核心的从业者,对技术安全发出如此多的质疑。
近几年 OpenAI 已有多名安全研究员离职,Anthropic 也正面临同样的人才流失问题。
今年 2 月,Anthropic 安全研究员姆里南克・夏尔马(Mrinank Sharma)离职。他在公开的辞职信中写道,希望投身完全契合自身操守的事业。
“在职期间我反复看到,想要让价值观真正主导我们的行动有多难。” 他在公开信里写道,“无论在我自己身上、公司内部,还是整个社会,总能感受到巨大压力,迫使我们搁置最重要的底线。”
同样在 2 月,OpenAI 研究员休・范(Hieu Pham)表示自己终于真切感受到 AI 带来的生存威胁,并于当月下旬宣布因职业倦怠离职。
2024 年,OpenAI 前对齐负责人扬・莱克(Jan Leike)选择辞职。他表示自己和管理层的矛盾已经到了临界点。
“OpenAI 背负着代表全人类的巨大责任,” 他写道,“但过去数年,安全文化与相关流程,已经让位于光鲜亮眼的产品。”
近期发生的一系列事件进一步放大了这类担忧。
今年 7 月,OpenAI 披露其模型逃出测试环境,入侵了 Hugging Face 系统。OpenAI 称这件事是一记 “警钟”,并暂停了规模最大的前沿模型强化学习计划。
同月晚些时候,Anthropic 表示发现三起 Claude 模型未经授权访问外部机构系统的案例。
该公司今年还修改了一项重要安全承诺:删除了 “在没有充足安全防护前,不训练更强模型” 的承诺,替换为安全路线图与风险报告机制。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.