《硅谷最危险的人》七期连载系列之第四期｜那些消失的承诺：安全去哪了？

No.0285

Science Partner

Bring you to the side of science

导 读

2015年，奥特曼给埃隆·马斯克发了一封电子邮件，提议创立一家新机构，核心原则是：“安全应作为首要要求。”

那封邮件里，他还比较了原子弹：“显然我们会遵守并积极支持所有监管。”

这不是随口一说。当时他们对外的宣传逻辑是：人工智能可能是有史以来最危险的发明，正因如此，它的研发必须由一家把安全放在一切之上的机构来主导。这套逻辑后来成了他最重要的融资工具，也成了招揽世界上最顶尖AI研究者的核心承诺。

大量科学家，就是冲着这些承诺，接受了远低于市场价的薪酬，加入了OpenAI

那么，这些承诺后来怎么了？

走，跟伙伴君来！

今日主笔 | 恒意

那些消失的承诺：安全去哪了？

01. 第一次，章程被绕过

OpenAI的公司章程里有一条极其激进的条款，由早期研究负责人阿莫迪（后来Anthropic公司的创始人）起草：如果另一个“价值观对齐、重视安全”的项目先于OpenAI接近研发出AGI，公司将停止竞争，转而协助该项目。

这被称为“合并协助条款”，意思是：如果谷歌的团队先造出安全的AGI，OpenAI可以停止运营，把资源捐给谷歌。

这在商业逻辑上几乎是疯狂的承诺。但OpenAI本来就不该是普通商业公司。

2019年，微软谈判10亿美元投资。阿莫迪要求在协议里保留这一条款。奥特曼当面答应了。但协议即将签署时，阿莫迪发现新增条款赋予了微软阻止OpenAI任何合并的权力，这实际上彻底架空了那条章程。

阿莫迪当众朗读这个条款，质问奥特曼。奥特曼否认该条款存在，直到另一名同事当场证实。据阿莫迪的笔记记载，奥特曼后来表示不记得这件事。

02. 第二次，安全审批被绕过

2022年12月，奥特曼向董事会保证，即将发布的GPT-4模型多项功能已通过安全小组审批。董事托纳要求查看相关文件。

文件显示，最具争议的两项功能，允许用户微调模型、将模型部署为个人助理，并未获批。

此外，微软在印度发布了ChatGPT早期版本，未完成必要安全审查，但奥特曼在数小时的董事会汇报中，从未提及此事。

03. 第三次，20%的算力承诺

2023年，奥特曼高调宣布成立“超级对齐团队”（Superalignment Team），由伊利亚和另一名研究负责人扬·莱克共同领导。官方公告称，团队将获得公司已获取算力的20%，价值可能超过10亿美元。

公告还称，这项工作至关重要，因为如果对齐问题无法解决，AGI或将导致人类丧失权力甚至灭绝。

这是非常重的话。

但，那20%兑现了吗？

四名团队内部及密切合作的人士称，实际资源仅占公司算力的1%到2%。一名研究员说：大部分所谓的超级对齐算力，都用在最老旧、芯片最差的集群上。

2024年，这支团队被解散，任务未完成。伊利亚和莱克相继辞职。

莱克在公开平台写道：“安全文化与流程已让位于光鲜的产品。”

04. 从F开始的成绩单

生命未来研究所（Future of Life Institute）是一家奥特曼本人曾认可其安全原则的机构，它对各大AI公司的生存安全进行评级。

在最新报告里，OpenAI的评级是：F。

Anthropic是D，谷歌DeepMind是D-，其他所有大型公司也都是F。

所以不是OpenAI一家的问题。但有意思的是：OpenAI是那家曾经承诺最多的公司。

那个最初说安全是首要要求的人，现在对我们说：”我对通用人工智能安全的理念，和很多传统安全领域的人不太合拍。“当记者追问具体措施时，他回答：我们仍会开展安全项目，或者……至少是与安全相关的项目。

当记者提出想采访公司内专门研究生存安全问题的研究员时，一位OpenAI发言人感到困惑，问道：“你说的生存安全是什么意思？在我们，这根本不算一个领域。

那么彼时彼刻的奥特曼的重心在哪里，又在寻找什么。

我是恒意，咱们下期接着聊～

本文仅作科普分享使用，欢迎小伙伴们点、收藏、关注，以备不时之需，当然更欢迎您把 介绍给周边可能需要的更多伙伴们呀。