AI安全令人担忧！OpenAI又解散了一个安全团队，6年老将离职

AI安全越来令人担忧，OpenAI正在解散其“AGIReadiness”团队。

该团队就OpenAI处理日益强大的人工智能的能力以及世界管理该技术的准备情况向公司提供建议。

又一安全团队被解散

周三，AGI Readiness高级顾问Miles Brundage宣布离开OpenAI。

他在OpenAI工作了六年多，是OpenAI长期政策研究员、AGI准备工作高级顾问，也是OpenAI所剩无几坚持遏制人工智能风险的老员工之一。

Brundage表示，离开的主要原因是机会成本太高了，他认为他的研究在外部会更有影响力，他想要减少偏见，他已经完成了他在OpenAI的目标。

通用人工智能（AGI）追求让AI在广泛的任务上达到或超过人类智力。Brundage指出：“OpenAI和其他任何前沿实验室都没有准备好，世界也没有准备好。”

离职后，Brundage计划成立自己的非营利组织，或者加入一个现有的非营利组织，专注于人工智能政策研究和倡导。

根据Brundage透露，AGIReadiness前团队成员将被重新分配到其他团队。

对此，OpenAI发言人表示：

“我们完全支持Brundage在行业之外进行政策研究的决定，并对他的贡献深表感谢。

他计划全力以赴进行人工智能政策的独立研究，这使他有机会在更大范围内产生影响。

我们相信，在新职位上，他将继续提高行业和政府决策质量的标准。”

安全争议、担忧越来越多

这已经不是OpenAI第一次解散与AI安全相关的团队，让大众对AI技术快速的发展感到担忧。

今年5月，OpenAI解散了其超级对齐团队，而该团队去年才成立。

OpenAI称，该团队专注于“科学和技术突破，以引导和控制AI系统，防止它们“变得不听话”。

今年7月，OpenAI将高级安全主管Aleksander Madry重新分配到一个专注于人工智能推理的职位，尽管OpenAI称Madry在他的新职位上仍将从事核心的人工智能安全工作。

随后，民主党参议员给OpenAI首席执行官Sam Altman发了一封信，询问“OpenAI如何解决新出现的安全问题”。

近年来，OpenAI的人员流失越发频繁，公司的多位高管相继离职，原本11人的创始团队仅剩3人。

OpenAI联合创始人、已离职的Jan Leike更是直指：“建造比人类更聪明的机器本质上是一种危险的尝试，OpenAI代表全人类肩负着巨大的责任。但在过去几年里，安全文化和流程已经让位于闪亮的产品。”

同时，OpenAI正在转型成一家营利性企业。

10月初，OpenAI以1570亿美元的估值完成了新一轮融资，其中包括从众多投资公司和大型科技公司筹集的66亿美元。它还获得了40亿美元的循环信贷额度，使其总流动性超过100亿美元。

此外，该公司预计今年营收为37亿美元，亏损约50亿美元。

需要注意的是，今年6月，一群OpenAI的现任和前任员工发表了一封公开信，表达了对AI快速发展的担忧，指出该行业缺乏监管。

公开信写道：“人工智能公司有强大的财务动机来避免有效的监管。”