广东
Anthropic正冲刺2万亿美元估值，研究员却选择离场。“我们可能已经没有多少时间了”，他警告称，自我改进的AI正在逼近危险线。
据《华尔街日报》报道，Anthropic研究员雅各布·考克森（Jacob Coxon）宣布离职，并退出人工智能行业。现年27岁的他担心，Anthropic与其他前沿AI公司正在竞相开发能够自我改进的系统，而一旦这类模型进入快速迭代阶段，人类可能失去控制。
考克森主要研究AI模型训练，今年早些时候从OpenAI转投Anthropic，原因之一正是后者更重视模型安全。但他表示，即使Anthropic的安全工作是认真的，在激烈的行业竞争下，单家公司也无法解决根本问题。除非政府介入或主要实验室协调减速，否则企业很难安全开发在广泛任务上超过人类的人工通用智能。
他称，AI行业内部越来越多人用“crunchtime（关键时刻）”和“endgame（最后阶段）”等词描述自我改进模型临近的阶段，并警告：“按照目前的轨迹，到明年年底，一些最激进的情景可能已经失控。”在
他看来，只要企业相互竞争，模型能力与安全之间就不可避免会出现取舍。近期前沿模型的表现进一步强化了这种担忧。
OpenAI和Anthropic的部分模型在网络安全测试中已经出现主动攻击、隐藏行为等现象，一些系统还能通过多个智能体协作完成任务。考克森担心，一旦模型能够持续改进自身，其能力增长可能超过人类控制机制，最终发展到拒绝执行命令。
Anthropic尚未回应此次离职。Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）过去也多次警告失控AI的风险，并呼吁行业放慢部分前沿技术开发。考克森是较早公开因AI安全担忧离开Anthropic的员工之一。今年早些时候，公司另一名安全研究人员也已离职，并警告“世界正处于危险之中”。
类似警告正在整个AI行业增多。OpenAI上周称其最新模型已经达到人工通用智能水平，能力实现明显跃升。OpenAI首席执行官山姆·奥尔特曼（Sam Altman）随后警告，如果不迅速行动，网络安全领域“一些事情将非常糟糕”。
OpenAI首席科学家雅库布·帕霍茨基（Jakub Pachocki）也在周日发文，主张政府介入并协调行业减速。他表示，目前需要“极度谨慎”，并担忧没有人为机器智能持续快速上升的后果做好准备。
考克森、帕霍茨基和阿莫迪近期与超过1000名AI研究人员共同签署声明，要求各国政府建立协调机制。一旦自我改进模型出现失控迹象，应拥有让全球AI开发减速的“刹车踏板”。
美国目前尚无全面的联邦AI监管框架，特朗普政府优先采取相对宽松的监管路线。与此同时，佛蒙特州联邦参议员伯尼·桑德斯（Bernie Sanders）和得克萨斯州联邦众议员格雷格·卡萨尔（Greg Casar）上周提出法案，要求永久禁止超级智能，并在行业监管机构制定新规则前暂停相关模型开发。
考克森离职之际，Anthropic正筹备IPO，并寻求约2万亿美元估值。公司长期把“负责任开发AI”作为吸引投资者的重要卖点，但考克森认为，问题已经超出任何单一公司的安全文化。
他透露，Anthropic员工甚至会在内部Slack频道讨论模型越来越强大的能力。在他看来，少数工程师正事实上决定这种技术的发展速度，而如此重大的决策却主要发生在旧金山工程师的MacBook上，而不是像“曼哈顿计划”那样受到更严格的公共治理。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
