四川
一封由前沿人工智能实验室——主要是OpenAI、Anthropic和谷歌DeepMind——的1367名研究人员和工程师签署的公开信，指向了一个危险时刻。
在某些圈子里，流行着一种观点，即对人工智能的灾难性风险不屑一顾。人们常听到这样的说法：那些每天从事这项技术工作的“真正的专家”其实根本不担心；只有“末日论者”和“卢德分子”才会从“无知的立场”宣扬“边缘”观点；所有关于潜在灾难的讨论都只是“科幻小说”。
幸运的是，一封公开信的发表让我们得以听到那些每天从事这项技术工作的真正专家们自己的声音。他们担心吗？非常担心。
信中写道：“存在一种真实的风险，即能力的发展将迅速加速，超越我们理解或控制由此产生的系统的能力。”信中还要求美国政府支持“一项国际努力，以开发必要的技术和治理工具，有意识地掌控自动化人工智能发展的前沿速度”。
人工智能系统“超越我们的理解或控制能力”将意味着我们对自己能否继续存在不再有发言权。人工智能系统逃出其限制并侵入其他公司的计算机——这几乎已成为日常事件——是一个早期预警。
正如信中所要求的，“掌控前沿速度”是为了确保只有在被证明安全的情况下，才开发和发布更先进的系统。这需要一个具有强有力安全验证的许可程序；人工智能系统的注册制度，以及在必要时对其进行监控和终止的能力；以及可执行的国际协议。所有这些都需要时间，而且一旦真正的紧急情况发生，就不可能再落实。
信中表达的关于人工智能能力快速加速的担忧，几个月来一直在“递归自我改进”（RSI）的标题下酝酿——也就是说，人工智能系统对其自身的改进做出贡献，这反过来又使其能够对自身的改进做出更大的贡献，如此循环往复。
这正是5月中旬在旧金山举行的“递归”会议以及Anthropic在6月初发布的题为“当人工智能自我构建时”的RSI警告的主题。对人工智能安全性和社会影响的更广泛担忧也促使了“关切人工智能员工联盟”的成立，该联盟将各大人工智能公司的员工联系在一起。
这封信之所以如此有力，不仅在于签署者的第一手权威性，还在于其中包含了近一百位签署者的个人声明。这些声明描绘了专家们真实想法的更详细图景。至少浮现出三大主题。
第一个主题是需要协调一致，以避免一场冲向悬崖边缘的军备竞赛。今年早些时候在达沃斯，Anthropic的首席执行官达里奥·阿莫代伊和谷歌DeepMind的首席执行官德米斯·哈萨比斯都表示，如果其他方同意，他们希望暂停人工智能的发展。“世界正陷入一场奔向智能爆炸的致命竞赛……为了生存，我们必须协调一致，放慢竞赛速度，”一位签署者说。
另一位写道：“一旦这成为共识——一旦我们中美两国以及各个实验室的所有人都看到，我们其余所有人都认为需要放慢速度——那时协调才成为可能。”
声明中第二个常见主题，正如一位签署者所说，是“完全缺乏控制‘超级智能’人工智能系统的可信计划”。“事实是这样的：人工智能行业有明确的目标，要制造比人类更聪明的东西……我们中还没有人知道如何确保这些东西保持在人类控制之下……客观地说，这是一种疯狂且自杀式的行为，”另一位写道。
毫不奇怪，这些担忧引出了第三个主题：真实的恐惧。“我目前对所见到的所有不包含近期通过谈判达成放缓协议的路径都感到相当恐惧。”“如果我们不能正确处理这件事……等待我们的将是一个非常黑暗的未来。”还有：“我想要一个我的孩子能过上完整生活的世界，而不是一个他们被消灭的世界。”
这些并不是试图炒作股票估值的贪婪员工。他们在私下交谈、闭门会议和匿名聊天群组中也说着同样的话。
面对如此真实且有充分根据的恐惧，这些万亿美元级别的公司肯定在投入大量资源，以确保它们不会终结我们以及它们自己的存在吧？错了。
据Anthropic一位资深安全研究员称，他们避免不可逆转地失去控制的最佳方案是这样的：一旦超级智能机器诞生，但在它有机会接管世界之前，我们问它如何阻止它接管世界，然后我们按它说的做。
所有个人签署声明中最有力的，也是最简短的一句：“想想我们所爱的一切。”
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
