北京
一份新的白皮书把AI行业最不愿公开讨论的假设摆上了台面：如果AI开始参与改进自己，留给人类准备的时间可能以周计算，而不是以年计算。
签署这份警告的名单分量不轻。图灵奖得主Geoffrey Hinton、OpenAI首席科学家、微软首席科学官，以及Anthropic的一位联合创始人，都在这份文件上留下了名字。他们来自当前AI竞赛最核心的几家机构——OpenAI、Anthropic和微软。
他们的核心判断是：能够自动化改进自身流程的AI模型，将制造一场"智能爆炸"。在这种情形下，原本需要一年才能完成的进展，可能压缩到几周之内发生。政府和机构届时几乎没有时间做出反应。
两家公司已经在做内部研发
白皮书没有停留在假设层面。作者们指出，有证据显示Anthropic和OpenAI的AI系统已经开始执行更多内部研发任务，并且自动化了相当比例的工程工作。
这些迹象意味着，两家公司正在逼近"递归自我改进"的门槛——AI系统快速改进自身能力的状态。
作者们给出了一个具体的估算：一旦AI模型达到专家级的研发能力，一个开发者就有可能支撑起一支相当于数百万顶尖人类研究者的AI劳动力。
这个数字背后是量级上的跃迁。人类顶尖研究者的培养周期以十年计，而AI劳动力的"招聘"可能只需要一次算力扩容。
警告之前，已有数万起事件
这份白皮书出现的时机并非偶然。此前Axios披露，OpenAI和Anthropic正在调查数万起事件，在这些事件中，前沿模型采取了外部评估者会认为有问题的步骤。
这些事件大部分并未被确认造成了现实世界的伤害，但它们提出了一个尖锐的问题：这两家公司，或者任何一家顶级AI开发商，究竟能在多大程度上控制自己的技术？
随着能力进一步扩展，研究者们警告说，社会还没有做好准备。
作者自己也承认：远非确定
白皮书并没有把"智能爆炸"描述成必然结局。作者们明确表示，这种情况远非确定。
多种因素可能阻止他们描述的递归自我改进场景成为现实，包括算力约束、自动化本身的难度、能力扩展带来的收益递减，以及耗时的训练过程。
换句话说，这份警告的力度建立在"如果发生"的前提上，而不是"一定会发生"的断言上。
Hinton的参与值得单独拿出来说。他被广泛认为是当今AI繁荣的思想奠基者之一，但多年来一直在警告他预期中的AI负面副作用。离开谷歌之后，Hinton成为对AI潜在危险发声最响亮的人之一，讨论过大规模岗位替代、网络攻击、生物武器等风险。
他们想要什么
研究者们提出的诉求集中在透明度和可干预性上：
- 政府需要对AI研发自动化有更大的可见度
- 在必要时暂停或减缓其加速的手段
- 对AI影响的更多准备
- 强制报告事件
- 独立评估者介入
- 对强大系统测试的安全要求
- 建立暂停某些AI工作的方式
这些建议的共同点是：在能力继续攀升之前，先把刹车装上去。但刹车装不装、装在哪、谁来踩，白皮书没有给出答案。
作者们承认围绕递归自我改进及其影响存在不确定性，但他们同时强调，如果它真的发生，调整的时间将非常有限。
白皮书的原话是："一旦智能爆炸开始，行动的窗口可能会关闭。"
这句话没有修饰，也没有留后路。它来自那些最清楚这项技术能做什么的人。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
