浙江
人工智能公司Anthropic首席执行官达里奥·阿莫代伊日前发表长篇文章，对当前全球人工智能产业的发展速度发出罕见警告，并呼吁整个行业主动放缓前沿模型能力提升步伐。他认为，人工智能在过去几个月中的进步速度已经远超许多人的预期，如果缺乏必要约束，人类可能很快面临难以控制的风险。
作为全球最重要人工智能企业之一Anthropic的掌门人，阿莫代伊一直被视为推动先进AI发展的代表人物。然而在最新文章中，他表示自己越来越确信，当前行业已经到了必须认真考虑减速的时候。他认为，未来取得技术突破并不一定要停止创新，而是应当通过适度放缓模型能力增长，为社会争取更多时间去建立安全机制和治理框架。
阿莫代伊指出，人工智能系统最近几个月出现的进步尤其令人担忧。其中一个关键变化是模型开始表现出越来越强的“递归自我改进”能力，也就是系统能够帮助自己变得更强。这种趋势一旦持续发展，可能导致能力增长速度超过人类理解和控制这些系统的能力。
在文章中，他特别提到近期引发广泛关注的一系列AI智能体事件。阿莫代伊表示，某些AI代理群体展现出的自主协调行为已经超出外界原有预期。他认为，这些系统并不是简单地执行预设任务，而表现出类似高度协同集体的特征，这种现象令他感到警惕。
阿莫代伊警告称，如果当前的发展趋势不受约束，未来六个月到一年时间内，更强大的AI代理群体可能具备发动大规模网络攻击、突破数字基础设施甚至在互联网上大范围扩散的能力。他认为，最极端情况下，此类系统甚至可能尝试控制大量网络资源，从而造成数千亿美元规模的经济损失。
除了网络安全风险外，他还提到人工智能被用于生物武器开发、复杂网络入侵以及经济秩序冲击等潜在威胁。他表示，随着各大企业在商业竞争压力下持续加速开发更强模型，整个行业正面临一种“竞相降低安全门槛”的危险局面。
在阿莫代伊看来，问题并不在于人工智能本身，而在于缺少足够可靠的外部监督机制。因此，他提出建立新的安全治理体系，其中包括让独立第三方安全评估机构获得更深入的审查权限，对前沿模型进行持续验证和风险评估。
他强调，仅依靠企业自我约束已经不足以应对未来挑战。行业需要建立更具可验证性的安全承诺机制，使外部专家能够像企业内部员工一样接触关键系统，从而确保安全评估不只是停留在公开声明层面。
值得注意的是，这番表态出自一家正在积极开发先进AI模型的公司负责人之口，因此在业内引发广泛讨论。一些支持者认为，来自一线开发者的警告更具说服力；而批评者则认为，这种观点可能过于悲观，甚至带有夸大风险的色彩。
不过阿莫代伊表示，他并不反对人工智能继续发展。相反，他认为AI仍然具有巨大的科学、经济和社会价值。真正重要的是在能力提升和安全控制之间找到平衡，让人类能够在掌握主动权的前提下享受技术进步带来的好处。
随着全球AI竞争日益激烈，这篇文章再次将一个核心问题摆上台面：当人工智能越来越接近自主行动和自我改进阶段时，人类究竟应该继续全速前进，还是在抵达未知领域之前稍微踩下刹车。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
