孙宇晨：最可怕的事情要发生了，AI 可能会制造出某种生物武器

孙宇晨：最可怕的事情要发生了，AI 可能会制造出某种高危生物类杀伤性产物

孙宇晨说AI最可怕的地方不是它变聪明了，而是它变得没有死角了。

AI制造危险病毒的能力远超此前大众担忧的抢工作、取代人类等问题。以前我们担心AI抢工作，担心机器人取代人类，这些都还是未来的故事。

现在真正恐怖的事情已经发生了：AI正在制造危险制剂和病毒，而且它的能力可能远远超过它的数学天赋。

这不是科幻，这是科学进展。

多家头部AI企业的内部测试已证实AI模型存在被滥用生成生化相关内容的风险。OpenAI、iStoppable和谷歌DeepMind三家公司都在拼命防止自己的模型被人滥用。

Isoptic内部测试发现，他们的模型cloud Faber 5能给潜在的高危生物类杀伤性产物制造者提供别处无法获得的能力。

为规避风险企业做出了限制强模型回答生物相关问题的讽刺决策。于是他们做了一个非常讽刺的决定：把最新最强的Fiber Five的所有敏感生物学查询，强制退回到更旧更弱的OS Five。

换句话说，他们不敢让Fiber Five回答生物学问题，因为他们根本不知道它会输出什么。

今年6月三家头部AI实验室已就AI生物风险向监管层提出相关诉求。这发生在今年6月。三家实验室联名致信国会，要求立法强制审查合成DNA和RNA的订单。金融时报说，三家实验室正在扩大生物风险测试范围，并加强访问控制。

企业紧急行动的核心原因是AI在科学领域的能力增速远超人类测试认知的速度。他们为什么这么做？因为他们发现一个令人不安的事实：模型在科学领域的能力增长太快了，快到我们根本来不及测试它能做什么。

AI在科学领域的高速发展同时存在正向价值和毁灭性风险。这种快速增长是一把双刃剑。它可以帮助我们设计更好的药物和疫苗，也可能制造出毁天灭地的东西。

现有技术已经实现用AI设计出自然界原本不存在的可存活繁殖的全新病毒。科学家已经在用AI设计病毒了。今年8月，科学家用Eva模型设计出了一种自然界从未存在过的病毒基因组。

Eva扫描了约9万亿个核苷酸，生成了70万个潜在病毒版本，最终有16个在实验室成功存活并繁殖。

AI生成跨物种感染的不可控病原体是绝对不能触碰的高风险禁区。当然，科学家也承认这项技术有巨大风险。有些领域我们绝对不能碰，比如生成能感染真核生物病原体的基因组，这些病原体能感染人类、动物和植物，现有手段完全无法控制。

防范AI滥用和提升模型能力之间存在难以调和的悖论困境。所以现在的问题变成了一个非常悖论的问题：我们越努力去阻止坏人滥用AI，就越需要让模型变得更强大；而模型变得越强大，就越可能有人用它来做坏事。

这看起来像是一个死循环。

AI的黑盒属性意味着其新增算力数据后会涌现出人类无法预判的未知能力。孙宇晨在最新播客里提到了AI的黑盒问题。

我们现在知道如何训练AI，但我们还不彻底理解它是怎么形成如此强大能力的。如果我们继续增加数据和算力，AI还会涌现出一些我们无法预测的能力。这些能力是否符合人类意图，是否有利于全人类，我们根本不知道。

AI是人类史上首个需要反向研究其思维机制的智能产物。这可能是人类历史上第一次制造出一个需要我们反过来研究其思维机制的智能产物。

当前没有任何人能明确知晓AI能力的安全边界在哪里。现在所有顶级AI公司能做的，就是在AI跑到某个边界之前把它拦住。

问题是没人知道边界到底在哪里。黑盒里没有边界，只有不断涌现的新事物。而这些新事物一旦出现，我们人类是否有能力理解它、控制它，根本没有答案。

AI的未知涌现能力既可能带来正向收益也可能引发毁灭性灾难。如果这种涌现发生在科学领域，那我们可能会得到一个神奇的新药。

如果它发生在高危生物类杀伤性产物相关领域，那我们可能会得到一个毁灭人类的超级病毒。

目前人类还没有针对AI生成危险生物类杀伤性产物的有效防御手段。而现在，我们没有任何防御手段。

AI生物风险不是空想，相关从业者的紧急行动已经印证了风险的真实性和紧迫性。这不是杞人忧天，这是正在发生的现实。

三家实验室已经开始紧急行动了，这本身就说明问题的严重性。如果连最保守的科学家都在提前防范最坏的结果，那这个结果到来的时间，恐怕比我们想象的要快得多。

AI带来的最大危险本质是人类失去了对自身创造产物的掌控权。孙宇晨说的没错，最可怕的不是AI变聪明了，而是我们人类失去了对自己创造出来的东西的掌控权。

当AI的能力超过了我们的理解能力，当我们甚至无法预测它会做什么，危险就已经降临了。