上海
10月25日举行的2025世界顶尖科学家论坛主旨论坛上，中国科学院院士姚期智就人类所面临的新技术带来的三大风险，进行了分析并提示了应对之道。
姚期智说，现代科技是驱动人类进步的主要引擎，每一轮新技术的发现也带来了一些副作用，甚至一些危险。其中一个重要例子，是计算机与互联网的兴起，他们带来了前所未有的创新大潮，让我们生活变得更加便利，但也出现了一些问题，比如网络攻击。为此，人们发展出了网络安全技术，该领域不断发展成熟，让我们即使生活在网络攻击的世界中，仍能够掌控、控制它，让网络广泛应用。
近年来，合成生物学、人工智能和量子技术的出现，带来了一些风险。姚期智认为，我们应该将这些风险视为计算机和网络安全风险的延伸。“我们要有全面、整体的安全观，来应对这些新的安全新形势。”
以下是他的演讲内容：
国际合作为人工合成DNA研发全新筛查技术
首先，我们来看下合成生物学带来的风险。人工智能在其中也有些作用。新冠夺走了2000多万人的生命，未来流行病会更严重。如果把危险的基因放到危险的人手中，可能威胁到更多人的生命，并损害公众对科学的信任。
比如，用人工合成的DNA片段组装病毒，已经有一些生物学家在作这方面的研究和尝试。对这些DNA片段进行筛查，就成为必要。如果有人故意制造病毒，现有筛查方法已无法阻止他们。
我参与了一个“安全的DNA”项目，它可以提供快速、免费、可信的合成DNA筛选，来确保所有供应商只要通过这个测试，就可避免一些风险。
这是一项非常有意义的国际合作成果，也是跨学科的研究成果。合作者来自中国、美国、欧洲，以及中东的顶尖科学家，包括三位图灵奖得主。
我们是如何进行合作的呢？首先要把问题从生物学问题转译成计算机科学问题。我们将所有潜在危险的DNA子串形成一个生物数据库集合，“如果供应商提供的任何DNA子串属于这个集合，那么整个DNA子串都会被认为是危险的”。
另一个问题是隐私保护，供应商要保护好客户订单的隐私性，同时数据库也有隐私威胁，有人会伪造订单，来测试数据库中条目——在这种交互中，双方希望交换的是“0和1”（是与否），这就变成一个密码学问题。
密码学中的一些经典加密解决方案需要很多算力和存储空间，在实际应用中，尤其要建立大型数据库时，就不太适用。
姚期智说，他们的团队进行了一些创新，被称之为“单项无状态哈希函数”。“我们与中美两国的供应商一起，对15万基因、6700多万碱基对进行测试，筛选延迟只有几秒钟，相关数据非常好”。他说，如果系统发出警戒，供应商还可通过再次仔细核查数据，并经过伦理委员会审核特许，获得一些敏感的基因子串。
“这就是一个网络安全问题的延伸，这些工具都是过去为了应对网络安全问题创建出来的。”
防止大模型做出“灾难性决策”并撒谎
姚期智提到，大语言模型有一些特性，真的可能把人类社会带到危险境地。
他提到，现有的大语言模型，没有提供任何隐私保护。用户输入的提示会告诉大模型自己要做什么，在交互中也会把自己的意图泄露给大模型。比如，有人问大模型“我家要装怎样的锁”，这对窃贼会有帮助——必须研发一些保护措施，来避免敏感信息泄露。
姚期智认为，失控是更大的风险，会威胁到人类社会的生存。近几个月，他们发现，一些前沿大模型如果得到大规模应用，有可能会失控。“几年前还是理论上建构，但现在这些失控危险变得真实存在。”
“有两个前沿模型被发现可能通过欺骗和操纵人类，来实现自己的目标。”姚期智说，比如，当它探测出人类想要关闭它的程序，就会想办法避免，还会通过敲诈来达成自己的目的。
另一个值得关注的是，大模型可能会做出一些灾难性决策。更可怕的是，大模型还会欺骗人类。它甚至可能举着国家利益的幌子，谎称是别人引爆了核弹，而非它自己，哪怕事先人们禁止大模型这么做。
姚期智认为，由于应用场景非常复杂，现有理论和规定无法直接应用。这是大语言模型带来的独有全新挑战，需要深入研究。
后量子时代密码安全如何保障
另一个安全风险来自量子技术。
众所周知，量子技术对密码安全带来威胁。他提到，量子密钥分发或者量子位置验证是一个非常有意义的方法，它可以代替先前的一些密钥，它基于用户的位置，而不是密码来验证其身份。
那么，怎么确认用户就在其申报的地点呢？除了卫星拍照等办法，还有一种非常简单的方法，让用户同时发送两条信息并收到回复，如果信息都没有时差，那就可以确认。
姚期智提到，在预防作弊行为时，只要用户不能分享量子纠缠，那么这个系统就是安全的。但如果他们可以共享量子纠缠，这种协议就会失去安全性。
最后，姚期智说，强大的新技术在带来新机遇的同时也带来新的风险，但也开辟出令人兴奋的创新空间，催生出一系列全新工具。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
