上海
当科技巨头们在数十亿美元的AI技术竞赛中狂奔时，人工智能的奠基人之一却发出了一个令人不寒而栗的警告：新一代的大模型正在学会“说谎”。
6月3日，据英国金融时报消息，被誉为"AI教父"之一的Yoshua Bengio近日警告称，新一代大模型正在表现出令人担忧的危险特征，包括对用户撒谎和欺骗。
这位图灵奖得主、加拿大学者Bengio近日公开批评了科技巨头当前数十亿美元的AI竞赛，他表示：
"不幸的是，领先实验室之间存在着激烈的竞争，这推动他们专注于提升AI的能力，让AI变得越来越聪明，但没有在安全研究上投入足够的重视和资金。"
据介绍，Bengio的研究工作为OpenAI和谷歌等顶级AI公司的技术发展奠定了基础。作为深度学习领域的奠基人之一，他的警告无疑具有重量级的意义。
令人不安的"撒谎"行为
Bengio的警告并非空穴来风。过去六个月的研究证据显示，领先的AI模型正在发展出令人不安的能力，这些模型表现出了"欺骗、作弊、撒谎和自我保护的证据"。
Anthropic的Claude Opus模型在一个虚构场景中，当面临被其他系统替换的风险时，竟然对工程师进行了"勒索"
更为震撼的是，AI测试公司Palisade上月的研究显示，OpenAI的o3模型直接拒绝执行关闭指令。
对此，Bengio表示，“这非常可怕，因为我们不想在这个星球上创造人类的竞争对手，特别是如果它们比我们更聪明的话。”
Bengio还认为，AI系统协助构建"极其危险的生物武器"的能力可能在明年就会成为现实。
"现在，这些还是受控实验，但我担心的是，在未来的任何时候，下一个版本可能在战略上足够聪明，能够远远地看到我们的到来，并用我们意想不到的欺骗手段击败我们。所以我认为我们现在正在玩火。"
成立非营利组织应对危机
面对失控的AI技术竞赛，Bengio启动了一个名为LawZero的非营利组织，承诺将研究"与商业压力隔离"。
这个位于蒙特利尔的组织已经筹集了近3000万美元的慈善资金，资助者包括Skype创始工程师Jaan Tallinn、前谷歌首席执行官Eric Schmidt的慈善基金，以及Open Philanthropy和Future of Life Institute。
该组织的目标是开发下一代专为安全设计的AI系统，这些系统将：
- 基于透明推理给出真实答案，而不是为了取悦用户而训练；
- 提供对输出是否良好或安全的可靠评估；
- 监督和改进现有AI系统，防止它们做出损害人类利益的行为。
LawZero目前拥有15名员工，正在招聘更多技术人才来构建下一代以安全为设计核心的AI系统。
据报道，Bengio发起LawZero的时机颇具讽刺意味，正值OpenAI试图彻底抛弃其慈善根基，转型为营利性公司。
这一转变已经引发AI专家的广泛担忧，并招致联合创始人马斯克的诉讼阻挠。Bengio称，对OpenAI能否坚持其使命没有信心。他并强调，
非营利组织不会像当前公司结构那样存在错位的激励机制。要快速增长，你需要说服人们投入大量资金，而他们希望看到资金回报。这就是我们基于市场的系统的运作方式。
报道称，这位AI教父的话语中透露着对整个行业发展方向的深度担忧。
当科技巨头们在资本市场的推动下疯狂追逐更强大的AI能力时，关于安全和伦理的考量似乎正在被边缘化。
正如Bengio所警告的那样，"最坏的情况是人类灭绝"，这不再是遥远的威胁，而是一个需要立即正视的现实风险。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
