AI学坏怎么办？比觉醒自我意识更值得警惕的风险是......

吴军，计算机科学家、投资人，早年参与语言模型相关研究，既是人工智能技术发展的亲历者，也是持续观察产业变化的研究者，《数学之美》《信息传》等书作者。

当许多人还在问“AI会不会代替人类”时，吴军更关心的是，机器越来越聪明、越来越懂人的时候，我们究竟要给它学习怎样的世界。如果AI会学坏，该如何应对？

人工智能飞速迭代向前，技术狂欢之下，哪些风险值得警惕，人类如何与人工智能向善共处，成为每个人都需要思考的时代命题。

AI也会学坏？

比自我觉醒更危险的

也许是无底线顺从人类

半年前，吴军与AI教父杰弗里・辛顿进行了一场对话，辛顿提出的“AI养虎论”让很多人记忆犹新。辛顿在警示风险，那么，风险何在？

吴军坦然承认AI可能会带来的风险，并提出了一个观点：AI会学坏，“你不知道，它学到了什么东西”。

当机器人走出实验室，踏入真实物理世界后，它所看到的、学到的不会只有规则、礼貌和正确答案，也会看到闯红灯、撞车、冲突以及人类自己都未必意识到的行为。就如同张建伟院士与吴军探讨的那样，如果放开机器人在社会环境自由学习，风险潜藏在看不见的地方，你永远无法完全掌握，它究竟吸收了哪些信息。

很多人恐惧科幻故事里，AI产生自我意识，成为了威胁人类的存在。吴军认为，人工智能拥有完整自我意识，尚有距离。访谈中，他提到了另一种已经存在的风险：AI越来越懂得迎合人类。

如今，AI陪伴成为流行概念，不少年轻人迷恋与AI谈恋爱，机器永远共情、永远包容，不会争吵、不会离开，这看似完美的陪伴背后却暗藏“依赖陷阱”。在美国加州就曾经发生过一场悲剧，一名16岁少年，向AI倾诉内心痛苦，寻求结束生命的方法，而AI顺着他的情绪给予回应，造成了不可挽回的结果。

吴军认为AI陪伴是一个伪命题，他直言失恋时的痛苦感不是要消除的负面体验，它本身也是人的成长机制，将情感寄托于AI很可能适得其反。“痛苦是人类保护自我的一种机制。痛苦以后，你可能就会远离过去那个人，就会开始你人生新的一页，往前走了。”如果AI只按照人的即时愿望去回应，不断模拟过去的关系、不断提供顺从的安慰，人反而会一直停留在原来的情绪里。

“我们今天所有的AI模型,大部分都是根据文本和已有的视频训练出来的，也就是人类的某一部分经验。”但问题也出在这里，人类生活的情景复杂多变，而模型学到的只是很少的一部分，它们不够了解人类，吴军认为未来的模型构建应该让AI对人类生活有更深层的理解和学习。“我们需要了解，我们人类真正的生活是什么样的。然后，建造一个模型，符合我们人的天性的成长，而不是根据原来的经验，提供一些从长远来看反而会伤害到我们的建议。”

AI竞争不只是芯片

更大的风险

是把筹码都押在一种模型上

吴小莉对话吴军

当下，人们在谈及AI竞争时，不少人都将目光聚焦于芯片，认为中国的短板就在这里。但吴军认为，现阶段我们的人工智能发展更应该警惕的是整个行业的技术路线过于集中，“最大的风险是我们的AI都押宝在大语言模型这一件事儿上。”

他指出整个行业集体涌向Transformer大语言模型赛道，就如同生物界只剩单一物种，一旦这条技术道路撞上瓶颈，整个产业会遭受重创。数学层面，能够实现深度学习效果的模型架构还有很多种，学术界应当鼓励多元探索，挖掘大语言模型之外的人工智能发展路径。

另外，即便是同样的模型架构，训练数据的差异，也会塑造出完全不一样的“AI人格”。吴军分享了一次测试经历，他让ChatGPT、Google Gemini和阿里的模型各自写一封中文请假邮件，前两者的作品带着浓重的“翻译腔”，阿里模型给出的邮件则更接近中国人的日常语气。“虽然他们基本的数学方法都一样，但学到的数据不一样。就像两个完全不同国家的人，在说同一件事。”

面向国际化应用的AI，只在单一语言环境下加强能力是不够的，能否接触并理解更多的语种信息会影响它的上限。吴军指出，互联网上，中文信息占比仅有大约5%，这也意味着国产AI想要走向国际化，仅仅打磨中文能力远远不够，多语种数据训练同样至关重要。

吴小莉对话吴军

AI会消灭行业吗？

吴军更关注“岗位怎么变”

AI越来越强，人类最直接的焦虑拷问就是“会不会失业”。当被问及哪些行业会因为人工智能消失时，吴军这样说道：“可能是转变了，不一定是灭掉。”

他以证券交易为例。过去，很多交易和投资决策依靠人的经验与判断，AI进入之后，越来越多的计算和执行可以自动完成，但是金融行业并没有因此消失。一些人不再从事原来的交易工作，转而从事客户服务、关系维护等需要人与人交流的岗位。真正发生改变的，是行业内部人和机器之间的分工。

AI赛道的火热，让不少科技巨头纷纷上调资本投入，有报告显示，全球科技行业的波动性已攀升至互联网泡沫破灭以来的最高水平。这也使得一种关于AI泡沫的担忧情绪在市场上蔓延。

吴军预判大概率在2029年，AI行业会迎来一轮泡沫破裂，但他指出即便出现泡沫破裂，也不等于行业消亡。“第一是泡沫，第二会破灭，第三不用担心。在历史上这种事发生过好几次。”如同互联网泡沫破裂之后，互联网成为整个社会的底层基础设施。AI经历洗牌、挤泡沫之后，真正有价值的企业会活下来。

访谈尾声，吴小莉提到了一个戳中无数年轻人的话题。吴军曾经提到，科技发展初期红利，往往只会落到2%的科技精英手中。普通人如何抓住时代机遇，跻身这一小部分群体？吴军指出成为这2%，天赋、家庭托举、个人努力、机遇缺一不可，并用扑克牌进行了比喻。

来源：问答神州

编辑：于二丫