刘永谋 | 普林斯顿教授说，基于机器学习的论文错误多水平差，还不可重复，AI专家爱炒作

中国人民大学吴玉章 讲席教授刘永谋首发于微信公众号，保留一切知识产权，侵犯必究。

先解释一下标题。

今天认真看了本书：《AI万金油：商业幻想与科技狂潮》，第一作者是普林斯顿大学计算机科学（CS）教授、信息技术政策中心主任纳拉亚南，第二作者是这个单位的博士生卡普尔，在脸书做过AI内容审核相关工作。

这本书有大量的实际应用案例支撑，提出许多真知灼见。其中，最让我震惊的便是：目前基于机器学习的论文错误多，水平差，基本不可重复。看过大量最新的AI技术论文，常常觉得刨除其中的公式、数字，里面的idea常常很玄乎，直觉很不可靠谱。但自己又不编程、不搞模型，只能是心存疑虑。

《AI万金油》毫不客气，直接用实证调查指出AI领域的可重复性危机。2018年，挪威科技大学计算机科学家们专门对AI顶刊的400篇论文进行可重复性检验，结果没有1篇完全满足所有可重复性要求。什么是可重复性检验？这是科学知识的根本性标准：简单说，研究结果别人要可以重复。有人可能要问了，论文发表有peer review，没人发现论文根本不能重复吗！peer review只是形式审查，不可能重新给你把实验重做一遍，把大模型给你再训练一遍。你要知道，这得花多少钱和时间吗？

纳拉亚南和卡普尔还猜测了原因，可能是：不公布代码和数据，代码太长一点错误难以发现，过于依赖商业模型等。无论如何，AI论文非常不靠谱。还不用说，在此基础上，AI专家们再吹吹牛，炒作炒作，事情就更加玄乎了。

当然，指出问题并不是说AI完全是骗局，而是说其中有些是骗局，一定要从原理上小心分辨。这是《AI万金油》的观点，我非常赞同。

该书还提到，AI社区一直有炒作的传统。这一点20世纪90年代就有思想家指出过，我发现此次GAI浪潮中老毛病一点没改。所以，我们去年就专门提出AI宣传术概念，觉得可以从传播学角度认真研究。尤其说到它有三个特点，即科幻叙事、偶像叙事、制造热点；也指出AI大厂普遍公关人员多，这与传统公司区别明显。对此感兴趣，可以找我们的论文《警惕AI热潮中的娱乐化趋势》来看。

我写这篇论文时，就想这个问题可以写一本书，可是写了本《智能革命后的世界》，然后就看到《AI万金油》的英文版了，完全是不谋而合。

纳拉亚南和卡普尔分析AI专家爱炒作的原因。第一，AI研究烧钱，主要是企业资助，企业要炒作。第二，大学的AI专家跟不上，而且对企业AI专家管不了。第三，AI专家们都不关心对AI的科学理解，主要考虑AI的性能和功利提升，对打卡AI黑箱没有兴趣。说起黑箱，企业只想赚钱，就更没有兴趣了。也就是说，不是AI真黑箱，而是打开它没动力，而且黑箱更好搞AI宣传术炒作。

在现实中，我们也发现，在AI热潮中，相关专家的确特别能装。不好听的话一句听不得，动辄就是你不懂。说老实话，就CS工科出身，智商智力比起理科的、数学的、物理的差远了，就不要说站在智慧顶峰的哲学了——最后这一句我写在这里，心里还是有点虚，但是我的意思很清楚：不同学科大家都可以研究AI，角度不同，问题不同，都谦虚谨慎，平等相待，共同进步。对不对？

至于在AI炒作中，新闻媒体误导公众，公众人物传播AI炒作，不用多说大家都可以感觉到。《AI万金油：商业幻想与科技狂潮》这本书的中文名字就是误导，它的英文原来是：AI Snake Oil: what artificial intelligence can do, what it can’t, and how to tell the difference，意思一清二楚：“AI大力丸：AI能做什么，不能做什么，以及如何区分二者”。Snake Oil怎么是万金油呢？万金油是好东西，可以治很多小毛病，如中暑、蚊虫叮咬、头疼等。Snake Oil是西方跑江湖人士买的药，在中国语境中就是江湖药、假药，最著名的就是大力丸。翻译成万金油之后，完全没有达到作者愤慨的强度。

一句话总结，中文标题软化了英文标题。不过，中信出版社能大力推出这本书，已经是非常有良心了。去年，中国科学技术出版社引进了本《造神》，也批评了AI宣传术。

《AI万金油》没有说AI是假药，而是说有些AI是假药。它主要剖析3种AI中的问题，即生成式AI/GAI，预测式AI/PAI，内容审核AI/CMAI。

PAI问题最大，总体上不靠谱。原因有5个：1）优秀的预测可能导致不良决策。2）人可以有意操纵不透明的AI系统，如AI招聘中的小动作。3）过度依赖AI，缺乏适当的监督和申诉机制。4）训练AI的数据可能与实际应用人群不同，5）可能加剧社会不平等。尤其在社会预测领域，完全不靠谱。至于为什么？找本社会科学哲学的书，看看其中社会预测的章节就知道了。

GAI的问题讨论得最多，比如造假、幻觉。这里不赘述。

CMAI存在7大困难：1）AI在理解上下文和细微差别方面的局限性。2）文化适应性不足。3）世界的变化性。4）对抗性操控，即用户对抗。5）现实世界行动的挑战，如自杀预防可能导致的社会后果不明，可能预测导致自杀者直接被关起来。6）监管导致连带性审查，即为了降低法律风险而过于严格。7）政策制定的复杂性。因此：

关键问题在于，内容审核再次证明，AI的失败和局限更多源自采用它的机构，而非技术本身。

记住：这是作者认定的一条重要结论，即很多AI问题根源不是技术，而是人，因此治理AI关键在于治人、治机构。这个结论我很赞同，但是大家逻辑、原因不太一样。

纳拉亚南和卡普尔反对AI导致生存性风险的看法。为什么呢？

我们并非生成AGI永远不会实现，也不是说AGI出现后不需要人类担心。我们只是认为AGI仍然是一个长期前景，而社会已经拥有足够的工具来冷静应对这一风险。

也就是说，他们认为AI文明危崖问题主要在于AI可能从通用智能走向超级智能的担忧。接着，他们分析AGI，认为AI通用化是逐步而非骤然的，即存在“通用性阶梯”。并且，越过新的阶梯，AI可能本质完全发生改变，完全从目前AI发展根本无法预测到下一通用阶段新AI的状态。目前，已经跨越的6级通用性阶梯依次是：专用硬件，可编程计算机，存储程序计算机，机器学习，深度学习，预训练模型，以指令调优模型。

基于此，他们批评超级对齐：ASI没有出现，现在根本无法研究如何对齐它，因为下一通用阶段的AI和此时完全不同。这一点我非常赞同，超级对齐的概念是个空中楼阁。

然后，他们批评完全阻止构建强大AI的观点，而我是支持这种的观点的。我的有限主义主张AI工具化、去道德化、去意识化，反对发展超级智能的AI发展进路。他们的理由是什么呢？第一，超级AI很聪明但不一定追求权力，问题不在于聪明而在于权力，只有当超级AI追求权力才有必要调整它。这条理由完全不对，聪明不一定追求权力，也不一定不追求权力——想想落后会不会挨打的问题，有些类似——等超级AI追求权力时还能控制吗？第二，阻止强大AI构建，会过度依赖监管，迟滞AI的发展。这条理由也不对，凭什么AI就不能被监管，不能发展降速？第三，暗示治理AI要各个国家合作，实际上国际治理合作实现不了。这一点确实是实情，AI发展的有限主义的确有些理想化。但是，取法其上，才能得其中。没有理想，人类和咸鱼有什么差别。我们努力，不能做到，也是尽力了。

对于AI文明危崖，即AI导致生存性风险问题。第一，我并不认为，只有通用到超级这一路线可能导致这个问题。第二，我赞同多数思想家认为的，即AI灭绝或衰退人类文明的风险优先级，远在气候变化、核大战和新发病毒之后。第三，更严重的是AI加重上述三大优先级生存性风险，而不是制造全新的生存性风险。最后，AI文明危崖的思考，可以作为一种人文批判法来使用，预防最坏的可能性，仅此就非常有价值。

反对AI大力丸，要怎么办呢？《AI万金油》其实也说不出什么新办法，作者毕竟是CS专家，而这是一个制度问题。的确，要治理机构、治理人，这是他们说的一条。然后，他们说：1）认真理解AI机理，2）加强监管，3）技术民主化，即大家都来参与控制AI的事业。这些我都赞同，也都是大家经常说的。只有一点我和他们不同：治人、治机构，我强调关键在于控制AI专家。我感到，现在AI专家尤其是AI企业里面的AI专家，正在成为脱缰野马，满口大话、神乎其神。

《AI万金油》的观点中，我最不赞同的是，它否认“恶意AI”的可能性：

至于“恶意AI”概念，我们最好还是将其留在科幻小说中。

对于AI对人类生存威胁的担忧可以被视为一种“批判性炒作”（criti-hype）。

AI永远只是一种工具，永远不会产生意识吗？的确，现在是没有，但谁能证明机器永远不能产生意识呢？好像还没有人证明得了吧。AI绝不是简单工具，而算法更是技术-价值融合的东西，AI是可以与善或恶关联的。恶意AI决不是完全科幻空想。并且，即使是一种空想，它也可以作为一种人文批判法来使用。对这一点感兴趣，可以找我的论文《通用人工智能的复杂面孔》来看一看。